OpenAI predstavio AI hemičara i merilo sa 750 zadataka
OpenAI je istog dana objavio dve stvari iz nauka o životu: skoro samostalnog AI hemičara GPT-Rosalind i novo merilo LifeSciBench koje proverava koliko modeli zaista mogu da odrade stvaran naučni rad.
- OpenAI je u istom danu objavio AI hemičara GPT-Rosalind i novo merilo LifeSciBench.
- Merilo ima 750 zadataka koje su pisali stručnjaci, kroz sedam radnih tokova i sedam bioloških oblasti.
- Na pisanju merila radilo je 173 naučnika sa iskustvom u industriji.
- GPT-Rosalind je u testu unapredio jednu tešku reakciju iz medicinske hemije.
Da li veštačka inteligencija može sama da odradi pravi laboratorijski posao, ne samo da priča o njemu? OpenAI je 17. juna pokušao da odgovori na to pitanje, i to na dva fronta odjednom. Objavio je GPT-Rosalind, model koji rade kao skoro samostalan hemičar, i LifeSciBench, merilo koje proverava koliko modeli stvarno umeju da urade naučni posao od početka do kraja.
Razlika je važna. Jedno je tražiti od modela da napiše esej o nekoj reakciji. Sasvim drugo je dati mu zadatak da tu reakciju zaista poboljša, korak po korak, kao što bi to radio čovek u laboratoriji. OpenAI tvrdi da je GPT-Rosalind u testu unapredio jednu tešku reakciju iz medicinske hemije, oblasti koja se bavi pravljenjem molekula od kojih kasnije nastaju lekovi.
Šta tačno meri LifeSciBench?
LifeSciBench je deo koji nas, kao posmatrače, možda više govori od samog modela. To je merilo, dakle ispit po kome se modeli ocenjuju. Sadrži 750 zadataka koje su pisali stručnjaci, raspoređenih kroz sedam radnih tokova i sedam bioloških oblasti. Na izradi je radilo 173 naučnika sa iskustvom u industriji, što znači da zadaci nisu skinuti iz udžbenika, nego liče na ono što se stvarno radi u istraživanju.
Merilo ocenjuje šest kategorija naučnog rada. Poenta je da se vidi gde model zapinje, a ne samo koliko tačnih odgovora daje na izolovana pitanja. Jer pravi posao u laboratoriji nije kviz. To je niz odluka koje se nadovezuju, gde jedna greška na početku ruši ceo lanac.
Za GPT-Rosalind postoji i posebno, uže merilo zvano MedChemBench. Ono se drži medicinske hemije i proverava nekoliko konkretnih stvari: razume li model hemijske strukture, ume li da predvidi potentnost molekula, njegovu toksičnost i takozvana ADME svojstva, to jest kako se lek ponaša u telu, od upijanja do izbacivanja. Na tom merilu GPT-Rosalind beleži vodeće rezultate. Naša preporuka je da te rezultate ipak gledate kao proizvođačke, dok ih neko sa strane ne ponovi.
Zašto baš sada i šta to menja za nas?
Trend je jasan i traje već neko vreme: posle modela koji pišu tekst i kod, na red dolaze modeli koji treba da pomognu u stvarnom istraživanju. Nauke o životu su privlačna meta jer je tu i najviše para i najviše strpljenja potrebno, razvoj jednog leka traje godinama. Ako AI skrati i deo tog puta, efekat je merljiv.
Ali tu je i razlog za trezvenost. Merilo koje je napravila ista kuća koja prodaje model nije nezavisna ocena. Korisno je da postoji zajednički ispit kao LifeSciBench, jer onda i drugi modeli mogu da se mere na istom zadatku. Tek kada nezavisne grupe ponove rezultate i kada hemičari u pravim laboratorijama kažu da im model stvarno skraćuje posao, znaćemo koliko ovo vredi izvan saopštenja.
Za sada imamo jasnu sliku smera u kome industrija ide. AI sve manje samo opisuje svet, sve više pokušava da u njemu nešto uradi. A vi, da li biste verovali leku čiju je ključnu reakciju delom osmislio model, pod uslovom da prođe sve iste provere kao i svaki drugi?
