Revolucionarno otkriće: Istraživači omogućili AI modelima da ‘zaborave’ podatke

Istraživači s Tokijskog sveučilišta znanosti (TUS) razvili su metodu koja omogućuje velikim AI modelima da selektivno “zaborave” određene klase podataka.

Napredak u AI-ju pružio je alate sposobne revolucionirati različita područja, od zdravstvene skrbi do autonomne vožnje. Međutim, kako tehnologija napreduje, tako rastu i njezina složenost i etička razmatranja.

Paradigma velikih prethodno treniranih AI sustava, poput OpenAI-jevog ChatGPT-a i CLIP-a (Kontrastno jezično-slikovno pred-treniranje), preoblikovala je očekivanja od strojeva. Ovi visoko generalistički modeli, sposobni za rješavanje širokog spektra zadataka s dosljednom preciznošću, doživjeli su široku primjenu i u profesionalnoj i u osobnoj uporabi.

Međutim, takva svestranost dolazi uz visoku cijenu. Treniranje i pokretanje ovih modela zahtijeva ogromne količine energije i vremena, što izaziva zabrinutost za održivost, kao i potrebu za najmodernijim hardverom koji je značajno skuplji od standardnih računala. Dodatno ove probleme pogoršava činjenica da generalističke tendencije mogu ometati učinkovitost AI modela kada se primjenjuju na specifične zadatke.

Na primjer, “u praktičnim primjenama, klasifikacija svih vrsta klasa objekata rijetko je potrebna,” objašnjava izvanredni profesor Go Irie, koji je vodio istraživanje. “Na primjer, u sustavu autonomne vožnje bilo bi dovoljno prepoznati ograničene klase objekata kao što su automobili, pješaci i prometni znakovi.”

“Ne bismo trebali prepoznavati hranu, namještaj ili životinjske vrste. Zadržavanje klasa koje ne treba prepoznati može smanjiti ukupnu točnost klasifikacije, kao i uzrokovati operativne nedostatke poput rasipanja računalnih resursa i rizika od curenja informacija.”

Potencijalno rješenje leži u treniranju modela da “zaborave” suvišne ili nepotrebne informacije – pojednostavljujući njihove procese kako bi se usredotočili isključivo na ono što je potrebno. Iako neke postojeće metode već zadovoljavaju ovu potrebu, one imaju tendenciju pretpostavljati “white-box” pristup gdje korisnici imaju pristup unutarnjoj arhitekturi i parametrima modela. Međutim, često korisnici nemaju takvu vidljivost.

“Black-box” AI sustavi, češći zbog komercijalnih i etičkih ograničenja, prikrivaju svoje unutarnje mehanizme, čineći tradicionalne tehnike zaboravljanja nepraktičnima. Kako bi riješili ovaj jaz, istraživački tim se okrenuo optimizaciji bez derivacija – pristupu koji zaobilazi oslanjanje na nedostupne unutarnje mehanizme modela.

Napredovanje kroz zaboravljanje

Studija, koja će biti predstavljena na konferenciji Neural Information Processing Systems (NeurIPS) 2024. godine, uvodi metodologiju nazvanu “black-box zaboravljanje.”

Proces modificira ulazne upite (tekstualne upute koje se daju modelima) u iterativnim krugovima kako bi AI progresivno “zaboravio” određene klase. Izvanredni profesor Irie surađivao je na radu sa suautorima Yusukeom Kuwanom i Yutom Gotom (obojica s TUS-a), zajedno s dr. Takashijem Shibatom iz NEC korporacije.

Za svoje eksperimente, istraživači su ciljali CLIP, vizualno-jezični model sa sposobnostima klasifikacije slika. Metoda koju su razvili temelji se na Strategiji evolucije adaptacije kovarijančne matrice (CMA-ES), evolucijskom algoritmu dizajniranom za optimizaciju rješenja korak po korak. U ovoj studiji, CMA-ES je iskorišten za procjenu i usavršavanje uputa danih CLIP-u, u konačnici potiskujući njegovu sposobnost klasifikacije specifičnih kategorija slika.

Kako je projekt napredovao, pojavili su se izazovi. Postojeće tehnike optimizacije teško su se nosile s većim volumenima ciljanih kategorija, što je tim navelo na osmišljavanje nove strategije parametrizacije poznate kao “dijeljenje latentnog konteksta.”

Ovaj pristup razbija latentni kontekst – reprezentaciju informacija generiranu uputama – na manje, lakše upravljive dijelove. Dodjeljivanjem određenih elemenata jednom tokenu (riječi ili znaku) dok se drugi ponovno koriste kroz više tokena, dramatično su smanjili složenost problema. Ključno je da je ovo učinilo proces računalno izvedivim čak i za opsežne primjene zaboravljanja.

Kroz testove na više skupova podataka za klasifikaciju slika, istraživači su potvrdili učinkovitost black-box zaboravljanja – postižući cilj da CLIP “zaboravi” približno 40% ciljanih klasa bez izravnog pristupa unutarnjoj arhitekturi AI modela.

Ovo istraživanje označava prvi uspješan pokušaj induciranja selektivnog zaboravljanja u black-box vizualno-jezičnom modelu, pokazujući obećavajuće rezultate.

Prednosti pomaganja AI modelima da zaborave podatke

Izvan svoje tehničke domišljatosti, ova inovacija ima značajan potencijal za primjene u stvarnom svijetu gdje je ključna preciznost specifična za zadatak.

Pojednostavljivanje modela za specijalizirane zadatke moglo bi ih učiniti bržima, učinkovitijima u pogledu resursa i sposobnima za rad na manje snažnim uređajima – ubrzavajući usvajanje AI-ja u područjima koja su se prethodno smatrala neizvedivima.

Još jedna ključna primjena leži u generiranju slika, gdje bi zaboravljanje cijelih kategorija vizualnog konteksta moglo spriječiti modele da nenamjerno stvaraju nepoželjni ili štetni sadržaj, bilo da se radi o uvredljivom materijalu ili dezinformacijama.

Možda najvažnije, ova metoda rješava jednu od najvećih etičkih dilema AI-ja: privatnost.

AI modeli, posebno oni veliki, često se treniraju na masivnim skupovima podataka koji mogu nenamjerno sadržavati osjetljive ili zastarjele informacije. Zahtjevi za uklanjanje takvih podataka – posebno u svjetlu zakona koji zagovaraju “Pravo na zaborav” – predstavljaju značajne izazove.

Ponovno treniranje cijelih modela kako bi se isključili problematični podaci skupo je i dugotrajno, a rizici njihovog neadresiranja mogu imati dalekosežne posljedice.

“Ponovno treniranje velikog modela troši enormne količine energije,” napominje izvanredni profesor Irie. “‘Selektivno zaboravljanje’, ili takozvano strojno odučavanje, moglo bi pružiti učinkovito rješenje za ovaj problem.”

Ove aplikacije fokusirane na privatnost posebno su relevantne u industrijama visokog rizika poput zdravstvene skrbi i financija, gdje su osjetljivi podaci ključni za operacije.

Dok se globalna utrka za napretkom AI-ja ubrzava, pristup black-box zaboravljanja Tokijskog sveučilišta znanosti označava važan put naprijed – ne samo čineći tehnologiju prilagodljivijom i učinkovitijom već i dodavanjem značajnih zaštitnih mjera za korisnike.

Iako potencijal za zlouporabu ostaje, metode poput selektivnog zaboravljanja pokazuju da istraživači proaktivno rješavaju i etičke i praktične izazove.