Mi-a apărut azi pe X o postare care mi s-a părut destul de „neliniștitoare”, mai ales după ce am văzut cine a scris-o. Jacob Coxon nu este un comentator care privește AI-ul de pe margine. A lucrat trei ani la pre-antrenarea modelelor, la OpenAI și Anthropic, iar acum și-a dat demisia de la Anthropic spunând că ambele companii „aleargă direct spre o superinteligență capabilă să se îmbunătățească singură și pariază cu viețile noastre”.
Asta schimbă puțin greutatea mesajului. E una să auzi scenarii cu AI care scapă de sub control de la cineva din afara industriei și alta să vezi un om care a lucrat efectiv la construirea modelelor spunând: eu nu mai vreau să particip la cursa asta.
Coxon susține că oamenii care dezvoltă AI discută serios, inclusiv în privat, despre posibilitatea unor consecințe catastrofale până la sfârșitul deceniului. Nu avem aici o profeție și nici dovada că așa ceva se va întâmpla. Avem mărturia unui cercetător care spune că nivelul de teamă din interiorul laboratoarelor este mai mare decât pare din comunicatele publice.
Și mai interesant este motivul pentru care spune că lucrurile continuă. În viziunea sa, OpenAI și Anthropic sunt prinse într-o cursă în care niciuna nu poate apăsa frâna singură. Dacă una încetinește, cealaltă poate ajunge prima la modele mai capabile. Sună puțin ca două mașini care intră într-o curbă și niciun șofer nu vrea să fie primul care ridică piciorul de pe accelerație.
Un om din Anthropic îi dă dreptate
Mesajul lui Coxon nu a rămas izolat. Evan Hubinger, Alignment Science Lead la Anthropic, i-a răspuns public și spune că estimează personal la peste 10% riscul unei catastrofe provocate de AI în următorul deceniu. Tot el precizează însă că riscul modelelor actuale este redus; problema ar apărea odată cu sisteme mult mai capabile, care ar putea începe să se îmbunătățească recursiv.
Aici intră în scenă termenul „alignment”: încercarea de a ne asigura că un AI foarte puternic continuă să facă ceea ce oamenii intenționează să facă. Hubinger spune că Anthropic lucrează la problemă, dar nu are încă un plan pentru alinierea unei superinteligențe.
Nu este prima dată când apar semnale din interiorul companiilor AI. OpenAI și-a desființat în 2024 echipa dedicată riscurilor AI pe termen lung, iar mai recent compania a confirmat incidentul agenților AI de pe un wiki german, pe care l-a tratat drept o problemă de misalignment. La Anthropic am văzut și teste în care Claude ajungea la șantaj pentru a evita oprirea, în scenarii simulate.
Niciunul dintre aceste cazuri nu dovedește că vine o catastrofă AI. Dar când un cercetător care a lucrat chiar la OpenAI și Anthropic pleacă spunând că firmele „pariază cu viețile noastre”, iar un coleg din echipa de alignment răspunde cu un risc personal estimat la peste 10%, discuția devine ceva mai greu de pus în sertarul „SF”.
Eu sunt sincer curioasă și de părerea voastră: cum vedeți voi cursa asta spre AI tot mai puternic? Vi se pare că avertismentele venite chiar de la oamenii care lucrează la aceste sisteme trebuie luate foarte în serios sau credeți că scenariile catastrofale sunt exagerate?
Crezi că această cursă pentru AI tot mai puternic poate duce la o catastrofă?
Oamenii care construiesc AI-ul încep să tragă semnale de alarmă: Cât de periculoasă este cursa OpenAI–Anthropic?
Rezultatele devin vizibile după vot.
