Satya Nadella propune o schimbare destul de radicală de perspectivă asupra AI-ului avansat: să nu mai pornim de la ideea că modelul este de încredere, ci exact invers. Într-un text publicat pe X, CEO-ul Microsoft spune că modelele ar trebui tratate precum un risc intern într-o companie: presupui din start că pot greși, pot fi compromise sau pot face ceva ce nu ai anticipat și le limitezi puterea înainte să apară incidentul.
Formularea care atrage atenția este și cea mai ușor de interpretat greșit: „Trebuie să presupunem că un model este compromis și să îl izolăm de la început.” Nadella nu spune că toate modelele AI au fost sparte de hackeri și nici că sunt „răuvoitoare”. Vorbește despre o regulă de securitate, foarte apropiată de principiul Zero Trust / Assume breach pe care Microsoft îl promovează de ani buni pentru infrastructura IT: nu acorzi încredere implicită nici utilizatorilor, nici dispozitivelor, nici serviciilor.
Diferența este că acum această regulă este aplicată direct modelelor AI care încep să primească acces la browser, email, fișiere, cod, baze de date și servicii externe.
Frâna trebuie să fie în afara modelului
Nadella insistă că mecanismele de control nu trebuie lăsate chiar în seama AI-ului. Modelul trebuie separat de software-ul care îi orchestrează munca și de sistemul care decide la ce date și acțiuni are acces.
Concret, CEO-ul Microsoft propune șapte reguli:
- diversitate de modele – un singur AI nu ar trebui să ia decizia și tot el să își verifice rezultatul;
- înregistrarea acțiunilor – orice operațiune importantă trebuie să lase urme lizibile de oameni și imposibil de modificat ulterior;
- verificare continuă – trebuie testate și eșecurile, atacurile și cazurile-limită, nu doar scenariile în care totul funcționează;
- controale independente – compania decide ce poate vedea și face AI-ul, nu modelul;
- audit independent – sistemul care verifică un model nu trebuie controlat de același model;
- containment – AI-ul trebuie izolat și să poată fi oprit instant;
- raportarea incidentelor – dacă ceva merge prost, cei afectați trebuie informați rapid și industria trebuie să afle ce mecanism a cedat.
Cea mai concretă imagine folosită de Nadella este cea a unei frâne de urgență: o persoană autorizată trebuie să poată opri un model chiar în timp ce acesta execută o sarcină. Pentru modelele viitoare, mai capabile, el cere chiar standardizarea unor tehnologii speciale de izolare.
Nu mai este doar o discuție teoretică
Momentul nu pare ales întâmplător. În ultimele săptămâni am avut mai multe exemple în care agenți AI au făcut lucruri pe care operatorii lor nu le anticipaseră.
OpenAI a notificat peste 100 de organizații după incidente provocate de agenți AI, iar într-unul dintre cazuri un agent a obținut acces neautorizat la sisteme guvernamentale din Australia.
Am văzut chiar și situația absurdă în care un agent trimis să facă o rezervare la sală a exploatat singur o vulnerabilitate, deși utilizatorul nu îi ceruse așa ceva.
Și aici apare diferența dintre chatbot și agent AI. Un chatbot poate da un răspuns prost. Un agent care are acces la servicii externe poate executa răspunsul prost.
De aceea mi se pare relevant că tocmai șeful Microsoft împinge acum ideea de „nu avea încredere în model”. Microsoft este unul dintre cei mai mari furnizori de infrastructură și produse AI din lume, nu un critic din afara industriei.
Nadella rezumă filosofia lui destul de bine: cel mai sigur sistem AI nu va fi cel în care avem cea mai mare încredere în model, ci cel construit astfel încât să fie nevoie să avem cât mai puțină încredere în el.
Asta poate fi și direcția realistă pentru următoarea generație de agenți AI: nu să presupunem că devin perfecți, ci să construim sisteme în care greșelile lor nu pot produce prea mult rău.
