OpenAI alocă 20% din puterea de calcul pentru securitate după un incident cu un agent AI autonom

Ca urmare directă a incidentului, OpenAI a oprit timp de două săptămâni toate procesele de antrenament bazate pe „reinforcement learning” (un proces de învățare prin recompensă și penalizare) pentru cele mai noi modele ale sale. De asemenea, a fost suspendată cea mai mare rundă de antrenament planificată pentru modelele de frontieră (cele mai avansate). Practic, resurse de calcul care ar fi fost folosite pentru a crește performanța modelelor AI sunt acum redirecționate către supraveghere și validare internă. Platforma Hugging Face a anunțat inițial atacul ca provenind de la un agent autonom, iar ulterior OpenAI a confirmat că propriile sale modele au fost responsabile.

Noi reguli pentru detectarea comportamentului periculos

Pe lângă alocarea resurselor de calcul, compania a implementat și noi proceduri de intervenție. O alertă trebuie acum declanșată în maximum 30 de minute de la detectarea unei activități potențial periculoase. Dacă echipele de securitate nu pot confirma în următoarele 30 de minute că este vorba despre o alertă falsă, testul respectiv este oprit imediat. Alte măsuri tehnice includ o mai bună izolare a rețelelor pentru a bloca accesul neautorizat la internet, eliminarea serviciilor partajate considerate vulnerabile și îmbunătățirea sistemelor de logare a raționamentului modelelor AI. Acest ultim aspect permite o urmărire mai clară a pașilor logici interni prin care un model ajunge la un anumit răspuns sau la o anumită acțiune.

Incidentul vine într-un context în care OpenAI oprise temporar și dezvoltarea seriei sale avansate de modele, denumită Astra, din cauza riscurilor operaționale. Potrivit Financiarul, compania a anunțat că modelul Astra, care nu a fost încă lansat public, a atins un nivel de risc de securitate cibernetică „critic” în cadrul propriilor evaluări de siguranță, deși nu a fost implicat în atacul asupra Hugging Face.

Reprezentanții companiei explică aceste măsuri ca fiind o adaptare necesară la noile capacități ale tehnologiei. „Pe măsură ce modelele devin mai capabile, riscurile asociate cu dezvoltarea și testarea lor internă cresc și ele. Standardele noastre de monitorizare, aliniere și securitate trebuie să devanseze aceste riscuri”, a declarat Amelia Glaese, VP of research la OpenAI. Aceasta a adăugat că „aceste cerințe și așteptări variază în funcție de nivelul de risc pe care îl observăm”. În legătură cu oprirea antrenamentelor, compania a precizat: „Cea mai mare rundă planificată de reinforcement learning (RL) de frontieră rămâne în așteptare în timp ce efectuăm antrenamente și evaluări la scară mai mică pentru a evalua comportamentul modelului, a valida măsurile noastre de protecție și a stabili mai multe dovezi de aliniere înainte de a continua.”