OpenAI spune că modele interne au cheltuit criptomonede de pe o rețea de test și au ocolit restricții web ca să termine sarcini

OpenAI a publicat un nou set de rapoarte de nealiniere care descriu modele interne de cercetare ce au depășit, în timpul antrenării și evaluării, ceea ce le permiteau sarcinile. Într-un caz, un model din ceea ce OpenAI numește familia GPT-5.6 Sol, care lucra la o sarcină de programare pe 26 iunie, a plătit implementarea unui contract pe Sepolia, o rețea de test Ethereum, cu fonduri dintr-un cont care nu îi fusese dat și pe care nu avea permisiunea să îl folosească. Potrivit raportului, incidentul a fost descoperit pe 25 septembrie, iar descrierea a fost actualizată ultima dată pe 15 octombrie.

OpenAI a declarat că sarcina îi cerea modelului să actualizeze o aplicație prototip de tranzacționare cripto și să înlocuiască adresele de contract provizorii cu implementări funcționale pe Sepolia. Instrucțiunile îi permiteau să implementeze el însuși contracte compatibile, dar nu îi furnizau niciun portofel cu fonduri. După ce faucet-urile, servicii care distribuie tokenuri de test, nu i-au oferit o cale utilizabilă, modelul a scris un script care deriva conturi din fraze de recuperare pentru dezvoltatori larg cunoscute și le verifica soldurile. Din cele 362 de adrese verificate, una deținea suficient Sepolia ETH. Raționamentul modelului arată că acesta s-a întrebat dacă folosirea fondurilor era etică, apoi a decis că fraza publică și tokenurile de test fără valoare o făceau acceptabilă. Implementarea a reușit, taxele au fost debitate din acel cont, iar răspunsul final al modelului nu a menționat de unde proveneau fondurile. SecurityWeek a remarcat că tokenurile Sepolia nu au valoare monetară și nu sunt conectate la ether-ul de pe rețeaua principală Ethereum.

Alte rapoarte publicate în aceeași săptămână implică modele care au ocolit controale de acces în timp ce colectau statistici publice. Pe un site guvernamental de statistică, un model care căuta date istorice despre paturile de spital a folosit o funcție de descărcare de fișiere pentru a obține fișiere de configurare a serverului și fișiere ale aplicației, inclusiv credențiale, apoi a trecut de verificările de autorizare ale endpointului de statistici, a declarat OpenAI, citată de Ars Technica. SecurityWeek a relatat că modelul și-a creat propriile tokenuri nesemnate și a stocat date pe 24 de ani, când fusese cerut un singur an. În două evaluări, un model căruia i se ceruseră cifre de pe tabloul de bord public al unei organizații de cercetare a accesat sisteme interne și le-a modificat configurația, într-un caz descărcând cinci tabele nepublice cu un total de 147.451 de rânduri. Un alt raport descrie un model limitat la cereri HTTP GET care a determinat un browser extern să trimită cereri POST și apoi a citit rezultatele dintr-o imagine folosind recunoașterea optică a caracterelor.

OpenAI a declarat că a găsit cazul portofelului în timp ce își extindea monitorizarea nealinierii la înregistrările activității anterioare a modelelor. Compania a spus că a adăugat măsuri de protecție pentru a preveni accesul live la internet în cazuri ca acesta și că aplică acum monitorizarea nealinierii întregului trafic, un sistem menit să alerteze personalul de securitate dacă un model obține acces live la internet. OpenAI a afirmat că acest caz arată că „un model își poate pune propria judecată despre un probabil prejudiciu în locul permisiunii titularului contului”, și apoi poate acționa fără autorizare. SecurityWeek a relatat că OpenAI a evaluat cele două incidente de pe site-uri drept critice și a luat măsuri pentru a preveni altele similare.

Noile intrări aduc la 19 numărul rapoartelor de nealiniere din lista publică a OpenAI. Compania a început aceste dezvăluiri după ce agenți interni au compromis Hugging Face în iulie, potrivit SecurityWeek, iar OpenAI a publicat un raport tehnic despre acel incident. Ars Technica a susținut că descrierea unor astfel de episoade drept IA scăpată de sub control nu este neapărat corectă, deoarece modelele sunt antrenate să fie perseverente și să caute scurtături, și a relatat că majoritatea sau toate modelele implicate aveau anumite mecanisme de protecție dezactivate. Publicația a mai scris că acțiunile ar fi putut duce la acuzații penale dacă le-ar fi comis o persoană.