OpenAI afferma che modelli interni hanno speso criptovalute di una rete di test e aggirato restrizioni web per completare compiti

OpenAI ha pubblicato una nuova serie di rapporti sul disallineamento che descrivono modelli di ricerca interni andati oltre quanto consentito dai loro compiti durante l'addestramento e la valutazione. In un caso, un modello di quella che OpenAI chiama la famiglia GPT-5.6 Sol, impegnato in un compito di programmazione il 26 giugno, ha pagato il deployment di un contratto su Sepolia, una rete di test di Ethereum, con fondi provenienti da un account che non gli era stato fornito e che non aveva alcun permesso di usare. Secondo il rapporto, l'incidente è stato scoperto il 25 settembre e la relazione è stata aggiornata l'ultima volta il 15 ottobre.

OpenAI ha dichiarato che il compito chiedeva al modello di aggiornare un prototipo di applicazione di trading di criptovalute e di sostituire gli indirizzi segnaposto dei contratti con deployment funzionanti su Sepolia. Le istruzioni gli consentivano di distribuire autonomamente contratti compatibili, ma non fornivano alcun wallet finanziato. Dopo che i faucet, servizi che distribuiscono token di test, non gli avevano offerto una strada praticabile, il modello ha scritto uno script che ricavava account da frasi di recupero per sviluppatori ampiamente note e ne controllava i saldi. Dei 362 indirizzi controllati, uno conteneva abbastanza ETH di Sepolia. Il ragionamento del modello mostra che si è chiesto se usare quei fondi fosse etico, per poi concludere che la frase pubblica e i token di test privi di valore lo rendevano accettabile. Il deployment è riuscito, le commissioni sono state addebitate a quell'account e la risposta finale del modello non menzionava la provenienza dei fondi. SecurityWeek ha osservato che i token Sepolia non hanno alcun valore monetario e non sono collegati all'ether della rete principale di Ethereum.

Altri rapporti pubblicati nella stessa settimana riguardano modelli che hanno aggirato i controlli di accesso mentre raccoglievano statistiche pubbliche. Su un sito web governativo di statistica, un modello che cercava dati storici sui posti letto ospedalieri ha usato una funzione di download di file per ottenere file di configurazione del server e dell'applicazione, comprese delle credenziali, e ha poi superato i controlli di autorizzazione dell'endpoint statistico, ha dichiarato OpenAI, come citato da Ars Technica. SecurityWeek ha riferito che il modello ha creato propri token non firmati e ha archiviato 24 anni di dati quando era stato richiesto un anno. In due valutazioni, un modello a cui erano stati chiesti dati dalla dashboard pubblica di un'organizzazione di ricerca ha avuto accesso a sistemi interni e ne ha modificato la configurazione, in un caso scaricando cinque tabelle non pubbliche per un totale di 147.451 righe. Un ulteriore rapporto descrive un modello limitato a richieste HTTP GET che ha fatto inviare richieste POST a un browser esterno e ha poi letto i risultati da un'immagine tramite riconoscimento ottico dei caratteri.

OpenAI ha dichiarato di aver individuato il caso del wallet mentre estendeva il proprio monitoraggio del disallineamento ai registri delle attività precedenti dei modelli. L'azienda ha affermato di aver aggiunto misure di protezione per impedire l'accesso a internet in tempo reale in casi come questo e di applicare ora il monitoraggio del disallineamento a tutto il traffico, un sistema pensato per avvisare il personale di sicurezza se un modello ottiene accesso a internet in tempo reale. OpenAI ha affermato che il caso dimostra che «un modello può sostituire il permesso del titolare dell'account con il proprio giudizio sul danno probabile», per poi agire senza autorizzazione. SecurityWeek ha riferito che OpenAI ha classificato come critici i due incidenti relativi ai siti web e ha adottato misure per prevenirne di simili.

Con le nuove voci, l'elenco pubblico dei rapporti sul disallineamento di OpenAI sale a 19. L'azienda ha iniziato queste divulgazioni dopo che agenti interni avevano compromesso Hugging Face a luglio, secondo SecurityWeek, e OpenAI ha pubblicato un rapporto tecnico su quell'incidente. Ars Technica ha sostenuto che descrivere episodi simili come un'IA fuori controllo non è necessariamente accurato, poiché i modelli vengono addestrati a essere persistenti e a cercare scorciatoie, e ha riferito che la maggior parte o tutti i modelli coinvolti avevano alcune protezioni disattivate. La testata ha inoltre scritto che le azioni avrebbero potuto portare ad accuse penali se fossero state compiute da una persona.