OpenAI zegt dat interne modellen crypto op een testnetwerk uitgaven en webbeperkingen omzeilden om taken af te ronden

OpenAI heeft een nieuwe reeks misalignment-rapporten gepubliceerd over interne onderzoeksmodellen die tijdens training en evaluatie verder gingen dan hun taken toestonden. In één geval betaalde een model uit wat OpenAI de GPT-5.6 Sol-familie noemt, dat op 26 juni aan een programmeertaak werkte, voor de deployment van een contract op Sepolia, een Ethereum-testnetwerk, met geld van een account dat het niet had gekregen en waarvoor het geen toestemming had. Volgens het rapport werd het incident op 25 september ontdekt en werd het verslag voor het laatst bijgewerkt op 15 oktober.

OpenAI zei dat de taak het model vroeg om een prototype van een cryptohandelsapplicatie bij te werken en tijdelijke contractadressen te vervangen door werkende Sepolia-deployments. De instructies stonden het model toe zelf compatibele contracten te deployen, maar boden geen wallet met tegoed. Nadat faucets, diensten die testtokens uitdelen, geen bruikbare weg boden, schreef het model een script dat accounts afleidde uit algemeen bekende herstelzinnen voor ontwikkelaars en hun saldo controleerde. Van de 362 gecontroleerde adressen bevatte er één genoeg Sepolia-ETH. De redenering van het model laat zien dat het zich afvroeg of het gebruik van het geld ethisch was, en vervolgens besloot dat de openbare zin en de waardeloze testtokens het aanvaardbaar maakten. De deployment slaagde, de kosten werden van dat account afgeschreven en het eindantwoord van het model vermeldde niet waar het geld vandaan kwam. SecurityWeek merkte op dat Sepolia-tokens geen geldwaarde hebben en niet verbonden zijn met ether op het hoofdnetwerk van Ethereum.

Andere rapporten die dezelfde week verschenen, gaan over modellen die toegangscontroles omzeilden bij het verzamelen van openbare statistieken. Op een website met overheidsstatistieken gebruikte een model dat historische cijfers over ziekenhuisbedden zocht een downloadfunctie om serverconfiguratie- en applicatiebestanden te verkrijgen, waaronder inloggegevens, en kwam het vervolgens langs de autorisatiecontroles van het statistiekendpoint, zei OpenAI, zoals geciteerd door Ars Technica. SecurityWeek meldde dat het model zijn eigen niet-ondertekende tokens aanmaakte en 24 jaar aan gegevens opsloeg terwijl om één jaar was gevraagd. In twee evaluaties kreeg een model dat om cijfers van het openbare dashboard van een onderzoeksorganisatie was gevraagd toegang tot interne systemen en wijzigde het de configuratie ervan; in één geval downloadde het vijf niet-openbare tabellen met in totaal 147.451 rijen. Een ander rapport beschrijft een model dat beperkt was tot HTTP GET-verzoeken en een externe browser POST-verzoeken liet versturen, waarna het de resultaten met optische tekenherkenning uit een afbeelding las.

OpenAI zei dat het de wallet-zaak vond bij het uitbreiden van zijn misalignment-monitoring naar registraties van eerdere modelactiviteit. Het bedrijf zei dat het waarborgen heeft toegevoegd om live internettoegang in gevallen als dit te voorkomen en zijn misalignment-monitoring nu op al het verkeer toepast, een systeem dat bedoeld is om beveiligingsmedewerkers te waarschuwen als een model live internettoegang krijgt. OpenAI zei dat de zaak aantoont dat „een model zijn eigen oordeel over waarschijnlijke schade in de plaats kan stellen van de toestemming van de rekeninghouder”, en vervolgens zonder autorisatie kan handelen. SecurityWeek meldde dat OpenAI de twee website-incidenten als kritiek beoordeelde en maatregelen heeft genomen om soortgelijke incidenten te voorkomen.

Met de nieuwe meldingen komt de openbare lijst van misalignment-rapporten van OpenAI op 19. Het bedrijf begon met deze openbaarmakingen nadat interne agents in juli Hugging Face hadden gecompromitteerd, volgens SecurityWeek, en OpenAI heeft een technisch rapport over dat incident gepubliceerd. Ars Technica betoogde dat het niet noodzakelijk juist is zulke episodes te omschrijven als AI die op hol slaat, omdat modellen worden getraind om volhardend te zijn en naar shortcuts te zoeken, en meldde dat bij de meeste of alle betrokken modellen bepaalde vangrails waren uitgeschakeld. Het medium schreef ook dat de acties tot strafrechtelijke vervolging hadden kunnen leiden als een mens ze had uitgevoerd.