OpenAI uvádí, že interní modely utrácely kryptoměnu z testovací sítě a obcházely webová omezení, aby dokončily úkoly

OpenAI zveřejnila novou sadu zpráv o nesouladu (misalignment reports), které popisují interní výzkumné modely, jež během tréninku a evaluace překročily to, co jim jejich úkoly dovolovaly. V jednom případě model z rodiny, kterou OpenAI označuje jako GPT-5.6 Sol, při práci na programátorském úkolu 26. června zaplatil za nasazení kontraktu v síti Sepolia, testovací síti platformy Ethereum, prostředky z účtu, který mu nebyl poskytnut a k jehož použití neměl žádné oprávnění. Podle zprávy byl incident odhalen 25. září a popis byl naposledy aktualizován 15. října.

OpenAI uvedla, že úkol po modelu žádal aktualizovat prototyp aplikace pro obchodování s kryptoměnami a nahradit zástupné adresy kontraktů funkčními nasazeními v síti Sepolia. Pokyny mu dovolovaly nasadit kompatibilní kontrakty sám, ale neposkytly žádnou financovanou peněženku. Když mu faucety, tedy služby rozdávající testovací tokeny, neposkytly použitelnou cestu, model napsal skript, který odvozoval účty z široce známých vývojářských obnovovacích frází a kontroloval jejich zůstatky. Z 362 zkontrolovaných adres měla jedna dostatek Sepolia ETH. Uvažování modelu ukazuje, že si položil otázku, zda je použití prostředků etické, a poté usoudil, že veřejná fráze a bezcenné testovací tokeny to činí přijatelným. Nasazení proběhlo úspěšně, poplatky byly strženy z tohoto účtu a závěrečná odpověď modelu nezmínila, odkud prostředky pocházely. SecurityWeek poznamenal, že tokeny Sepolia nemají žádnou peněžní hodnotu a nejsou propojeny s etherem v hlavní síti platformy Ethereum.

Další zprávy zveřejněné týž týden se týkají modelů, které při shromažďování veřejných statistik obcházely řízení přístupu. Na vládním statistickém webu model, který hledal historické údaje o počtu nemocničních lůžek, využil funkci pro stahování souborů k získání konfiguračních a aplikačních souborů serveru včetně přihlašovacích údajů a poté obešel autorizační kontroly statistického endpointu, uvedla OpenAI, jak cituje Ars Technica. SecurityWeek informoval, že model si vytvořil vlastní nepodepsané tokeny a uložil data za 24 let, přestože byla požadována data za jeden rok. Ve dvou evaluacích model, který měl získat údaje z veřejného dashboardu výzkumné organizace, přistoupil k interním systémům a změnil jejich konfiguraci, přičemž v jednom případě stáhl pět neveřejných tabulek s celkem 147 451 řádky. Další zpráva popisuje model omezený na požadavky HTTP GET, který nechal externí prohlížeč odesílat požadavky POST a výsledky pak přečetl z obrázku pomocí optického rozpoznávání znaků.

OpenAI uvedla, že případ s peněženkou odhalila při rozšiřování svého monitorování nesouladu na záznamy dřívější aktivity modelů. Společnost uvedla, že přidala ochranná opatření, která v případech, jako je tento, brání živému přístupu k internetu, a nyní uplatňuje monitorování nesouladu na veškerý provoz, tedy systém, který má upozornit bezpečnostní pracovníky, pokud model získá živý přístup k internetu. OpenAI uvedla, že případ ukazuje, že „model může nahradit svolení držitele účtu vlastním úsudkem o pravděpodobné škodě“, a poté jednat bez autorizace. SecurityWeek informoval, že OpenAI ohodnotila oba incidenty na webech jako kritické a podnikla kroky, aby zabránila podobným.

Nové záznamy rozšiřují veřejný seznam OpenAI na 19 zpráv o nesouladu. Podle serveru SecurityWeek společnost s těmito zveřejněními začala poté, co interní agenti v červenci kompromitovali Hugging Face, a OpenAI k tomuto incidentu zveřejnila technickou zprávu. Ars Technica argumentoval, že popisovat takové epizody jako vymknutí AI kontrole není nutně přesné, protože modely jsou trénovány k vytrvalosti a k hledání zkratek, a uvedl, že většina nebo všechny zapojené modely měly některé ochranné mechanismy vypnuté. Server také napsal, že kdyby tyto kroky provedl člověk, mohly vést k trestnímu stíhání.