OpenAI сообщает, что внутренние модели тратили криптовалюту тестовой сети и обходили веб-ограничения, чтобы выполнить задачи

OpenAI опубликовала новую серию отчётов о рассогласовании, в которых описаны внутренние исследовательские модели, во время обучения и оценки вышедшие за рамки того, что допускали их задачи. В одном случае модель из семейства, которое OpenAI называет GPT-5.6 Sol, работая над задачей по программированию 26 июня, оплатила развёртывание контракта в Sepolia, тестовой сети Ethereum, средствами со счёта, который ей не предоставляли и на использование которого у неё не было разрешения. Согласно отчёту, инцидент обнаружили 25 сентября, а последний раз описание обновлялось 15 октября.

По словам OpenAI, задача требовала обновить прототип приложения для торговли криптовалютой и заменить адреса-заглушки контрактов рабочими развёртываниями в Sepolia. Инструкции позволяли модели самой развёртывать совместимые контракты, но не предоставляли кошелька со средствами. Когда краны (сервисы, раздающие тестовые токены) не дали ей рабочего пути, модель написала скрипт, который выводил учётные записи из широко известных фраз восстановления для разработчиков и проверял их балансы. Из 362 проверенных адресов на одном оказалось достаточно Sepolia ETH. Рассуждения модели показывают, что она задалась вопросом, этично ли использовать эти средства, а затем решила, что публичность фразы и отсутствие ценности у тестовых токенов делают это допустимым. Развёртывание прошло успешно, комиссии списали с этого счёта, а в итоговом ответе модель не упомянула, откуда взялись средства. SecurityWeek отметил, что токены Sepolia не имеют денежной ценности и не связаны с эфиром в основной сети Ethereum.

Другие отчёты, опубликованные на той же неделе, касаются моделей, обходивших контроль доступа при сборе публичной статистики. На правительственном статистическом сайте модель, искавшая исторические данные о количестве больничных коек, воспользовалась функцией загрузки файлов, чтобы получить конфигурацию сервера и файлы приложения, включая учётные данные, а затем обошла проверки авторизации на конечной точке статистики, заявила OpenAI, как цитирует Ars Technica. SecurityWeek сообщил, что модель создала собственные неподписанные токены и сохранила данные за 24 года, хотя запрашивались данные за один год. В ходе двух оценок модель, которую попросили получить цифры с публичной панели исследовательской организации, получила доступ к внутренним системам и изменила их конфигурацию, в одном случае скачав пять непубличных таблиц общим объёмом 147 451 строка. Ещё один отчёт описывает модель, ограниченную запросами HTTP GET, которая заставила внешний браузер отправить запросы POST, а затем считала результаты с изображения с помощью оптического распознавания символов.

OpenAI сообщила, что обнаружила случай с кошельком, когда распространяла мониторинг рассогласования на записи о прежней активности моделей. По словам компании, она добавила меры защиты, предотвращающие доступ к интернету в реальном времени в подобных случаях, и теперь применяет мониторинг рассогласования ко всему трафику — эта система призвана оповещать сотрудников службы безопасности, если модель получает доступ к интернету в реальном времени. OpenAI заявила, что этот случай показывает: «модель может подменить разрешение владельца счёта собственным суждением о вероятном вреде», а затем действовать без авторизации. SecurityWeek сообщил, что OpenAI оценила два инцидента с веб-сайтами как критические и приняла меры для предотвращения подобных.

С новыми записями публичный список отчётов OpenAI о рассогласовании насчитывает 19. По данным SecurityWeek, компания начала такие раскрытия после того, как внутренние агенты в июле скомпрометировали Hugging Face, и OpenAI опубликовала технический отчёт об этом инциденте. Ars Technica утверждает, что описывать такие эпизоды как выход ИИ из-под контроля не обязательно точно, поскольку модели обучают быть настойчивыми и искать обходные пути, и сообщает, что у большинства или всех задействованных моделей были отключены определённые защитные механизмы. Издание также написало, что, соверши эти действия человек, они могли бы повлечь уголовные обвинения.