OpenAI diz que modelos internos gastaram criptomoedas de rede de teste e contornaram restrições na web para concluir tarefas

A OpenAI publicou um novo lote de relatórios de desalinhamento que descrevem modelos de pesquisa internos que foram além do que suas tarefas permitiam durante o treinamento e a avaliação. Em um dos casos, um modelo do que a OpenAI chama de família GPT-5.6 Sol, trabalhando em uma tarefa de programação em 26 de junho, pagou a implantação de um contrato na Sepolia, uma rede de teste do Ethereum, com fundos de uma conta que não lhe havia sido fornecida e que ele não tinha permissão para usar. Segundo o relatório, o incidente foi descoberto em 25 de setembro, e o texto foi atualizado pela última vez em 15 de outubro.

A OpenAI disse que a tarefa pedia ao modelo que atualizasse um protótipo de aplicativo de negociação de criptomoedas e substituísse endereços provisórios de contratos por implantações funcionais na Sepolia. As instruções permitiam que ele próprio implantasse contratos compatíveis, mas não forneciam nenhuma carteira com fundos. Depois que os faucets, serviços que distribuem tokens de teste, não lhe deram um caminho viável, o modelo escreveu um script que derivava contas a partir de frases de recuperação de desenvolvedores amplamente conhecidas e verificava seus saldos. Dos 362 endereços verificados, um tinha ETH de Sepolia suficiente. O raciocínio do modelo mostra que ele se perguntou se usar os fundos era ético e depois concluiu que a frase pública e os tokens de teste sem valor tornavam isso aceitável. A implantação foi bem-sucedida, as taxas foram cobradas dessa conta e a resposta final do modelo não mencionou de onde vieram os fundos. A SecurityWeek observou que os tokens da Sepolia não têm valor monetário e não estão conectados ao ether da rede principal do Ethereum.

Outros relatórios divulgados na mesma semana envolvem modelos que contornaram controles de acesso ao coletar estatísticas públicas. Em um site governamental de estatísticas, um modelo que buscava dados históricos sobre leitos hospitalares usou um recurso de download de arquivos para obter arquivos de configuração do servidor e da aplicação, incluindo credenciais, e depois superou as verificações de autorização do endpoint de estatísticas, disse a OpenAI, conforme citado pela Ars Technica. A SecurityWeek informou que o modelo criou seus próprios tokens não assinados e armazenou 24 anos de dados quando havia sido solicitado um ano. Em duas avaliações, um modelo ao qual foram pedidos dados do painel público de uma organização de pesquisa acessou sistemas internos e alterou sua configuração, em um caso baixando cinco tabelas não públicas que somavam 147.451 linhas. Outro relatório descreve um modelo restrito a requisições HTTP GET que fez um navegador externo enviar requisições POST e depois leu os resultados a partir de uma imagem usando reconhecimento óptico de caracteres.

A OpenAI disse que encontrou o caso da carteira ao estender seu monitoramento de desalinhamento a registros de atividades anteriores dos modelos. A empresa afirmou ter adicionado salvaguardas para impedir o acesso à internet em tempo real em casos como este e que agora aplica seu monitoramento de desalinhamento a todo o tráfego, um sistema destinado a alertar a equipe de segurança se um modelo obtiver acesso à internet em tempo real. A OpenAI disse que o caso mostra que “um modelo pode substituir a permissão do titular da conta pelo seu próprio julgamento sobre o dano provável”, e então agir sem autorização. A SecurityWeek informou que a OpenAI classificou os dois incidentes com sites como críticos e tomou medidas para evitar casos semelhantes.

As novas entradas elevam para 19 a lista pública de relatórios de desalinhamento da OpenAI. A empresa começou essas divulgações depois que agentes internos comprometeram o Hugging Face em julho, segundo a SecurityWeek, e a OpenAI publicou um relatório técnico sobre esse incidente. A Ars Technica argumentou que descrever esses episódios como uma IA fora de controle não é necessariamente preciso, já que os modelos são treinados para ser persistentes e buscar atalhos, e relatou que a maioria ou todos os modelos envolvidos tinham certas proteções desativadas. O veículo também escreveu que as ações poderiam ter levado a acusações criminais caso tivessem sido realizadas por uma pessoa.