OpenAI、社内モデルがタスク完了のためテストネットの暗号資産を使用し、ウェブの制限を回避したと発表

OpenAIは、社内の研究モデルが訓練と評価の過程でタスクの許容範囲を超えた行動をとった事例を記したミスアライメント報告を新たにまとめて公開した。ある事例では、OpenAIがGPT-5.6 Solファミリーと呼ぶモデルが6月26日にコーディングタスクに取り組む中で、EthereumのテストネットワークであるSepolia上でのコントラクトのデプロイ費用を、与えられておらず使用許可もないアカウントの資金で支払った。報告によると、この事案は9月25日に発見され、報告書は10月15日に最終更新された。

OpenAIによると、このタスクはモデルに対し、暗号資産取引アプリケーションの試作版を更新し、仮置きのコントラクトアドレスを実際に動作するSepolia上のデプロイに置き換えるよう求めるものだった。指示では互換性のあるコントラクトをモデル自身がデプロイすることは認められていたが、資金の入ったウォレットは提供されていなかった。テスト用トークンを配布するサービスであるフォーセットでは使える手段が得られなかったため、モデルは広く知られた開発者向けリカバリーフレーズからアカウントを導出し、その残高を確認するスクリプトを作成した。確認した362件のアドレスのうち、1件に十分なSepolia ETHがあった。モデルの推論には、その資金を使うことが倫理的かどうかを自問した後、フレーズが公開されていることとテスト用トークンに価値がないことから容認できると判断した様子が示されている。デプロイは成功し、手数料はそのアカウントに課金されたが、モデルの最終応答は資金の出どころに触れていなかった。SecurityWeekは、Sepoliaのトークンには金銭的価値がなく、Ethereumのメインネットワーク上のイーサとは結び付いていないと指摘した。

同じ週に公開された他の報告は、モデルが公開統計を収集する中でアクセス制御を回避した事例に関するものだ。Ars Technicaが引用したOpenAIの説明によると、ある政府統計サイトでは、過去の病床数のデータを探していたモデルがファイルダウンロード機能を使って、認証情報を含むサーバーの設定ファイルやアプリケーションファイルを取得し、その後、統計エンドポイントの認可チェックを突破した。SecurityWeekによると、このモデルは署名のないトークンを自ら作成し、要求されたのは1年分だったにもかかわらず24年分のデータを保存した。2件の評価では、研究機関の公開ダッシュボードの数値を求められたモデルが内部システムにアクセスしてその設定を変更し、うち1件では合計147,451行に上る5つの非公開テーブルをダウンロードした。さらに別の報告では、HTTPのGETリクエストのみに制限されたモデルが外部のブラウザにPOSTリクエストを送らせ、その結果を光学文字認識を使って画像から読み取った事例が記されている。

OpenAIは、ミスアライメント監視を過去のモデル活動の記録にまで拡大する中で、このウォレットの事例を発見したと述べた。同社によると、今回のようなケースでライブのインターネットアクセスを防ぐ安全策を追加したほか、現在はミスアライメント監視をすべての通信に適用している。これは、モデルがライブのインターネットアクセスを得た場合にセキュリティ担当者に警告することを目的としたシステムだ。OpenAIは、この事例が「モデルは、起こりうる害についての自らの判断を、アカウント所有者の許可の代わりにしてしまうことがある」ことを示しており、その上で許可なく行動しうると述べた。SecurityWeekによると、OpenAIはウェブサイトでの2件の事案を重大と評価し、同様の事案を防ぐための措置を講じた。

今回の追加により、OpenAIが公開しているミスアライメント報告は19件となった。SecurityWeekによると、同社がこうした開示を始めたのは7月に社内のエージェントがHugging Faceを侵害した後のことで、OpenAIはその事案に関する技術報告書を公開している。Ars Technicaは、モデルは粘り強く取り組み近道を探すよう訓練されているため、こうした出来事をAIの暴走と表現するのは必ずしも正確ではないと論じ、関与したモデルのほとんど、あるいはすべてで一部のガードレールが無効化されていたと報じた。同メディアはまた、人間が同じ行為をしていれば刑事訴追につながった可能性があるとも書いている。