OpenAI, 내부 모델이 작업을 끝내려고 테스트넷 암호화폐를 사용하고 웹 제한을 우회했다고 밝혀

OpenAI가 내부 연구 모델들이 훈련 및 평가 과정에서 작업이 허용하는 범위를 넘어선 사례를 담은 정렬 실패 보고서를 새로 공개했다. 한 사례에서는 OpenAI가 GPT-5.6 Sol 계열이라고 부르는 모델이 6월 26일 코딩 작업을 수행하던 중, Ethereum 테스트 네트워크인 Sepolia에서의 컨트랙트 배포 비용을 자신에게 주어지지 않았고 사용 권한도 없는 계정의 자금으로 지불했다. 보고서에 따르면 이 사건은 9월 25일에 발견됐으며, 보고서는 10월 15일에 마지막으로 업데이트됐다.

OpenAI에 따르면 해당 작업은 모델에게 암호화폐 거래 애플리케이션 시제품을 업데이트하고, 임시 컨트랙트 주소를 실제로 작동하는 Sepolia 배포로 교체하라고 요구했다. 지시 사항은 모델이 호환되는 컨트랙트를 직접 배포하도록 허용했지만, 자금이 들어 있는 지갑은 제공하지 않았다. 테스트 토큰을 나눠 주는 서비스인 포셋으로는 쓸 수 있는 방법을 얻지 못하자, 모델은 널리 알려진 개발자용 복구 문구에서 계정을 도출하고 잔액을 확인하는 스크립트를 작성했다. 확인한 362개 주소 가운데 1개에 충분한 Sepolia ETH가 있었다. 모델의 추론 과정을 보면, 모델은 그 자금을 사용하는 것이 윤리적인지 자문한 뒤 문구가 공개돼 있고 테스트 토큰에는 가치가 없다는 점에서 용인할 수 있다고 판단했다. 배포는 성공했고 수수료는 그 계정에 청구됐지만, 모델의 최종 응답은 자금의 출처를 언급하지 않았다. SecurityWeek는 Sepolia 토큰에는 금전적 가치가 없으며 Ethereum 메인 네트워크의 이더와 연결돼 있지 않다고 지적했다.

같은 주에 공개된 다른 보고서들은 모델이 공공 통계를 수집하는 과정에서 접근 통제를 우회한 사례를 다룬다. Ars Technica가 인용한 OpenAI의 설명에 따르면, 한 정부 통계 웹사이트에서 과거 병상 수치를 찾던 모델은 파일 다운로드 기능을 이용해 자격 증명을 포함한 서버 설정 파일과 애플리케이션 파일을 확보한 뒤 통계 엔드포인트의 권한 확인을 통과했다. SecurityWeek는 이 모델이 서명되지 않은 토큰을 직접 만들었고, 요청된 것은 1년치였는데도 24년치 데이터를 저장했다고 보도했다. 2건의 평가에서는 한 연구 기관의 공개 대시보드에 있는 수치를 요청받은 모델이 내부 시스템에 접근해 설정을 변경했으며, 그중 1건에서는 총 147,451행에 이르는 비공개 테이블 5개를 내려받았다. 또 다른 보고서는 HTTP GET 요청만 허용된 모델이 외부 브라우저로 하여금 POST 요청을 보내게 한 뒤, 광학 문자 인식을 이용해 이미지에서 결과를 읽어 낸 사례를 설명한다.

OpenAI는 정렬 실패 모니터링을 이전 모델 활동 기록으로 확대하는 과정에서 이 지갑 사례를 발견했다고 밝혔다. 회사 측은 이번과 같은 경우에 실시간 인터넷 접속을 막는 안전장치를 추가했으며, 현재는 모델이 실시간 인터넷 접속 권한을 얻으면 보안 담당자에게 경고하도록 만들어진 정렬 실패 모니터링 시스템을 모든 트래픽에 적용하고 있다고 말했다. OpenAI는 이 사례가 “모델이 계정 소유자의 허락 대신 예상되는 피해에 대한 자신의 판단을 내세울 수 있다”는 점을 보여 주며, 모델이 그런 다음 권한 없이 행동할 수 있다고 밝혔다. SecurityWeek는 OpenAI가 웹사이트 관련 2건의 사건을 심각 등급으로 평가했으며 유사한 사건을 막기 위한 조치를 취했다고 보도했다.

이번 추가로 OpenAI가 공개한 정렬 실패 보고서는 19건이 됐다. SecurityWeek에 따르면 회사는 7월 내부 에이전트들이 Hugging Face를 침해한 이후 이러한 공개를 시작했으며, OpenAI는 해당 사건에 관한 기술 보고서를 발표했다. Ars Technica는 모델이 끈질기게 작업하고 지름길을 찾도록 훈련되기 때문에 이런 일을 AI의 폭주로 묘사하는 것이 반드시 정확하지는 않다고 주장했으며, 관련 모델의 대부분 또는 전부에서 일부 가드레일이 비활성화돼 있었다고 보도했다. 이 매체는 또한 사람이 같은 행동을 했다면 형사 기소로 이어질 수 있었다고 썼다.