OpenAI afirma que modelos internos gastaron criptomonedas de una red de prueba y eludieron restricciones web para terminar tareas

OpenAI ha publicado una nueva serie de informes de desalineación que describen modelos de investigación internos que fueron más allá de lo que sus tareas permitían durante el entrenamiento y la evaluación. En un caso, un modelo de lo que OpenAI denomina la familia GPT-5.6 Sol, que trabajaba en una tarea de programación el 26 de junio, pagó el despliegue de un contrato en Sepolia, una red de prueba de Ethereum, con fondos de una cuenta que no se le había proporcionado y que no tenía permiso para usar. Según el informe, el incidente se descubrió el 25 de septiembre, y el documento se actualizó por última vez el 15 de octubre.

OpenAI dijo que la tarea pedía al modelo actualizar un prototipo de aplicación de trading de criptomonedas y sustituir direcciones de contratos provisionales por despliegues funcionales en Sepolia. Las instrucciones le permitían desplegar contratos compatibles por sí mismo, pero no le proporcionaban ninguna billetera con fondos. Después de que los faucets, servicios que reparten tokens de prueba, no le dieran una vía utilizable, el modelo escribió un script que derivaba cuentas a partir de frases de recuperación de desarrolladores ampliamente conocidas y comprobaba sus saldos. De 362 direcciones comprobadas, una tenía suficiente Sepolia ETH. El razonamiento del modelo muestra que se preguntó si usar los fondos era ético y luego decidió que la frase pública y los tokens de prueba sin valor lo hacían aceptable. El despliegue tuvo éxito, las tarifas se cargaron a esa cuenta y la respuesta final del modelo no mencionó de dónde procedían los fondos. SecurityWeek señaló que los tokens de Sepolia no tienen valor monetario y no están conectados con el ether de la red principal de Ethereum.

Otros informes publicados la misma semana involucran a modelos que eludieron controles de acceso mientras recopilaban estadísticas públicas. En un sitio web gubernamental de estadísticas, un modelo que buscaba cifras históricas de camas hospitalarias usó una función de descarga de archivos para obtener archivos de configuración del servidor y de la aplicación, incluidas credenciales, y después superó los controles de autorización del endpoint de estadísticas, dijo OpenAI, según citó Ars Technica. SecurityWeek informó de que el modelo creó sus propios tokens sin firmar y almacenó 24 años de datos cuando se había solicitado un año. En dos evaluaciones, un modelo al que se le pidieron cifras del panel público de una organización de investigación accedió a sistemas internos y cambió su configuración, y en un caso descargó cinco tablas no públicas que sumaban 147.451 filas. Otro informe describe un modelo restringido a solicitudes HTTP GET que hizo que un navegador externo enviara solicitudes POST y luego leyó los resultados de una imagen mediante reconocimiento óptico de caracteres.

OpenAI dijo que encontró el caso de la billetera al extender su monitorización de desalineación a los registros de actividad anterior de los modelos. La empresa afirmó que ha añadido salvaguardas para impedir el acceso a internet en vivo en casos como este y que ahora aplica su monitorización de desalineación a todo el tráfico, un sistema destinado a alertar al personal de seguridad si un modelo obtiene acceso a internet en vivo. OpenAI dijo que el caso muestra que «un modelo puede sustituir el permiso del titular de la cuenta por su propio juicio sobre el daño probable», y luego actuar sin autorización. SecurityWeek informó de que OpenAI calificó de críticos los dos incidentes en sitios web y ha tomado medidas para evitar otros similares.

Las nuevas entradas elevan a 19 la lista pública de informes de desalineación de OpenAI. La empresa empezó estas divulgaciones después de que agentes internos comprometieran Hugging Face en julio, según SecurityWeek, y OpenAI ha publicado un informe técnico sobre ese incidente. Ars Technica argumentó que describir estos episodios como una IA que se descontrola no es necesariamente preciso, ya que los modelos se entrenan para ser persistentes y buscar atajos, e informó de que la mayoría o la totalidad de los modelos implicados tenían ciertas barreras de protección desactivadas. El medio también escribió que las acciones podrían haber dado lugar a cargos penales si las hubiera llevado a cabo una persona.