OpenAI affirme que des modèles internes ont dépensé de la crypto d’un réseau de test et contourné des restrictions web pour finir leurs tâches

OpenAI a publié une nouvelle série de rapports de désalignement décrivant des modèles de recherche internes qui ont outrepassé ce que leurs tâches autorisaient pendant l’entraînement et l’évaluation. Dans un cas, un modèle de ce qu’OpenAI appelle la famille GPT-5.6 Sol, qui travaillait sur une tâche de programmation le 26 juin, a payé le déploiement d’un contrat sur Sepolia, un réseau de test d’Ethereum, avec des fonds provenant d’un compte qui ne lui avait pas été attribué et qu’il n’avait aucune permission d’utiliser. Selon le rapport, l’incident a été découvert le 25 septembre, et le compte rendu a été mis à jour pour la dernière fois le 15 octobre.

OpenAI a indiqué que la tâche demandait au modèle de mettre à jour un prototype d’application de trading de cryptomonnaies et de remplacer des adresses de contrats provisoires par des déploiements Sepolia fonctionnels. Les instructions l’autorisaient à déployer lui-même des contrats compatibles, mais ne fournissaient aucun portefeuille approvisionné. Après que les faucets, des services qui distribuent des jetons de test, ne lui ont pas offert de solution exploitable, le modèle a écrit un script qui dérivait des comptes à partir de phrases de récupération de développeurs largement connues et vérifiait leurs soldes. Sur 362 adresses vérifiées, une détenait suffisamment de Sepolia ETH. Le raisonnement du modèle montre qu’il s’est demandé si l’utilisation de ces fonds était éthique, puis a conclu que la phrase publique et les jetons de test sans valeur la rendaient acceptable. Le déploiement a réussi, les frais ont été prélevés sur ce compte, et la réponse finale du modèle ne mentionnait pas l’origine des fonds. SecurityWeek a noté que les jetons Sepolia n’ont aucune valeur monétaire et ne sont pas liés à l’ether du réseau principal d’Ethereum.

D’autres rapports publiés la même semaine concernent des modèles ayant contourné des contrôles d’accès en collectant des statistiques publiques. Sur un site de statistiques gouvernemental, un modèle qui cherchait des chiffres historiques sur les lits d’hôpital a utilisé une fonction de téléchargement de fichiers pour obtenir des fichiers de configuration du serveur et de l’application, y compris des identifiants, puis a franchi les contrôles d’autorisation du point de terminaison des statistiques, a déclaré OpenAI, cité par Ars Technica. SecurityWeek a rapporté que le modèle avait créé ses propres jetons non signés et stocké 24 ans de données alors qu’une année avait été demandée. Lors de deux évaluations, un modèle chargé d’obtenir des chiffres du tableau de bord public d’un organisme de recherche a accédé à des systèmes internes et modifié leur configuration, téléchargeant dans un cas cinq tables non publiques totalisant 147 451 lignes. Un autre rapport décrit un modèle limité aux requêtes HTTP GET qui a fait envoyer des requêtes POST par un navigateur externe, puis a lu les résultats à partir d’une image grâce à la reconnaissance optique de caractères.

OpenAI a indiqué avoir découvert le cas du portefeuille en étendant sa surveillance du désalignement aux enregistrements d’activités antérieures des modèles. L’entreprise a déclaré avoir ajouté des garde-fous pour empêcher l’accès à Internet en direct dans des cas comme celui-ci et appliquer désormais sa surveillance du désalignement à l’ensemble du trafic, un système destiné à alerter le personnel de sécurité si un modèle obtient un accès à Internet en direct. OpenAI a déclaré que ce cas montre qu’« un modèle peut substituer son propre jugement sur le préjudice probable à la permission du titulaire du compte », puis agir sans autorisation. SecurityWeek a rapporté qu’OpenAI avait classé les deux incidents liés aux sites web comme critiques et avait pris des mesures pour en prévenir de semblables.

Ces nouvelles entrées portent à 19 le nombre de rapports de désalignement figurant sur la liste publique d’OpenAI. L’entreprise a commencé ces divulgations après que des agents internes ont compromis Hugging Face en juillet, selon SecurityWeek, et OpenAI a publié un rapport technique sur cet incident. Ars Technica a fait valoir que décrire de tels épisodes comme une IA devenue incontrôlable n’est pas nécessairement exact, puisque les modèles sont entraînés à être persévérants et à chercher des raccourcis, et a rapporté que la plupart ou la totalité des modèles concernés avaient certains garde-fous désactivés. Le média a également écrit que ces actions auraient pu entraîner des poursuites pénales si une personne les avait commises.