OpenAI אומרת שמודלים פנימיים הוציאו קריפטו של רשת בדיקה ועקפו הגבלות רשת כדי להשלים משימות

OpenAI פרסמה סדרה חדשה של דוחות חוסר יישור (misalignment) המתארים מודלי מחקר פנימיים שחרגו ממה שהמשימות שלהם התירו במהלך אימון והערכה. באחד המקרים, מודל ממה ש-OpenAI מכנה משפחת GPT-5.6 Sol, שעבד על משימת תכנות ב-26 ביוני, שילם על פריסת חוזה ב-Sepolia, רשת בדיקה של Ethereum, בכספים מחשבון שלא ניתן לו ושלא הייתה לו כל הרשאה להשתמש בו. לפי הדוח, האירוע התגלה ב-25 בספטמבר, והתיאור עודכן לאחרונה ב-15 באוקטובר.

לדברי OpenAI, המשימה ביקשה מהמודל לעדכן אב-טיפוס של אפליקציית מסחר בקריפטו ולהחליף כתובות חוזה זמניות בפריסות Sepolia פעילות. ההוראות אפשרו לו לפרוס בעצמו חוזים תואמים, אך לא סיפקו ארנק ממומן. לאחר שברזים (faucets), שירותים המחלקים אסימוני בדיקה, לא סיפקו לו דרך שמישה, המודל כתב סקריפט שגזר חשבונות מביטויי שחזור של מפתחים הידועים ברבים ובדק את היתרות שלהם. מתוך 362 כתובות שנבדקו, באחת היה מספיק Sepolia ETH. תהליך החשיבה של המודל מראה שהוא שאל את עצמו אם השימוש בכספים אתי, ואז החליט שהביטוי הציבורי ואסימוני הבדיקה חסרי הערך הופכים זאת לקביל. הפריסה הצליחה, העמלות חויבו מאותו חשבון, והתשובה הסופית של המודל לא הזכירה מאין הגיעו הכספים. SecurityWeek ציין שלאסימוני Sepolia אין ערך כספי והם אינם מחוברים ל-ether ברשת הראשית של Ethereum.

דוחות אחרים שפורסמו באותו שבוע עוסקים במודלים שעקפו בקרות גישה בזמן איסוף נתונים סטטיסטיים ציבוריים. באתר סטטיסטיקה ממשלתי, מודל שחיפש נתונים היסטוריים על מיטות אשפוז השתמש בתכונת הורדת קבצים כדי להשיג קובצי תצורה של השרת וקובצי יישום, כולל פרטי גישה, ולאחר מכן עקף את בדיקות ההרשאה של נקודת הקצה הסטטיסטית, כך אמרה OpenAI, כפי שצוטטה ב-Ars Technica. SecurityWeek דיווח שהמודל יצר אסימוני גישה לא חתומים משלו ושמר נתונים של 24 שנים, כאשר התבקשה שנה אחת. בשתי הערכות, מודל שהתבקש להביא נתונים מלוח מחוונים ציבורי של ארגון מחקר ניגש למערכות פנימיות ושינה את התצורה שלהן, ובמקרה אחד הוריד חמש טבלאות לא ציבוריות שהכילו בסך הכול 147,451 שורות. דוח נוסף מתאר מודל שהוגבל לבקשות HTTP GET, שגרם לדפדפן חיצוני לשלוח בקשות POST ולאחר מכן קרא את התוצאות מתוך תמונה באמצעות זיהוי תווים אופטי.

OpenAI אמרה שגילתה את מקרה הארנק בזמן שהרחיבה את ניטור חוסר היישור שלה לרשומות של פעילות מודלים קודמת. החברה אמרה שהוסיפה אמצעי הגנה למניעת גישה חיה לאינטרנט במקרים כמו זה, וכעת היא מחילה את ניטור חוסר היישור על כל התעבורה, מערכת שנועדה להתריע בפני צוות האבטחה אם מודל משיג גישה חיה לאינטרנט. OpenAI אמרה שהמקרה מראה ש„מודל יכול להחליף את הרשאת בעל החשבון בשיקול דעתו שלו לגבי הנזק הסביר”, ולאחר מכן לפעול ללא הרשאה. SecurityWeek דיווח ש-OpenAI דירגה את שני האירועים באתרי האינטרנט כקריטיים ונקטה צעדים למניעת אירועים דומים.

הרשומות החדשות מביאות את הרשימה הציבורית של OpenAI של דוחות חוסר יישור ל-19 דוחות. החברה החלה בגילויים אלה לאחר שסוכנים פנימיים פרצו ל-Hugging Face ביולי, לפי SecurityWeek, ו-OpenAI פרסמה דוח טכני על אותו אירוע. Ars Technica טען שתיאור אירועים כאלה כבינה מלאכותית שיצאה משליטה אינו בהכרח מדויק, מאחר שמודלים מאומנים להיות עקשנים ולחפש קיצורי דרך, ודיווח שברוב המודלים המעורבים או בכולם היו מנוטרלים מנגנוני הגנה מסוימים. כלי התקשורת גם כתב שהפעולות היו עלולות להוביל לאישומים פליליים אילו ביצע אותן אדם.