מודל של MIT מצמיד מבני גביש תלת-ממדיים לטקסט כדי לעזור לבינה מלאכותית להסיק על חומרים

חוקרים ב-MIT, בשיתוף עם עמיתים, בנו מודל בינה מלאכותית רב-אופני המחבר בין מבני גביש תלת-ממדיים לתיאורים בשפה טבעית, כך שמערכות בינה מלאכותית יוכלו להסיק על חומרים גבישיים ועל תכונותיהם. המחקר, מקבוצתו של ג׳ו לי במחלקה למדע והנדסת חומרים של MIT, מתפרסם בכתב העת המבוקר Nature Communications. המאמר מכנה את המערכת CLaC, קיצור של מודל שפה-גביש קונטרסטיבי (Contrastive Language-Crystal model).

לפי MIT News, מודלי שפה גדולים נוכחיים מתקשים עם חומרים, משום שמבני גביש נשמרים בפורמטים ייעודיים ולא בטקסט שממנו מודלים אלה לומדים, ומשום שהספרות הניסויית מתמקדת במספר קטן של מחלקות גביש פופולריות. המאמר מציין שמסדי נתונים של גבישים מכילים רק מיליוני רשומות, הרבה פחות מהנתונים שמאחורי מודלי ראייה-שפה. כדי לפצות על כך, הצוות הצמיד מבנים מ-Materials Project לנרטיבים שסונתזו באמצעות GPT ומעוגנים בתכונות מחושבות, לצד פסקאות שנכרו ממאמרים. המחברים מדווחים שהנרטיבים הסינתטיים מכסים קבוצת גבישים מגוונת פי 300 מהספרות שנכתבה בידי אדם. רשת עצבית גרפית מקודדת את המבנים, מקודד טקסט מטפל בשפה, ולמידה קונטרסטיבית ממקמת את שניהם במרחב ייצוג משותף.

במבחני zero-shot, הגרסה שאומנה על נרטיבים סינתטיים התאימה מבנים לתיאור ההרכב הנכון בדיוק של 95.4 ± 0.2%, לעומת 13.5 ± 0.3% למודל לא מאומן ו-17.8 ± 0.3% למודל בסיס שנבנה על Gemma-3-1b-it, כך לפי המאמר. גרסה שאומנה רק על טקסט שחולץ ממאמרים תפקדה במידה רבה כמו בחירה אקראית כשהתבקשה לאחזר חומרים התואמים לתכונת יעד. בדוגמה מתחום הסוללות, החוקרים חיפשו מועמדים לאלקטרוליט מצב מוצק ליתיום-יון באמצעות קריטריון של פער פס גבוה בלבד; כל 30 החומרים שדורגו בראש הכילו ליתיום, עם פער פס ממוצע של 3.23 eV. Li6PClO5, שדורג רביעי, סומן כמבטיח בעבודה בלתי תלויה, ו-Li4SiO4, שדורג תשיעי, יוצר קודם לכן כאלקטרוליט מוצק בשכבה דקה.

המחברים מתארים גם מגבלות ברורות. הדיוק בסיווג מערכות גביש היה רק 34.0 ± 0.4%, בערך בדומה למודל הבסיס Gemma, והם קושרים זאת לגודל אצווה קטן של 16 באימון ולהתפלגות לא מאוזנת מאוד של מערכות גביש. מוליכות יונית, תכונה מרכזית לאלקטרוליטים, נעדרת ממערך הנתונים הסינתטי, ולכן לא ניתן היה להשתמש בה בשאילתת הסוללות. המאמר מוסיף שהתחום חסר מדדי ביצוע רב-אופניים סטנדרטיים, מה שמקשה על השוואות ישירות בין מודלים, שגילוי חומרים מבוסס הוראות באמצעות המודל נותר עבודה עתידית, ושנדרש מחקר נוסף על האופן שבו הרכב מערך הנתונים ויצירת הטקסט מעצבים את התנהגות האחזור והטיות אפשריות.

“המבנה הוא באמת בלב תחום מדע החומרים”, אמר לי בהודעת MIT News, והוסיף שהבנת המבנה מאפשרת לחוקרים להסיק הרבה על תכונות החומר. הוא השווה את המודל ל-AlphaFold, המקשר בין מבני חלבונים לתפקודם. המחברת השותפה אלזה אוליבטי אמרה שהגישה מקשרת מבנה לתכונה ולעיבוד, והוסיפה: “אני מקווה שזה יכול להיות אחד מאותם שינויי מדרגה”. המחברים האחרים הם המחבר הראשון יאנג ג׳ונג פארק, פוסט-דוקטורנט לשעבר ב-MIT, מאיאנק קומאראן וצ׳יה-ווי סו. לפי MIT News, העבודה מומנה בחלקה על ידי קרן המחקר הלאומית של קוריאה ועל ידי שתי סוכנויות הגנה אמריקאיות, הסוכנות להפחתת איומים ביטחוניים (DTRA) והסוכנות לפרויקטי מחקר מתקדמים בתחום ההגנה (DARPA).