Модель MIT поєднує 3D-структури кристалів із текстом, щоб допомогти ШІ міркувати про матеріали

Дослідники з MIT разом із колегами створили мультимодальну модель ШІ, яка пов’язує тривимірні кристалічні структури з описами природною мовою, щоб системи ШІ могли міркувати про кристалічні матеріали та їхні властивості. Дослідження, виконане в групі Цзюй Лі на факультеті матеріалознавства та інженерії MIT, опубліковано в рецензованому журналі Nature Communications. У статті систему названо CLaC — Contrastive Language-Crystal model (контрастивна модель «мова — кристал»).

За даними MIT News, сучасні великі мовні моделі погано справляються з матеріалами, оскільки кристалічні структури зберігаються у спеціалізованих форматах, а не в текстах, на яких навчаються ці моделі, і оскільки експериментальна література зосереджена на невеликій кількості популярних класів кристалів. У статті зазначено, що бази даних кристалів містять лише мільйони записів — значно менше, ніж дані, на яких побудовані візуально-мовні моделі. Щоб компенсувати це, команда зіставила структури з Materials Project зі синтезованими GPT описами, що ґрунтуються на розрахункових властивостях, а також з абзацами, видобутими з наукових статей. Автори повідомляють, що синтетичні описи охоплюють набір кристалів, у 300 разів різноманітніший, ніж написана людьми література. Графова нейронна мережа кодує структури, текстовий кодувальник обробляє мову, а контрастивне навчання розміщує і те, й інше в спільному просторі представлень.

У тестах zero-shot (без донавчання) версія, навчена на синтетичних описах, зіставляла структури з правильним описом складу з точністю 95,4 ± 0,2% проти 13,5 ± 0,3% у ненавченої моделі та 17,8 ± 0,3% у базової моделі на основі Gemma-3-1b-it, йдеться у статті. Версія, навчена лише на тексті, видобутому зі статей, під час пошуку матеріалів із заданою властивістю працювала здебільшого як випадковий вибір. У прикладі з акумуляторами дослідники шукали кандидатів у літій-іонні твердотільні електроліти, використовуючи лише критерій великої ширини забороненої зони; усі 30 матеріалів із найвищим рейтингом містили літій, а середня ширина забороненої зони становила 3,23 eV. Li6PClO5, що посів четверте місце, раніше був відзначений як перспективний у незалежній роботі, а Li4SiO4, що посів дев’яте місце, раніше вже виготовляли як тонкоплівковий твердий електроліт.

Автори також описують явні обмеження. Точність класифікації кристалічних систем (сингоній) становила лише 34,0 ± 0,4% — приблизно на рівні базової моделі Gemma, що вони пов’язують із малим розміром навчального батча (16) і сильно незбалансованим розподілом кристалічних систем. Іонна провідність — ключова властивість для електролітів — відсутня в синтетичному наборі даних, тому її не можна було використати в запиті щодо акумуляторів. У статті додано, що в цій галузі бракує стандартних мультимодальних бенчмарків, що ускладнює пряме порівняння моделей, що пошук матеріалів за інструкціями за допомогою моделі залишається справою майбутнього і що потрібні додаткові дослідження того, як склад набору даних і генерація тексту впливають на поведінку під час пошуку та можливі упередження.

«Структура — це справді серце матеріалознавства», — сказав Лі у пресрелізі MIT News, додавши, що розуміння структури дає змогу дослідникам багато що вивести про властивості матеріалу. Він порівняв модель з AlphaFold, яка пов’язує структури білків із їхньою функцією. Співавторка Ельза Оліветті сказала, що цей підхід пов’язує структуру з властивостями та обробкою, і додала: «Сподіваюся, це може стати одним із таких якісних стрибків». Інші автори — перший автор Ян Чон Пак, колишній постдок MIT, Маянк Кумаран і Чіа-Вей Сюй. За даними MIT News, роботу частково фінансували Національний дослідницький фонд Кореї та два оборонні агентства США — Defense Threat Reduction Agency (Агентство зі зменшення загроз) і Defense Advanced Research Projects Agency (Агентство перспективних оборонних дослідницьких проєктів).