Модель MIT связывает 3D-структуры кристаллов с текстом, чтобы помочь ИИ рассуждать о материалах

Исследователи из MIT вместе с коллегами создали мультимодальную ИИ-модель, которая связывает трёхмерные кристаллические структуры с описаниями на естественном языке, чтобы системы ИИ могли рассуждать о кристаллических материалах и их свойствах. Исследование, выполненное в группе Цзюй Ли на факультете материаловедения и инженерии MIT, опубликовано в рецензируемом журнале Nature Communications. В статье система названа CLaC — Contrastive Language-Crystal model (контрастивная модель «язык — кристалл»).

По данным MIT News, современные большие языковые модели плохо справляются с материалами, поскольку кристаллические структуры хранятся в специализированных форматах, а не в текстах, на которых обучаются эти модели, и поскольку экспериментальная литература сосредоточена на небольшом числе популярных классов кристаллов. В статье отмечается, что базы данных кристаллов содержат лишь миллионы записей — намного меньше, чем данные, стоящие за визуально-языковыми моделями. Чтобы компенсировать это, команда сопоставила структуры из Materials Project с синтезированными GPT описаниями, опирающимися на расчётные свойства, а также с абзацами, извлечёнными из научных статей. Авторы сообщают, что синтетические описания охватывают набор кристаллов, в 300 раз более разнообразный, чем литература, написанная людьми. Графовая нейронная сеть кодирует структуры, текстовый кодировщик обрабатывает язык, а контрастивное обучение помещает и то и другое в общее пространство представлений.

В тестах zero-shot (без дообучения) версия, обученная на синтетических описаниях, сопоставляла структуры с правильным описанием состава с точностью 95,4 ± 0,2% против 13,5 ± 0,3% у необученной модели и 17,8 ± 0,3% у базовой модели на основе Gemma-3-1b-it, говорится в статье. Версия, обученная только на тексте, извлечённом из статей, при поиске материалов с заданным свойством работала в основном как случайный выбор. В примере с аккумуляторами исследователи искали кандидатов в литий-ионные твердотельные электролиты, используя только критерий большой ширины запрещённой зоны; все 30 материалов с наивысшим рейтингом содержали литий, а средняя ширина запрещённой зоны составила 3,23 eV. Li6PClO5, занявший четвёртое место, ранее был отмечен как перспективный в независимой работе, а Li4SiO4, занявший девятое место, ранее уже был получен в виде тонкоплёночного твёрдого электролита.

Авторы также описывают явные ограничения. Точность классификации кристаллических систем (сингоний) составила лишь 34,0 ± 0,4% — примерно на уровне базовой модели Gemma, что они связывают с малым размером обучающего батча (16) и сильно несбалансированным распределением кристаллических систем. Ионная проводимость — ключевое свойство для электролитов — отсутствует в синтетическом наборе данных, поэтому её нельзя было использовать в запросе по аккумуляторам. В статье добавляется, что в этой области нет стандартных мультимодальных бенчмарков, что затрудняет прямое сравнение моделей, что поиск материалов по инструкциям с помощью модели остаётся задачей на будущее и что необходимы дополнительные исследования того, как состав набора данных и генерация текста влияют на поведение при поиске и возможные смещения.

«Структура — это действительно сердце материаловедения», — сказал Ли в пресс-релизе MIT News, добавив, что понимание структуры позволяет исследователям многое вывести о свойствах материала. Он сравнил модель с AlphaFold, которая связывает структуры белков с их функцией. Соавтор Эльза Оливетти сказала, что этот подход связывает структуру со свойствами и обработкой, и добавила: «Надеюсь, это может стать одним из таких качественных скачков». Остальные авторы — первый автор Ян Чон Пак, бывший постдок MIT, Маянк Кумаран и Чиа-Вэй Сюй. По данным MIT News, работа частично финансировалась Национальным исследовательским фондом Кореи и двумя оборонными агентствами США — Defense Threat Reduction Agency (Агентство по уменьшению угроз) и Defense Advanced Research Projects Agency (Агентство перспективных оборонных исследовательских проектов).