Model MIT łączy trójwymiarowe struktury krystaliczne z tekstem, by pomóc AI rozumować o materiałach

Badacze z MIT, we współpracy z partnerami, zbudowali multimodalny model AI, który łączy trójwymiarowe struktury krystaliczne z opisami w języku naturalnym, tak aby systemy AI mogły rozumować o materiałach krystalicznych i ich właściwościach. Badanie, pochodzące z grupy, którą kieruje Ju Li na Wydziale Nauki o Materiałach i Inżynierii Materiałowej MIT, ukazało się w recenzowanym czasopiśmie Nature Communications. Artykuł nazywa system CLaC, od Contrastive Language-Crystal model (kontrastowy model język–kryształ).

Według MIT News obecne duże modele językowe mają trudności z materiałami, ponieważ struktury krystaliczne są przechowywane w wyspecjalizowanych formatach, a nie w tekście, z którego te modele się uczą, oraz dlatego, że literatura eksperymentalna skupia się na niewielkiej liczbie popularnych klas kryształów. Artykuł zauważa, że bazy danych kryształów zawierają zaledwie miliony wpisów, znacznie mniej niż dane stojące za modelami wizyjno-językowymi. Aby to zrekompensować, zespół połączył struktury z Materials Project z narracjami syntetyzowanymi przez GPT i opartymi na obliczonych właściwościach, obok akapitów pozyskanych z publikacji. Autorzy podają, że syntetyczne narracje obejmują zbiór kryształów 300 razy bardziej zróżnicowany niż literatura pisana przez ludzi. Grafowa sieć neuronowa koduje struktury, enkoder tekstu obsługuje język, a uczenie kontrastowe umieszcza oba we wspólnej przestrzeni reprezentacji.

W testach zero-shot wersja trenowana na syntetycznych narracjach dopasowywała struktury do właściwego opisu składu z dokładnością 95,4 ± 0,2%, w porównaniu z 13,5 ± 0,3% dla modelu nietrenowanego i 17,8 ± 0,3% dla modelu bazowego zbudowanego na Gemma-3-1b-it, jak podaje artykuł. Wersja trenowana wyłącznie na tekście wyodrębnionym z publikacji działała w dużej mierze jak losowy wybór, gdy proszono ją o wyszukanie materiałów pasujących do docelowej właściwości. W przykładzie bateryjnym badacze szukali kandydatów na litowo-jonowe elektrolity stałe, stosując wyłącznie kryterium wysokiej przerwy wzbronionej; wszystkie 30 najwyżej sklasyfikowanych materiałów zawierało lit, ze średnią przerwą wzbronioną 3,23 eV. Li6PClO5, sklasyfikowany na czwartym miejscu, został wcześniej wskazany jako obiecujący w niezależnych pracach, a Li4SiO4, na dziewiątym miejscu, wytworzono wcześniej jako cienkowarstwowy elektrolit stały.

Autorzy opisują też wyraźne ograniczenia. Dokładność klasyfikacji układów krystalograficznych wyniosła zaledwie 34,0 ± 0,4%, mniej więcej na poziomie modelu bazowego Gemma, co wiążą z małym rozmiarem partii treningowej wynoszącym 16 oraz silnie niezrównoważonym rozkładem układów krystalograficznych. Przewodnictwo jonowe, kluczowa właściwość elektrolitów, nie występuje w syntetycznym zbiorze danych, więc nie można go było użyć w zapytaniu bateryjnym. Artykuł dodaje, że w tej dziedzinie brakuje standardowych multimodalnych benchmarków, co utrudnia bezpośrednie porównania między modelami, że odkrywanie materiałów na podstawie instrukcji z użyciem modelu pozostaje przedmiotem przyszłych prac oraz że potrzeba więcej badań nad tym, jak skład zbioru danych i generowanie tekstu kształtują zachowanie wyszukiwania i możliwe obciążenia.

„Struktura naprawdę leży w sercu nauki o materiałach”, powiedział Li w komunikacie MIT News, dodając, że zrozumienie struktury pozwala badaczom wiele wywnioskować o właściwościach materiału. Porównał model do AlphaFold, który wiąże struktury białek z ich funkcją. Współautorka Elsa Olivetti powiedziała, że podejście to łączy strukturę z właściwościami i przetwarzaniem, i dodała: „Mam nadzieję, że to może być jedna z tych skokowych zmian”. Pozostali autorzy to pierwszy autor Yang Jeong Park, były postdoc na MIT, oraz Mayank Kumaran i Chia-Wei Hsu. Według MIT News praca była częściowo finansowana przez National Research Foundation of Korea oraz przez dwie amerykańskie agencje obronne: Defense Threat Reduction Agency i Defense Advanced Research Projects Agency.