Model z MIT propojuje 3D krystalové struktury s textem, aby AI mohla uvažovat o materiálech

Výzkumníci z MIT ve spolupráci s dalšími partnery vytvořili multimodální model umělé inteligence, který propojuje trojrozměrné krystalové struktury s popisy v přirozeném jazyce, aby systémy AI mohly uvažovat o krystalických materiálech a jejich vlastnostech. Studie pochází ze skupiny, kterou vede výzkumník Ju Li na katedře materiálových věd a inženýrství MIT, a vyšla v recenzovaném časopise Nature Communications. Článek systém nazývá CLaC, podle výrazu Contrastive Language-Crystal model (kontrastivní jazykově-krystalový model).

Podle MIT News mají současné velké jazykové modely s materiály potíže, protože krystalové struktury jsou uchovávány ve specializovaných formátech, a nikoli v textu, z něhož se tyto modely učí, a protože se experimentální literatura soustředí na malý počet oblíbených tříd krystalů. Článek uvádí, že krystalové databáze obsahují jen miliony záznamů, tedy mnohem méně než data, na nichž stojí vizuálně-jazykové modely. Aby to tým vyrovnal, spároval struktury z Materials Project s narativy syntetizovanými pomocí GPT a ukotvenými ve vypočtených vlastnostech, vedle odstavců vytěžených z odborných článků. Autoři uvádějí, že syntetické narativy pokrývají soubor krystalů 300krát rozmanitější než literatura psaná lidmi. Struktury kóduje grafová neuronová síť, jazyk zpracovává textový enkodér a kontrastivní učení obojí umisťuje do společného reprezentačního prostoru.

V zero-shot testech přiřadila verze trénovaná na syntetických narativech struktury ke správnému popisu složení s přesností 95,4 ± 0,2 %, oproti 13,5 ± 0,3 % u netrénovaného modelu a 17,8 ± 0,3 % u referenčního modelu postaveného na Gemma-3-1b-it, uvádí článek. Verze trénovaná pouze na textu extrahovaném z článků si při vyhledávání materiálů odpovídajících cílové vlastnosti vedla z velké části jako náhodný výběr. V příkladu z oblasti baterií výzkumníci hledali kandidáty na lithium-iontové pevné elektrolyty pouze podle kritéria vysokého zakázaného pásu; všech 30 nejvýše hodnocených materiálů obsahovalo lithium s průměrným zakázaným pásem 3,23 eV. Li6PClO5, na čtvrtém místě, byl v nezávislé práci označen za slibný a Li4SiO4, na devátém místě, byl již dříve vyroben jako tenkovrstvý pevný elektrolyt.

Autoři také popisují jasná omezení. Přesnost při klasifikaci krystalových soustav činila jen 34,0 ± 0,4 %, zhruba na úrovni referenčního modelu Gemma, což dávají do souvislosti s malou trénovací dávkou o velikosti 16 a silně nevyváženým rozložením krystalových soustav. Iontová vodivost, klíčová vlastnost elektrolytů, v syntetickém datasetu chybí, takže ji v bateriovém dotazu nebylo možné použít. Článek dodává, že obor postrádá standardní multimodální benchmarky, což ztěžuje přímé srovnání modelů, že objevování materiálů na základě instrukcí s tímto modelem zůstává úkolem do budoucna a že je třeba dalšího výzkumu toho, jak složení datasetu a generování textu ovlivňují chování při vyhledávání a možná zkreslení.

„Struktura je skutečně jádrem oboru materiálových věd“, řekl Li v tiskové zprávě MIT News a dodal, že porozumění struktuře umožňuje výzkumníkům odvodit mnohé o vlastnostech materiálu. Model přirovnal k systému AlphaFold, který vztahuje struktury proteinů k jejich funkci. Spoluautorka Elsa Olivetti uvedla, že tento přístup propojuje strukturu s vlastnostmi a zpracováním, a dodala: „Doufám, že to může být jedna z těch skokových změn“. Dalšími autory jsou první autor Yang Jeong Park, bývalý postdoktorand na MIT, dále Mayank Kumaran a Chia-Wei Hsu. Podle MIT News byla práce částečně financována Korejskou národní výzkumnou nadací (National Research Foundation of Korea) a dvěma americkými obrannými agenturami, Defense Threat Reduction Agency a Defense Advanced Research Projects Agency.