MIT-model koppelt 3D-kristalstructuren aan tekst om AI over materialen te laten redeneren

Onderzoekers van MIT hebben samen met partners een multimodaal AI-model gebouwd dat driedimensionale kristalstructuren verbindt met beschrijvingen in natuurlijke taal, zodat AI-systemen kunnen redeneren over kristallijne materialen en hun eigenschappen. De studie, afkomstig van de groep van Ju Li aan de afdeling Materiaalwetenschap en -technologie van MIT, verschijnt in het peer-reviewed tijdschrift Nature Communications. Het artikel noemt het systeem CLaC, voor Contrastive Language-Crystal model (contrastief taal-kristalmodel).

Volgens MIT News hebben huidige grote taalmodellen moeite met materialen, omdat kristalstructuren worden opgeslagen in gespecialiseerde formaten in plaats van in de tekst waarvan deze modellen leren, en omdat de experimentele literatuur zich richt op een klein aantal populaire kristalklassen. Het artikel merkt op dat kristaldatabases slechts miljoenen vermeldingen bevatten, veel minder dan de data achter vision-language-modellen. Om dat te compenseren koppelde het team structuren uit het Materials Project aan door GPT gesynthetiseerde narratieven die zijn gebaseerd op berekende eigenschappen, naast alinea's die uit wetenschappelijke artikelen zijn gehaald. De auteurs melden dat de synthetische narratieven een verzameling kristallen bestrijken die 300 keer diverser is dan de door mensen geschreven literatuur. Een graafneuraal netwerk codeert de structuren, een tekstencoder verwerkt de taal, en contrastief leren plaatst beide in een gedeelde representatieruimte.

In zero-shot-tests koppelde de versie die op synthetische narratieven was getraind structuren met een nauwkeurigheid van 95,4 ± 0,2% aan de juiste samenstellingsbeschrijving, tegenover 13,5 ± 0,3% voor een ongetraind model en 17,8 ± 0,3% voor een referentiemodel op basis van Gemma-3-1b-it, aldus het artikel. Een versie die alleen op uit artikelen gehaalde tekst was getraind, presteerde grotendeels als willekeurige selectie wanneer werd gevraagd materialen op te halen die bij een doeleigenschap passen. In een batterijvoorbeeld zochten de onderzoekers naar kandidaten voor lithium-ion-vastestofelektrolyten op basis van uitsluitend een criterium van een hoge bandkloof; alle 30 hoogst gerangschikte materialen bevatten lithium, met een gemiddelde bandkloof van 3,23 eV. Li6PClO5, op de vierde plaats, was in onafhankelijk onderzoek al als veelbelovend aangemerkt, en Li4SiO4, op de negende plaats, was eerder al als dunnefilm-vastestofelektrolyt gemaakt.

De auteurs beschrijven ook duidelijke beperkingen. De nauwkeurigheid bij het classificeren van kristalstelsels bedroeg slechts 34,0 ± 0,4%, ongeveer gelijk aan het Gemma-referentiemodel, wat zij in verband brengen met een kleine trainingsbatchgrootte van 16 en een sterk onevenwichtige verdeling van kristalstelsels. Ionische geleidbaarheid, een sleuteleigenschap voor elektrolyten, ontbreekt in de synthetische dataset en kon daarom niet in de batterijzoekopdracht worden gebruikt. Het artikel voegt toe dat het vakgebied standaard multimodale benchmarks mist, wat directe vergelijkingen tussen modellen bemoeilijkt, dat instructiegestuurde materiaalontdekking met het model nog toekomstig werk is, en dat meer onderzoek nodig is naar hoe de samenstelling van de dataset en de tekstgeneratie het ophaalgedrag en mogelijke vertekeningen beïnvloeden.

‘Structuur vormt echt het hart van het vakgebied materiaalwetenschap’, zei Li in het persbericht van MIT News, en hij voegde eraan toe dat inzicht in de structuur onderzoekers in staat stelt veel over de eigenschappen van een materiaal af te leiden. Hij vergeleek het model met AlphaFold, dat eiwitstructuren aan functie relateert. Medeauteur Elsa Olivetti zei dat de aanpak structuur koppelt aan eigenschap en verwerking, en voegde eraan toe: ‘Ik hoop dat dit een van die grote stappen vooruit kan zijn’. De overige auteurs zijn eerste auteur Yang Jeong Park, een voormalig postdoc aan MIT, Mayank Kumaran en Chia-Wei Hsu. Volgens MIT News werd het werk deels gefinancierd door de National Research Foundation of Korea en door twee Amerikaanse defensie-instanties, het Defense Threat Reduction Agency en het Defense Advanced Research Projects Agency.