Μοντέλο του MIT συνδέει τρισδιάστατες κρυσταλλικές δομές με κείμενο για να βοηθήσει την τεχνητή νοημοσύνη να συλλογίζεται για υλικά

Ερευνητές του MIT, σε συνεργασία με άλλους επιστήμονες, κατασκεύασαν ένα πολυτροπικό μοντέλο τεχνητής νοημοσύνης που συνδέει τρισδιάστατες κρυσταλλικές δομές με περιγραφές σε φυσική γλώσσα, ώστε τα συστήματα AI να μπορούν να συλλογίζονται για τα κρυσταλλικά υλικά και τις ιδιότητές τους. Η μελέτη, από την ομάδα του ερευνητή Ju Li στο Τμήμα Επιστήμης και Μηχανικής Υλικών του MIT, δημοσιεύεται στο ομότιμα αξιολογούμενο περιοδικό Nature Communications. Η εργασία ονομάζει το σύστημα CLaC, από το Contrastive Language-Crystal model (αντιθετικό μοντέλο γλώσσας-κρυστάλλου).

Σύμφωνα με το MIT News, τα σημερινά μεγάλα γλωσσικά μοντέλα δυσκολεύονται με τα υλικά, επειδή οι κρυσταλλικές δομές φυλάσσονται σε εξειδικευμένες μορφές και όχι στο κείμενο από το οποίο μαθαίνουν αυτά τα μοντέλα, και επειδή η πειραματική βιβλιογραφία επικεντρώνεται σε μικρό αριθμό δημοφιλών κατηγοριών κρυστάλλων. Η εργασία σημειώνει ότι οι βάσεις δεδομένων κρυστάλλων περιέχουν μόνο εκατομμύρια εγγραφές, πολύ λιγότερες από τα δεδομένα πίσω από τα μοντέλα όρασης-γλώσσας. Για να το αντισταθμίσει, η ομάδα συνδύασε δομές από το Materials Project με αφηγήσεις που συνέθεσε το GPT, θεμελιωμένες σε υπολογισμένες ιδιότητες, μαζί με παραγράφους που εξορύχθηκαν από επιστημονικά άρθρα. Οι συγγραφείς αναφέρουν ότι οι συνθετικές αφηγήσεις καλύπτουν ένα σύνολο κρυστάλλων 300 φορές πιο ποικιλόμορφο από τη βιβλιογραφία που έχουν γράψει άνθρωποι. Ένα νευρωνικό δίκτυο γράφων κωδικοποιεί τις δομές, ένας κωδικοποιητής κειμένου χειρίζεται τη γλώσσα και η αντιθετική μάθηση τοποθετεί και τα δύο σε έναν κοινό χώρο αναπαράστασης.

Σε δοκιμές zero-shot, η έκδοση που εκπαιδεύτηκε σε συνθετικές αφηγήσεις αντιστοίχισε δομές στη σωστή περιγραφή σύστασης με ακρίβεια 95,4 ± 0,2%, έναντι 13,5 ± 0,3% για ένα μη εκπαιδευμένο μοντέλο και 17,8 ± 0,3% για ένα μοντέλο αναφοράς βασισμένο στο Gemma-3-1b-it, αναφέρει η εργασία. Μια έκδοση εκπαιδευμένη μόνο σε κείμενο που εξήχθη από άρθρα συμπεριφέρθηκε σε μεγάλο βαθμό σαν τυχαία επιλογή όταν της ζητήθηκε να ανακτήσει υλικά που ταιριάζουν σε μια ιδιότητα-στόχο. Σε ένα παράδειγμα με μπαταρίες, οι ερευνητές αναζήτησαν υποψήφιους στερεούς ηλεκτρολύτες ιόντων λιθίου χρησιμοποιώντας μόνο ένα κριτήριο υψηλού ενεργειακού χάσματος· και τα 30 υλικά με την υψηλότερη κατάταξη περιείχαν λίθιο, με μέσο ενεργειακό χάσμα 3,23 eV. Το Li6PClO5, στην τέταρτη θέση, είχε επισημανθεί ως πολλά υποσχόμενο σε ανεξάρτητη εργασία, και το Li4SiO4, στην ένατη θέση, είχε παρασκευαστεί νωρίτερα ως στερεός ηλεκτρολύτης λεπτού υμενίου.

Οι συγγραφείς περιγράφουν επίσης σαφείς περιορισμούς. Η ακρίβεια στην ταξινόμηση κρυσταλλικών συστημάτων ήταν μόλις 34,0 ± 0,4%, περίπου στο επίπεδο του μοντέλου αναφοράς Gemma, κάτι που συνδέουν με το μικρό μέγεθος παρτίδας εκπαίδευσης, 16, και με μια έντονα ανισόρροπη κατανομή των κρυσταλλικών συστημάτων. Η ιοντική αγωγιμότητα, βασική ιδιότητα για τους ηλεκτρολύτες, απουσιάζει από το συνθετικό σύνολο δεδομένων, οπότε δεν μπόρεσε να χρησιμοποιηθεί στο ερώτημα για τις μπαταρίες. Η εργασία προσθέτει ότι το πεδίο στερείται τυποποιημένων πολυτροπικών benchmark, γεγονός που δυσκολεύει τις άμεσες συγκρίσεις μεταξύ μοντέλων, ότι η ανακάλυψη υλικών βάσει οδηγιών με το μοντέλο παραμένει μελλοντική εργασία και ότι χρειάζεται περισσότερη έρευνα για το πώς η σύνθεση του συνόλου δεδομένων και η παραγωγή κειμένου διαμορφώνουν τη συμπεριφορά ανάκτησης και πιθανές μεροληψίες.

«Η δομή βρίσκεται πραγματικά στην καρδιά του πεδίου της επιστήμης υλικών», δήλωσε ο Li στην ανακοίνωση του MIT News, προσθέτοντας ότι η κατανόηση της δομής επιτρέπει στους ερευνητές να συμπεράνουν πολλά για τις ιδιότητες ενός υλικού. Συνέκρινε το μοντέλο με το AlphaFold, που συσχετίζει τις δομές πρωτεϊνών με τη λειτουργία τους. Η συν-συγγραφέας Elsa Olivetti δήλωσε ότι η προσέγγιση συνδέει τη δομή με τις ιδιότητες και την επεξεργασία, και πρόσθεσε: «Ελπίζω ότι αυτό μπορεί να είναι ένα από εκείνα τα βήματα αλλαγής». Οι άλλοι συγγραφείς είναι ο πρώτος συγγραφέας Yang Jeong Park, πρώην μεταδιδακτορικός ερευνητής στο MIT, καθώς και οι Mayank Kumaran και Chia-Wei Hsu. Σύμφωνα με το MIT News, η εργασία χρηματοδοτήθηκε εν μέρει από το Εθνικό Ίδρυμα Έρευνας της Κορέας και από δύο αμερικανικές υπηρεσίες άμυνας, την Defense Threat Reduction Agency και την Defense Advanced Research Projects Agency.