Mô hình của MIT kết hợp cấu trúc tinh thể 3D với văn bản để giúp AI suy luận về vật liệu

Các nhà nghiên cứu tại MIT, cùng với các cộng sự, đã xây dựng một mô hình AI đa phương thức kết nối cấu trúc tinh thể ba chiều với các mô tả bằng ngôn ngữ tự nhiên, để các hệ thống AI có thể suy luận về vật liệu tinh thể và tính chất của chúng. Nghiên cứu từ nhóm của Ju Li tại Khoa Khoa học và Kỹ thuật Vật liệu của MIT được đăng trên tạp chí bình duyệt Nature Communications. Bài báo đặt tên hệ thống này là CLaC, viết tắt của mô hình Ngôn ngữ-Tinh thể Tương phản (Contrastive Language-Crystal model).

Theo MIT News, các mô hình ngôn ngữ lớn hiện nay gặp khó khăn với vật liệu vì cấu trúc tinh thể được lưu trong các định dạng chuyên biệt thay vì dạng văn bản mà các mô hình này học từ đó, và vì tài liệu thực nghiệm tập trung vào một số ít lớp tinh thể phổ biến. Bài báo lưu ý rằng các cơ sở dữ liệu tinh thể chỉ chứa vài triệu mục, ít hơn nhiều so với dữ liệu đứng sau các mô hình thị giác-ngôn ngữ. Để bù đắp, nhóm nghiên cứu đã ghép các cấu trúc từ Materials Project với các bài mô tả do GPT tổng hợp dựa trên các tính chất được tính toán, cùng với các đoạn văn khai thác từ các bài báo khoa học. Các tác giả báo cáo rằng các bài mô tả tổng hợp bao phủ một tập hợp tinh thể đa dạng gấp 300 lần so với tài liệu do con người viết. Một mạng nơ-ron đồ thị mã hóa các cấu trúc, một bộ mã hóa văn bản xử lý ngôn ngữ, và học tương phản đặt cả hai vào một không gian biểu diễn chung.

Trong các thử nghiệm zero-shot, phiên bản được huấn luyện trên các bài mô tả tổng hợp đã ghép đúng cấu trúc với mô tả thành phần với độ chính xác 95,4 ± 0,2%, so với 13,5 ± 0,3% của mô hình chưa huấn luyện và 17,8 ± 0,3% của mô hình cơ sở xây dựng trên Gemma-3-1b-it, theo bài báo. Một phiên bản chỉ được huấn luyện trên văn bản trích xuất từ các bài báo cho kết quả phần lớn giống như chọn ngẫu nhiên khi được yêu cầu truy xuất các vật liệu khớp với một tính chất mục tiêu. Trong một ví dụ về pin, các nhà nghiên cứu tìm kiếm các ứng viên chất điện phân rắn lithium-ion chỉ bằng tiêu chí vùng cấm cao; toàn bộ 30 vật liệu xếp hạng cao nhất đều chứa lithium, với vùng cấm trung bình 3,23 eV. Li6PClO5, xếp thứ tư, từng được đánh dấu là triển vọng trong một công trình độc lập, và Li4SiO4, xếp thứ chín, trước đó đã được chế tạo thành chất điện phân rắn dạng màng mỏng.

Các tác giả cũng mô tả những hạn chế rõ ràng. Độ chính xác khi phân loại hệ tinh thể chỉ đạt 34,0 ± 0,4%, gần tương đương với mô hình cơ sở Gemma, điều mà họ cho là liên quan đến kích thước batch huấn luyện nhỏ, chỉ 16, và sự phân bố rất mất cân bằng của các hệ tinh thể. Độ dẫn ion, một tính chất then chốt đối với chất điện phân, không có trong bộ dữ liệu tổng hợp, nên không thể dùng trong truy vấn về pin. Bài báo nói thêm rằng lĩnh vực này còn thiếu các benchmark đa phương thức chuẩn, khiến việc so sánh trực tiếp giữa các mô hình trở nên khó khăn, rằng việc khám phá vật liệu dựa trên chỉ dẫn với mô hình này vẫn là công việc trong tương lai, và rằng cần thêm nghiên cứu về cách thành phần bộ dữ liệu và việc tạo văn bản định hình hành vi truy xuất cũng như các thiên lệch có thể có.

“Cấu trúc thực sự là trọng tâm của lĩnh vực khoa học vật liệu”, Li nói trong thông cáo của MIT News, và nói thêm rằng việc hiểu cấu trúc cho phép các nhà nghiên cứu suy ra nhiều điều về tính chất của một vật liệu. Ông so sánh mô hình này với AlphaFold, vốn liên hệ cấu trúc protein với chức năng. Đồng tác giả Elsa Olivetti nói rằng cách tiếp cận này liên kết cấu trúc với tính chất và quá trình chế tạo, và nói thêm: “Tôi hy vọng đây có thể là một trong những bước chuyển đột phá như vậy”. Các tác giả khác gồm tác giả thứ nhất Yang Jeong Park, cựu postdoc tại MIT, Mayank Kumaran và Chia-Wei Hsu. Theo MIT News, công trình được tài trợ một phần bởi Quỹ Nghiên cứu Quốc gia Hàn Quốc và bởi hai cơ quan quốc phòng Mỹ là Defense Threat Reduction Agency và Defense Advanced Research Projects Agency.