大语言模型加速材料发现，普林斯顿大学团队准确预测晶体特性

编辑| X

晶体特性的预测在晶体设计过程中起着至关重要的作用。当前预测晶体特性的方法主要集中于使用图神经网络（GNN）对晶体结构进行建模。尽管 GNN 很强大，但准确模拟晶体内原子和分子之间的复杂相互作用仍然是一个挑战。

文本数据提供了丰富的信息和表现力，但从晶体文本描述预测晶体特性的研究还不够。主要原因之一是缺乏该任务的公开数据。

普林斯顿大学的研究人员创建了一种 AI 工具来预测晶体材料的行为。新方法依赖于大型语言模型（LLM）。通过综合文本描述中的信息（包括原子之间键的长度和角度以及电子和光学特性的测量等细节），新方法可以比现有模拟更准确、更彻底地预测新材料的特性，并有可能加快设计和测试新技术的过程。

研究人员开发并公开了一个基准数据集（称为 TextEdge），其中包含来自Materials Project的 140,000 多个晶体的描述，然后，提出了 LLM-Prop，一种利用 LLM 的通用学习能力从文本描述中预测晶体的物理和电子特性的方法。

研究人员测试了该工具预测先前研究的晶体结构（从普通食盐到硅半导体）特性的能力。已经证明了 LLM-Prop 预测能力，正在努力将该工具应用于新晶体材料的设计。

论文一作、普林斯顿大学计算机科学助理教授 Adji Bousso Dieng 表示，「该方法代表了一个新的基准，可以帮助加速材料的广泛应用。我们是第一个使用大型语言模型来解决这个问题的团队。」

该方法于 2023 年 11 月 29 日，在波士顿举行的 the Materials Research Society's Fall Meeting 上提出。

相关研究以「LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions」为题，发布到arXiv预印平台。

GitHub 地址：https://github.com/vertaix/LLM-Prop

论文链接：https://doi.org/10.48550/arXiv.2310.14029

现有的基于人工智能的晶体特性预测工具依赖于图神经网络的方法，但这些方法的计算能力有限，无法充分捕捉晶体中原子之间的几何形状和键长的细微差别，以及由这些结构产生的电子和光学性质。

「我们在计算机视觉和自然语言方面取得了巨大进步，」Dieng 说，「但在处理 AI 图方面，我们还不是很先进。所以，我想从图转移到我们已经有了很好的工具的领域。如果我们有文本，那么我们就可以在文本上利用所有这些强大的大型语言模型。」

该研究的合著者、普林斯顿大学机械与航空航天工程教授兼负责创新的副院长 Craig Arnold 表示，基于语言模型的方法「为我们提供了一种全新的方式来看待材料设计问题。这实际上是关于，我如何获取人类已经开发的所有这些知识，以及如何处理这些知识以向前发展？它与我们当前的方法有本质上的不同，我认为这赋予了它很大的力量。」

研究的主要贡献概述如下：

• 研究人员收集、整理并公开一个基准数据集，其中包含大约 144K 晶体文本描述及其属性。
• 提出 LLM-Prop，这是一种高效微调的网络，使其能够在晶体特性预测方面实现最先进的性能，优于当前最好的基于 GNN 的晶体特性预测器。

表 1：来自收集的基准数据集的示例。（来源：论文）

数据包含 144, 931 个晶体，将其分为 125, 098 个晶体用于训练，9,945 个晶体作为验证集，9,888 个晶体作为测试集。对于每个晶体，收集其 ID、结构信息、带隙、体积以及其带隙是直接还是间接的。使用 Robocrystallographer 提取了晶体文本描述。

LLM-Prop，是一个源自 T5 的精心微调的网络，用于晶体特性预测。通过大量实验证明，LLM-Prop 在预测晶体固体的物理和电子特性方面实现了卓越的性能，超越了当前最先进且使用广泛的基于 GNN 的架构（例如 ALIGNN）。

图 1：LLM-Prop 架构。（来源：论文）

LLM-Prop 在所有任务上都能产生更好或相当的性能，包括 zero-shot 预测。尽管超参数少了 3 倍，LLM-Prop 的性能也优于经过微调的 MatBERT（一种特定领域的预训练 BERT 模型）。

LLM-Prop 在回归和分类任务上都优于所有基于 GNN 的基线。

表 2：与带隙预测基线的性能 (MAE) 比较。（来源：论文）

对于带隙预测，LLM-Prop 在验证集和测试集上均优于性能最佳的基线 (ALIGNN)，分别提高了约 8% 和 4%。

表 3：性能 (MAE) 与体积预测基线的比较。（来源：论文）

对于体积预测，LLM-Prop 还比验证集和测试集上的最佳性能基线 (ALIGNN) 分别提高了约 67% 和 66%。这种改进的可能原因可能是，与 GNN 相比，LLM-Prop 可以很容易地从文本描述中获取最重要的体积预测信息。

研究结果凸显了基于文本的方法在材料科学中的巨大潜力，基准文本数据 TextEdge 将助力这一新兴领域的研究。

参考内容：https://techxplore.com/news/2024-01-harness-large-language-materials-discovery.html