Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

大语言模型加速材料发现,普林斯顿大学团队利用 LLM 准确预测晶体特性

编辑 | X

晶体特性的预测在晶体设计过程中起着至关重要的作用。当前预测晶体特性的方法主要集中于使用图神经网络(GNN)对晶体结构进行建模。尽管 GNN 很强大,但准确模拟晶体内原子和分子之间的复杂相互作用仍然是一个挑战。

文本数据提供了丰富的信息和表现力,但从晶体文本描述预测晶体特性的研究还不够。主要原因之一是缺乏该任务的公开数据。

普林斯顿大学的研究人员创建了一种 AI 工具来预测晶体材料的行为。新方法依赖于大型语言模型(LLM)。通过综合文本描述中的信息(包括原子之间键的长度和角度以及电子和光学特性的测量等细节),新方法可以比现有模拟更准确、更彻底地预测新材料的特性,并有可能加快设计和测试新技术的过程。

研究人员开发并公开了一个基准数据集(称为 TextEdge),其中包含来自 Materials Project 的 140,000 多个晶体的描述,然后,提出了 LLM-Prop,一种利用 LLM 的通用学习能力从文本描述中预测晶体的物理和电子特性的方法。

研究人员测试了该工具预测先前研究的晶体结构(从普通食盐到硅半导体)特性的能力。已经证明了 LLM-Prop 预测能力,正在努力将该工具应用于新晶体材料的设计。

论文一作、普林斯顿大学计算机科学助理教授 Adji Bousso Dieng 表示,「该方法代表了一个新的基准,可以帮助加速材料的广泛应用。我们是第一个使用大型语言模型来解决这个问题的团队。」

该方法于 2023 年 11 月 29 日,在波士顿举行的 the Materials Research Society's Fall Meeting 上提出。

相关研究以「LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions」为题,发布到 arXiv 预印平台。

图片

GitHub 地址:https://github.com/vertaix/LLM-Prop
论文链接:https://doi.org/10.48550/arXiv.2310.14029

现有的基于人工智能的晶体特性预测工具依赖于图神经网络的方法,但这些方法的计算能力有限,无法充分捕捉晶体中原子之间的几何形状和键长的细微差别,以及由这些结构产生的电子和光学性质。

「我们在计算机视觉和自然语言方面取得了巨大进步,」Dieng 说,「但在处理 AI 图方面,我们还不是很先进。所以,我想从图转移到我们已经有了很好的工具的领域。如果我们有文本,那么我们就可以在文本上利用所有这些强大的大型语言模型。」

该研究的合著者、普林斯顿大学机械与航空航天工程教授兼负责创新的副院长 Craig Arnold 表示,基于语言模型的方法「为我们提供了一种全新的方式来看待材料设计问题。这实际上是关于,我如何获取人类已经开发的所有这些知识,以及如何处理这些知识以向前发展?它与我们当前的方法有本质上的不同,我认为这赋予了它很大的力量。」

研究的主要贡献概述如下:

  • 研究人员收集、整理并公开一个基准数据集,其中包含大约 144K 晶体文本描述及其属性。
  • 提出 LLM-Prop,这是一种高效微调的网络,使其能够在晶体特性预测方面实现最先进的性能,优于当前最好的基于 GNN 的晶体特性预测器。

表 1:来自收集的基准数据集的示例。(来源:论文)

图片

数据包含 144, 931 个晶体,将其分为 125, 098 个晶体用于训练,9,945 个晶体作为验证集,9,888 个晶体作为测试集。对于每个晶体,收集其 ID、结构信息、带隙、体积以及其带隙是直接还是间接的。使用 Robocrystallographer 提取了晶体文本描述。

LLM-Prop,是一个源自 T5 的精心微调的网络,用于晶体特性预测。通过大量实验证明,LLM-Prop 在预测晶体固体的物理和电子特性方面实现了卓越的性能,超越了当前最先进且使用广泛的基于 GNN 的架构(例如 ALIGNN)。

图片

图 1:LLM-Prop 架构。(来源:论文)

LLM-Prop 在所有任务上都能产生更好或相当的性能,包括 zero-shot 预测。尽管超参数少了 3 倍,LLM-Prop 的性能也优于经过微调的 MatBERT(一种特定领域的预训练 BERT 模型)。

LLM-Prop 在回归和分类任务上都优于所有基于 GNN 的基线。

表 2:与带隙预测基线的性能 (MAE) 比较。(来源:论文)

图片

对于带隙预测,LLM-Prop 在验证集和测试集上均优于性能最佳的基线 (ALIGNN),分别提高了约 8% 和 4%。

表 3:性能 (MAE) 与体积预测基线的比较。(来源:论文)

图片

对于体积预测,LLM-Prop 还比验证集和测试集上的最佳性能基线 (ALIGNN) 分别提高了约 67% 和 66%。这种改进的可能原因可能是,与 GNN 相比,LLM-Prop 可以很容易地从文本描述中获取最重要的体积预测信息。

研究结果凸显了基于文本的方法在材料科学中的巨大潜力,基准文本数据 TextEdge 将助力这一新兴领域的研究。

参考内容:https://techxplore.com/news/2024-01-harness-large-language-materials-discovery.html

理论图神经网络
暂无评论
暂无评论~