Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

K2乔戈里,上交大团队推出一个70亿参数的地球科学大语言模型

说到世界上最高的山峰大家都能想到是珠穆朗玛峰,但是世界上的第二高峰就鲜有人知 —— 乔戈里峰(又称 K2,仅以 200 多米之差屈居第二)。珠穆朗玛峰固然高大雄伟,但是乔戈里峰的攀爬难度却远超珠穆朗玛峰,在登山界享有盛名,即使是最简单的登顶路线也需要穿越地形复杂的冰川,攀缘几乎垂直的峭壁,经过许多很容易倒塌的冰柱。来自上海交通大学的科研团队,将第一个地球科学的大模型就被命名为乔戈里峰,就源于此。

地球科学是一门古老的学科,不仅研究岩石、矿物和土地的性质,还探讨地球的气候、海洋、大气、生态系统等多个方面现象和原理。地学与我们的日常生活息息相关,帮助我们预测天气,了解地球的演化历史,维护海洋生态系统平衡和海洋资源均衡等。同时火山活动、地震、恐龙化石、气象现象等引人入胜的内容,也被一个个地学工作者阐述出来,带给大家一个又一个令人惊奇和引人入胜的故事。
图片
                              图:地学领域词云图;研究各个地学年代的地学论文数量的分布。

总的来说,地球科学是一门理论性、应用性都很强的自然科学。从理论性上来说,它承担着揭示自然界奥秘与规律的使命。从应用性上来看,它为生活在地球上的人类如何适应、利用、保护自然提供了科学的方法论。但是一味的通过传统的理论和实践的方法并不能高效的发现新的地学理论,整合传统的地球科学和利用计算机科学的处理大数据成了地球科学的新科研范式。

很长一段时间以来,计算机科学已经成为地球科学不可或缺的一部分。地球科学涉及大量的数据,包括文献数据、地质数据、气象数据、遥感数据等。计算机科学提供了处理、存储和分析这些海量图片、文本和数字等模态的数据的工具和技术。这两个学科的交叉融合已经成为大势所趋。

其中,文本数据挖掘是重要的但是最容易被忽视的一个重要组成部分。从大量的文本数据中提取有关地球科学的信息、模式和趋势,可以加深对地球科学的理解,并为科学研究、决策制定和问题解决提供支持。与此同时,近年大火的语言模型又是文本数据挖掘重要的工具。因此,在这样的一个属于大语言模型的时代,推出一个地球科学这个垂直领域的基座语言模型势在必行。

最近,来自上海交通大学的团队推出一个 70 亿参数的地球科学大语言模型名叫 K2。K2 是基于初代 LLaMA-7B 模型,并使用了 100 万余篇地球科学文献以及和地球科学相关的维基百科的文章进行更进一步的预训练。同时设计了第一个地球科学领域的微调数据集 GeoSignal,包含文章内容、类别、参考文献、提到的实体等,适用于解决回答地球科学方面的专业问题、完成命名实体提取、地学概念上下位关系判断等任务。
图片
                                     图:地球科学领域大语言模型 K2 的构建流程图。

区别于大多数垂直领域的模型训练的思路,该团队通过独特的数据重构技术生成指令微调的数据,而不仅仅是利用 self-instruct 等方法,利用 ChatGPT 生成的数据来进行指令数据的采集。

同时为了评估模型在地学知识的理解和应用方面的能力,他们还建立了第一个地球科学语言模型基准 GeoBenchmark,它主要由中国的地理、地质学的考研题目和美国的地理、地质与环境科学的 AP 考试题目组成。有意思的是,ChatGPT 和 GPT4 在地学相关的 AP 考试上的分数并没有随着 GPT4 的技术报告一同给出,留给大家十足的想象空间。

在大模型纷争的时代,大多数垂直领域的大模型训练都有统一的范式,那就是先进行专业领域语料的预训练,再进行指令微调。但是大多数的模型在预训练阶段使用的数据并不透明,指令微调的数据更多的是蒸馏 ChatGPT 来抑或进行高价的人工标注。但是 K2 针对地学这一个垂直领域给出了一套技术路线,从计算机角度通过数据的整合和提炼来进行学科交叉的知识工程和模型构建,这是 K2 之于数据挖掘和自然语言领域的贡献之一。

针对预训练数据,该团队基于 Grobid,PyPDF2 和 DeepShovel  (https://deepshovel.deep-time.org/) 等工具开发了一套数据清洗工具包。

DeepShovel:是一款辅助地学科学家进行知识抽取的文献标注平台,也陆续推广至所有的学术领域。目前 DeepShovel 以及辅助超过一百家地球科学的科研单位。
图片
其中,每一篇地学开放获取(Open Access)的论文都会被转化成对于计算机来说可读性极高的 Markdown 格式的文本,有着多级标题的区分、公式和引用的特殊词元(Special Token)以及图片和表格的注释文本也被特殊词元保存下来。经过一系列的操作,累计获取了 5.5B 词元(Tokens)的文本语料。目前他们正在构建更大的学术资源的语料,旨在进行更大规模的学术大模型的训练。
图片
针对指令微调数据,该团队通过多个自主研发平台上的数据融合,通过数据重构,将具备一定结构化的网页进行了解构,并重组成一套 knowledge-intensive 的数据。在这个过程中,上海交通大学团队集中团队内部所有的平台课题组的力量,进行数据的充分重组,从而构建了一套独一无二的具有特定地学任务的知识性指令微调数据集。

据论文描述,上海交通大学团队在过去的 3 年,相应 DDE 大科学计划(https://deep-time.org/)的号召,完成研发的地学数据和功能平台共 4 个。

  • Deep literature
    https://ddescholar.acemap.info/ 
    致力于打造地学领域的 DBLP,将所有的地学学术文献进行整合并依托这个平台进行一系列的数据挖掘和学者画像的分析。

  • GAKG
    https://gakg.acemap.info/ 
    致力于打造地学领域的多模态学术知识图谱,对所有的地学学术文献进行数据的挖掘,抽取文献之间的关联关系、地学知识点之间的上下位等语义关系以及地学文献内的知识挖掘。对外提供了语义查询和文本搜索系统,也是 CIKM 历史上第一篇地球科学相关的科研文章。GAKG 对外也提供了数据下载、语义查询和文本搜索的平台。同时,GAKG 的技术工作也发表在 CIKM 上,也是一篇计算机科学领域与地球科学交叉研究的科研文章。

  • GSO
    https://gso.acemap.info/ 
    是利用机器生成人工修正的地学知识树系统,用上下位关系维护了地学知识点之间的关联,这给大模型提供了很好的地学知识链接预测的监督信号。

  • DataExpo
    https://dataexpo.deep-time.org/
    通过关键词检索以及文本分类归纳了所有的地学数据集。
图片
这些平台承载着地学的知识元数据,如果通过人工整合平台底层的数据逻辑,将可以很快的获得地学知识之间关联关系,以及一定的任务驱动的数据集。

基于 DDE Scholar 可以获得地学相关的科研文献,并且通过其中 OA 的文献的下载链接,可以下载下来构建预训练语料,通过 GAKG,可以构建实体抽取的数据集,语义上下位词的知识判断的数据集。通过 DeepShovel 一直以来的数据积累,可以构建特定任务的地学问答系统,以及文献中表格抽取的数据集。通过 DataExpo,可以得到数据集相关的知识文本,也可以一定程度上类似科研文献一般,提供地学知识的监督信号。

当然,一定程度上的蒸馏 ChatGPT 确实能辅助模型向 ChatGPT 靠拢,因此针对不同的地学领域,K2 还集成了一套基于 Self-instruct 的指令微调数据集,并且在 ChatGPT 生成之后也通过了专业地学同事的审核,进而得到高质量的监督效果。
图片
最后上海交通大学团队通过人工和机器相结合的方法,对这些指令进行清洗,并最后构成了一套 39k 大小的地学知识性指令微调数据集。在这个数据集中,蒸馏 ChatGPT 的占比并不高,因为在交大团队看来这类数据仅仅只是 QA 任务的一种监督,并不能很好的泛化到其他更难的任务中。

最后,上海交通大学团队聘请了专业的地学翻译专家,将近几年的地学的考研题进行了翻译,并结合美国高中的 AP 考试中的地学相关的科目,构建了 GeoBenchmark,与同等大小的模型相比,K2 以较少的数据成本,最终得到了如下结果:
图片
除此之外,该团队还发现,在微调 K2 的过程中,也是比较有技巧的,如果只利用知识性的指令微调数据,模型并不能达到最好的效果,甚至也只比利用 alpaca 这类开源的和地球科学无关的指令微调数据达到的效果好一些。但是令人激动的是,如果先利用 alpaca 这类指令微调数据进行微调,再利用知识性指令微调数据进行更进一步的训练,达到的效果则更优秀。
图片
目前尚且不知道这个特性是不是只在地球科学领域存在,因为这种现象类似于,先让一个小朋友学会说人话,再学会说行话。面对晦涩难懂的学科,多一条这样的思路,不失为一种方法。
图片
这个现象是否广泛存在呢,答案是很有可能的,在一次由乔治亚大学的买庚辰教授组织的 GeoAI 的研讨会上,来自乔治亚大学和哈佛大学的团队也在训练 radiology 领域的生成式模型的过程中也发现了这一现象。充分说明,要想成为专家,要先学会 “做人”。

在整个过程中,K2 的训练和研发可谓是坎坷曲折,由于领域壁垒较高,因此很难直接获得专家的标注,如果从需求出发,地学领域的需求也很难直接转化为计算机领域的任务。最后,这款地学领域的大模型还是从成功地从计算机角度出发训练完成了,给后续的地学领域的大模型一定的参考意义。

目前看来,在国际社区中,K2 的应用前景非常广阔。例如,它可以用于自然语言理解、结合 GAKG 进行信息检索增强的 QA 任务和文本生成等任务。此外,在未来 K2 还可以用于地球科学领域的知识图谱构建和地球科学文献的自动化分析等方面。在地学类资讯公司的社交圈子里,已经广泛讨论了该团队这一令人激动的工作。例如:

1.https://paulhcleverley.com/2023/08/03/worlds-first-geoscience-large-language-model/
2.https://www.linkedin.com/posts/paulhcleverley_geosciences-largelanguagemodels-artificialintelligence-activity-7093001271632101376-jzAc 
图片
经过本文的陈述,计算机赋予地学新的生命,地学赋予计算机新的使命。我们相信,会有越来越多的真正愿意奉献地学的计算机学科专家投入时间,以及真正愿意沉下心来从地学角度给予支持和耐心的地学专家参与进来,地学的 AI 时代将很快到来。

  • Paper: https://arxiv.org/abs/2306.05064
  • Code: https://github.com/davendw49/k2

关于 DDE 国际大科学计划
图片
K2 是响应深时数字地球(DDE)国际大科学计划号召,由计算机领域的科研工作者深入地学领域进行数据采集分析,打开了一条计算机科学与地球科学交叉研究的新思路。DDE 国际大科学计划是全国唯一一个国际大科学计划,由中国地质大学王成善院士,中国科学院地理科学与资源研究所周成虎院士等中国地球科学的科学家领导的,致力于建设一个为应对全球科技挑战、支撑全球或者区域命运共同体提供社会所需知识的国际平台来实现聚合全球地学大数据,构建数据驱动的地球科学发现的目的。
产业DataExpoGSOGAKGDeep literatureDeepShovelK2乔戈里峰
相关数据
信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

遥感技术

遥感(remote sensing)是指非接触的、远距离的探测技术。一般指运用传感器/遥感器探测物体的电磁波辐射、反射特性。遥感通过遥感器这类对电磁波敏感的仪器,在远离目标和非接触目标物体条件下探测目标。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看,其与目前主流资讯检索技术有两点不同:首先是查询方式为完整而口语化的问句,再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例,使用者不需要思考该使用什么样的问法才能够得到理想的答案,只需要用口语化的方式直接提问如“请问谁是美国总统?”即可。而系统在了解使用者问句后,会非常清楚地回答“奥巴马是美国总统”。面对这种系统,使用者不需要费心去一一检视搜索引擎回传的网页,对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看,问答系统使用了大量有别于传统资讯检索系统自然语言处理技术,如自然语言剖析(Natural Language Parsing)、问题分类(Question Classification)、专名辨识(Named Entity Recognition)等等。少数系统甚至会使用复杂的逻辑推理机制,来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上,除了传统资讯检索会使用到的资料外(如字典),问答系统还会使用本体论等语义资料,或者利用网页来增加资料的丰富性。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

数据融合技术

数据融合技术将来自多个传感器(信息源)的数据和相关数据的信息相结合,以实现比单独使用单个传感器(信息源)所能实现的更高的准确性和更具体的推论。

暂无评论
暂无评论~