2024/06/16 18:50

星环科技孙元浩：语料已经是大模型最大的挑战

「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。

作为大数据领域超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。

根据他的观察，如今在各行各业企业内部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型能够利用的量级。拥有了这些来自各行各业内部高质量的数据，大模型可以在如今的基础上，大大提高准确性。

而关键问题就在于，怎样可以高效地开发这些数据？

大模型时代，语料的开发遇到了新的挑战。孙元浩分享称，目前企业内部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些专业数据还有较高的门槛。这对文件系统、知识库系统、语料开发系统等都提出了新的要求。

比如，面对数据量巨大的问题，对企业内部各种文档、PPT的处理，意味着存储和计算资源有更高的要求；在数据多样性方面，对于企业内部不同类型的文档，如媒体文章、政府公文、设计文档等，都需要用训练模型进行识别和解析，这就要求数据处理工具具备强大的多模态数据处理能力。

对于数据安全和隐私问题，在训练和推理的过程中，如何保证企业内部信息的保密与安全性，这对工具的安全把控也提出了新要求；专业数据标注人才问题方面，由于企业内部数据的处理往往是专业领域的标注，比如生物分子式或者专业金融术语，需要更专业的数据标注专家进行处理。

为了应对这些挑战，孙元浩分享了星环科技的一些尝试：

1、升级大数据平台：对 Transwarp Data Hub 数据平台进行升级，使其能够处理更多元化的数据，包括大量的文档和小文件。通过重构源数据管理节点和增加 POSIX 接口，提高了文件系统的支持能力和数据存储效率。

2、增加 Python 接口：在 Data hub 上增加 Python 接口，并将 Python 语言和库进行分布式化，以便在处理语料时使用 Python 语言进行清洗。这有助于提高语料处理的效率和灵活性。

3、推出分布式 Python 引擎：针对语料量通常为几十 T、上百 T 的情况，推出分布式 Python 引擎，提高了处理海量语料的能力和效率。

4、优化向量数据库：对向量数据库进行升级，提高召回准确度和分布式性能，使其能够更好地支持大规模数据的处理和检索。

5、构建知识图谱：提供Transwarp Knowledge Studio for LLM知识工具来构建知识图谱，弥补向量召回的准确度不足。例如在设备维修场景中，将设备的故障数、归零报告等导入知识图谱，大模型在回答问题时可以在知识图谱上进行推理，从而提供更准确的答案。

6、开发语料开发工具：推出语料开发工具，包括语料的解析、分类、清洗、标注、增强等功能，以及从语料中构造问答对和安全测试集。用于自动化或半自动化地处理各种文档类型、语音视频，将其转化为可用于大模型训练的高质量语料。

7、提供大模型工具链：提供大模型整套工具链，包括从语料生成到模型训练、知识库构建、应用开发、智能体构建的一系列过程，以及调度算力的工具。这有助于提高大模型应用的构建效率和管理能力。

8、构建 AI 原生应用：推出无涯·问知和无涯·问数等 AI 原生应用，实现企业内部信息检索和数据分析，提高数据处理的效率和便捷性。

9、支持多种模型和数据源：支持第三方模型，无论是开源还是商用，以及多种数据源，包括个人知识库、企业知识库、财经类数据库、法律法规数据库等，提高数据处理的灵活性和适应性。

基于这些，企业可以直接上传多种类型的资料，产品将快速解析，形成企业自己的知识库。不过，将更多企业内部的数据开发释放并不是终点，孙元浩认为，提升语料质量是目前大模型在提升准确性上最大的挑战。

「现在模型结构大家都不是秘密了，训练方法也不是秘密了，只是没有语料。语料存在于各种地方，因为工作非常巨大，都是巨大的体力活，这是目前最大的挑战，不是之一，这是最大的挑战。」

除此之外，在大模型落地实践中，孙元浩认为现阶段提升模型准确率的方法主要包括以下几种：

1、构建外挂知识库：将企业的资料、文章等解析出来放到知识库中，让大模型参考知识库的内容进行写作或分析，这是一种快速提升模型准确率的方法。

2、微调模型：通过对大模型进行微调，使其能够学习特定领域的知识和语言习惯，从而提高模型在该领域的准确率。

3、持续训练：对于金融等领域，需要持续地将大量的语料喂给大模型，以提高模型的精准度和回答金融问题的能力。

4、提供语料开发工具：开发语料开发工具，帮助企业整理和清洗语料，将其转化为适合大模型训练的格式，从而提高模型的准确率。

5、结合多种方法：可以将以上几种方法结合起来使用，如构建外挂知识库的同时，对模型进行微调或持续训练，以进一步提高模型的准确率。

孙元浩比喻道，过去一年一直讲大模型是个“文科生”，因为它能写作、生成；星环的目标是把大模型训练成一个理科生，希望它能做数学分析，能够懂自然科学的各个领域、各个学科。通过星环科技AI Infra工具，企业能够准确、高效地将拥有的多种来源的多模语料转换为高质量的专业领域知识，让企业构筑知识壁垒。

产业星环科技

相关数据

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源，如线程、进程或数据流；也可以指硬件资源，如处理器、网络连接或扩展卡。进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态，允许多位用户有效地同时共享系统资源，或达到指定的服务质量。 see planning for more details

来源：维基百科

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

知识库技术

知识库是用于知识管理的一种特殊的数据库，以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家，它是求解问题所需领域知识的集合，包括基本事实、规则和其它有关信息。

来源：维基百科

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。

来源：百度百科

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary