1. 背景
大语言模型在各类NLP下游任务上取得了显著进展。然而在DevOps领域，由于缺乏专门用于大型语言模型的评测基准，在有效评估和比较该领域大语言模型的能力方面存在严重不足。为弥补这一不足，蚂蚁集团联合北京大学发布了首个面向DevOps领域的大模型评测基准DevOps-Eval，以帮助开发者跟踪DevOps领域大模型的进展，并了解各个DevOps领域大模型的优势与不足。
DevOps-Eval根据DevOps全流程进行划分，包含计划、编码、构建、测试、发布、部署、运维和监控这8个类别，包含4850道选择题。此外，DevOps-Eval还特别对运维/监控类别做了细分，添加日志解析、时序异常检测、时序分类和根因分析等常见的AIOps任务。由于DevOps-Eval根据场景对评测样本做了详尽的细分，因此除了DevOps领域大模型，也方便对特定领域大模型进行评测，如AIOps领域等。
目前，我们已发布了第一期的评测榜单，首批评测大模型包含OpsGpt、Qwen、Baichuan、Internlm等开源大语言模型；同时，DevOps-Eval相关论文也在紧锣密鼓地撰写中。我们欢迎相关从业者一起来共建DevOps-Eval项目，持续丰富DevOps领域评测题目或大模型，我们也会定期更新题库和评测榜单。
- GitHub地址：https://github.com/codefuse-ai/codefuse-devops-eval
- HuggingFace地址：https://huggingface.co/datasets/codefuse-admin/devopseval-exam
2. 评测数据
2.1. 数据来源
DevOps-Eval最终生成的样本格式都为单项选择题，采用此类格式的原因是单项选择题客观性高，不但能够提高样本收集效率，并且方便进行自动化评测。因此，我们收集样本的策略是尽可能获得选择题原题，或者通过某些手段生成或转换为选择题。经过统计，该项目的数据来源可以分为以下5大类：
1)选择题类试题：直接为选择题形式的公开试题，例如计算机通识类考试试题、DevOps专业考试试题等；
2)问答类试题：此类试题以问答题的形式出现，且已按照DevOps场景进行了有效划分，来源如超级码客、devops-exercises等，我们再在问答题基础上通过ChatGPT生成答案并转换为选择题；
3)开源数据集：基于开源数据集构造AIOps相关样本，例如基于LOGPAI的数据构造日志解析相关的选择题样本，基于TraceRCA的数据构造根因分析相关选择题样本；
4)ChatGPT生成：某些细分场景缺乏现成的试题，我们使用场景关键词通过ChatGPT直接生成相应的选择题；
5)数据仿真生成：通过数据仿真的手段生成数据，例如时序异常检测、时序分类等试题。
2.2. 数据类别
DevOps-Eval根据DevOps全流程进行划分，共分为8个大类和53个子类，包含4850道选择题。其中，AIOps场景有4个，共计2200个中英文题目。每个子类分为dev数据集和test数据集。其中，dev数据集包含5个带有标签和解析的样例，用于few-shot评测；test数据集仅包含标签，用于模型评测。图2.1给出了DevOps-Eval数据的具体细分类别。若要进一步了解各个类别包含的具体内容，可以参考Github中更为详细的样本明细脑图。
图2.1 数据细分类别
2.3. 数据样例
2.3.1. DevOps
以下样本来自于CODE大类下的versionControl子类，主要考察git相关知识，具体格式如下表所示。
2.3.2. AIOps
上述日志解析样例为给定日志给出具体模版，此外还有给定日志给出模版个数，给定日志模版判断哪些日志由给定模版生成。此外限于篇幅，此处不再展示时序分类和根因分析样例，具体可以查看HuggingFace数据集。
2.4. 数据下载
方法一： 直接下载（也可以用浏览器打开下面的链接）
wget https://huggingface.co/datasets/codefuse-admin/devopseval-exam/resolve/main/devopseval-exam.zip
# 然后可以使用 pandas加载数据：
import os
File_Dir="devopseval-exam"
test_df=pd.read_csv(os.path.join(File_Dir,"test","UnitTesting.csv"))
方法二：使用Hugging Face datasets库函数
from datasets import load_dataset
dataset=load_dataset(r"DevOps-Eval/devopseval-exam",name="UnitTesting")
print(dataset['val'][0])
3. 评测设置
3.1. 评测模型
一期我们选取了比较热门的不同参数大小、不同机构发布的通用大模型和运维领域大模型，具体细节如下表。后续我们也会评测更多其他的大模型。
3.2. 评测方式
DevOps-Eval包含0-shot和Few-shot两种评测方式。其中针对DevOps题目，我们主要评测0-shot和5-shot的结果。而针对AIOps题目，由于题目的token长度较长（如上面展示的日志解析样例，包含多行日志），5-shot后的题干长度会超过2k个token。而大部分模型的训练的上下文就是2k，所以针对AIOps的题目，我们主要评测0-shot和1-shot的结果。
Base模型和Chat模型获取预测结果的方式如下：
1)Base模型：我们将问题输入大模型后，基于模型预测下一个Token的得分，获得分别对应A，B，C，D四个选项的得分，将得分最高的选项作为模型对于这道题预测结果；
2)Chat模型：我们先将问题转换为Chat模型对齐训练时使用的prompt，比如Qwen采用的是chatml的格式，Baichuan2是一种自定义的格式，采用模型对齐训练的格式能够使得模型更好地发挥其能力。当转换好后输入大模型，然后用和Base模型相同的方式获取预测结果。
4. 评测结果
4.1. 🏆 DevOps全流程评测榜单
4.1.1. 0-shot评测结果
如下图所示，0-shot评测结果中DevOpsPal-14B-Chat平均分最高，达到了80.34分，Internlm-7B-Base评分较低，为66.91分。从总体上来看，各模型的分数区分度不大。
4.1.2. 5-shot评测结果
如下图所示，5-shot的结果要稍好于0-shot，其中DevOpsPal-14B-Chat平均分依然最高，达到了81.77分，Internlm-7B-Base评分较低，为69.17分。从总体上来看，各模型的分数区分度也并不大，说明样本集难度偏低，后期需要区分下样本难度等级。
4.2. 🔥 AIOps场景评测榜单
4.2.1. 0-shot评测结果
从0-shot结果来看Qwen-14B-Base平均分最高，达到了49.27分，Internlm-7B—Chat评分较低，为32.0分。从总体上来看，各模型在AIOps类别的区分度明显变大。
4.2.2. 1-shot评测结果
1-shot的结果要稍好于0-shot，其中DevOpsPal-14B—Chat平均分最高，达到了53.91分，Internlm-7B—Chat依然评分较低，为32.73分。在不同细分类别的表现，根因分析得分相对较高，可能跟根因分析题目做了简化相对较为简单有关，而时序异常检测整体表现都不太好，当前大模型对时序类数据的处理依然有待提升。
5. 未来展望
未来我们将持续对DevOps-Eval项目进行优化，主要优化方向包括以下几点：
1)不断丰富评测数据集：
- 当前DevOps全流程评测数据主要为中文，后续将增加英文题目；
- 当前不同类别之间的数据量存在较大差异，需要持续补充数据集，平衡各类别的数据量；
- 当前评测数据主要以知识类为主，后续将增加更多任务类题目，且题型将不局限于选择题，增加问答等形式；
- 从DevOps全流程评测结果可以看出，当前评测模型之间得分差异较小，说明当前DevOps全流程的评测数据难度的区分度一般，需要对数据集增加难度分级；
2)重点关注AIOps领域：
- AIOps一直是运维领域的研究热点，大模型与AIOps能碰撞出什么火花也是当前行业内最关心的话题。目前DevOps-Eval已涵盖4类常见的AIOps任务，后续将继续增加，直至覆盖运维领域的所有智能化任务；
3)持续增加评测模型：
- 一期主要评测了一些主流的、规模不是很大的开源模型，后续将覆盖更多的模型，并重点跟踪评测面向DevOps和AIOps领域的大模型。
希望大家一起来共建DevOps-Eval，期待在大家的努力下，建立更准确、更全面的DevOps领域大模型评测体系，推动DevOps领域大模型技术的不断发展与创新。
6. 关于DevOpsGPT
DevOpsGPT是我们发起的一个针对DevOps领域大模型相关的开源项目，主要分为三个模块。本文介绍的DevOps-Eval是其中的评测模块，其目标是构建DevOps 领域LLM行业标准评测。此外，还有DevOps-Model、DevOps-ChatBot两个模块，分别为DevOps领域专属大模型和DevOps领域智能助手。我们的目标是在DevOps领域，包含开发、测试、运维、监控等场景，真正地结合大模型来提升效率、成本节约。我们期望相关从业者一起贡献自己的才智，来让“天下没有难做的coder”，我们也会定期分享对于 LLM4DevOps 领域的经验&尝试。
欢迎使用&讨论&共建：
1)ChatBot - 开箱即用的 DevOps 智能助手：https://github.com/codefuse-ai/codefuse-chatbot
2)Eval - DevOps 领域 LLM 行业标准评测：https://github.com/codefuse-ai/codefuse-devops-eval
3)Model - DevOps 领域专属大模型：https://github.com/codefuse-ai/CodeFuse-DevOps-Model
