2024/06/28 18:34

击败Gemini-1.5-Pro、GPT-4V，从容大模型多模态能力跻身全球前三

近日，云从科技从容大模型在综合评测权威平台 OpenCompass 的多模态评测领域中取得重大进展。

最新评测结果显示，云从科技的从容大模型在该体系中的平均得分为 65.5，这一成绩使得从容大模型跻身全球前三，超越了谷歌的 Gemini-1.5-Pro 和 GPT-4v，仅次于 GPT-4o（69.9）和 Claude3.5-Sonnet（67.9）。

而在国内市场，从容大模型的成绩也超过了 InternVL-Chat（61.7）和 GLM-4V（60.8），排名首位。

^{图 1：OpenCompass 多模态榜单}

OpenCompass 大模型开放评测体系是上海人工智能实验室推出的完整开源可复现的评测框架。OpenCompass 多模态评测方面采用了 8 个具有代表性的数据集，从多种视角客观量化多模态大模型的能力，评估维度覆盖目标检测、文字识别、动作识别、图像理解和关系推理、艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程、数学推理等多个方面。

^{图 2：从容大模型 - 2.0 多模态能力示例}

在本次测评中，从容大模型在其中的 6 个数据集表现优异，排名国内第一（MMbench、MMStar、MathVista、HallusionBench、AI2D、OCRBench），尤其是在 OCRBench 测试集上以取得全球最高的 827 分（总分为 1000 分），且高于第二名 GLM-4v 13 分，进一步提升从容大模型在文本识别、以文本为中心的视觉问答、面向文档的视觉问答、关键信息提取等业务场景下的适用性。

^{图 3：OpenCompass 中国大模型能力展示}

从容大模型在此体系中的优秀表现，依赖云从科技自研的高效多模态处理架构和先进的计算技术，实现了高效的多模态数据处理能力，能够在视觉和语言任务之间实现高效的融合和切换，并最大化利用计算资源，保证在处理大规模多模态数据时仍能保持较高的性能和响应速度，使得模型的训练过程更加高效，收敛速度更快，性能更稳定。

同时也得益于云从科技长期在视觉、语言领域的深厚积累和不断创新。

^{图 4：从容大模型 - 2.0 多模态能力示例}

此前，从容大模型已在视觉、跨模态领域 10 次刷新世界纪录，综合性能经第三方 SuperClue、C-Eval 等综合评测，位列全球前五。

作为一家专注于人机协同技术研发的平台企业，云从科技一直在积极推动 AI 智能体及大模型技术的发展和应用。

随着人工智能技术的迅猛发展，多模态大模型已成为驱动产业变革的核心引擎。此次从容大模型在 OpenCompass 大模型开放评测体系中的出色表现，不仅是对云从科技技术创新实力的认可，更在业界树立典范，激励全球科技企业在新一轮的人工智能竞争中勇攀高峰。

产业从容大模型云从科技

相关技术

计算机视觉人脸识别

视觉问答技术

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium