机器之心原创

2023/01/31 14:25

刚刚，ChatGPT官宣数学能力再升级，网友：终于精通十以内加减法了

随着 ChatGPT 热度一直不减，OpenAI 持续拓展其能力。同时，ChatGPT 的竞品不断涌现，如何更准确检测其生成文本也成为了近来学界的一大研究课题。

自 ChatGPT 发布以来，它的能力不断被人们解锁，比如写神经网络、做智能音箱。人们在试用中慢慢发现，数学能力是 ChatGPT 的一大短板，连简单的「鸡兔同笼」题都能算错。

大概是考虑到了这一点，ChatGPT 刚刚宣布了一次重要更新：提升了「真实性」和「数学能力」。

本次是 ChatGPT 自去年 11 月推出以来的第三次更新，但由于「更新说明」过于模糊，人们还需要经历一个对新能力的探索过程。

几日前，计算机科学家、Wolfram 语言之父 Stephen Wolfram 将理工科神器 Wolfram|Alpha 与 ChatGPT 结合起来，为后者注入超强计算知识实现互补，效果相当不错。

那么，这次更新之后的 ChatGPT 数学能力可与其一战吗？

看起来…… 对比的结果不尽如人意：

「只能说神经网络不是用来干这个的」，Sebastian Raschka 都觉得无奈了。

还有人发现，升级后的 ChatGPT「脾气逐渐暴躁」：

「你数学是哪位老师教的？」面对一道十以内加减法的题目，它的语气像极了辅导孩子作业的家长。

这也许是「偶然现象」？看来数学是真难。

不管怎么说，我们可以期待一波后续的有趣 Demo 了。

太卷了：ChatGPT 和它的竞争者们

「未来 6 到 12 个月将带来实验的爆炸式增长，一旦公司能够使用 OpenAI 的 API 在 ChatGPT 之上构建。出现的杀手级用例可能是围绕生成式 AI 对知识管理的影响。」

Nicola Morini Bianzino。

在最近的一次公开活动上，安永全球首席技术官 Nicola Morini Bianzino 表示，目前还没出现在企业中使用 ChatGPT 的「杀手级」用例。但这种状态可能很快就会改变，他预测未来 6 到 12 个月将带来大量实验，尤其是当公司能够使用 OpenAI 的 API 在 ChatGPT 上构建之后。

Bianzino 将生成式 AI 对知识管理的影响描述为「AI 的辩证法」。「知识公司倾向于以一种非常扁平的二维方式存储知识，这使得访问、互动和对话变得困难。我们在 20、30、40 年前尝试构建专家系统。这并不是很顺利，因为它们太死板了。我认为这项技术有望克服专家系统存在的许多问题。」Nicola Morini Bianzino 表示。

与此同时，ChatGPT 的竞争者们也不断涌现，这个赛道变得越来越「卷」。从 Anthropic 公司的 Claude、DeepMind 公司的 Sparrow、谷歌公司的 LaMDA 到 Character AI，每天似乎都有新竞争者步入赛场。

Anthropic 是一家旧金山的初创公司，由几位离开 OpenAI 的研究人员于 2021 年创立。公司成立不到一年后就宣布了高达 5.8 亿美元的融资，上周五还被报道即将增加 3 亿美元融资。

这家公司开发了一个名为「Claude」的 AI 聊天机器人，目前通过 Slack 集成在封闭测试版中可用，据报道它与 ChatGPT 相似，甚至有一些改进。Anthropic 描述自身的使命为「致力于构建可靠、可解释和可操纵的 AI 系统」。

DeepMind 同样是这条赛道上不可忽视的力量。这家公司在 9 月份的一篇论文中介绍了「Sparrow」，被誉为「朝着创建更安全、偏差更小的机器学习系统迈出的重要一步」。Sparrow 是「一种有用的对话智能体，可以降低不安全和不适当答案的风险」，旨在「与用户交谈、回答问题并在有助于查找证据」。

不过，DeepMind 的安全研究员、 Sparrow 论文的主要作者 Geoffrey Irving 表示，DeepMind 认为 Sparrow 是一个基于研究的概念验证模型，尚未准备好部署。

在两周前的《时代周刊》文章中，该公司的首席执行官兼联合创始人 Demis Hassabis 表示，DeepMind 正在考虑在 2023 年的某个时候发布其聊天机器人 Sparrow 的「私人测试版」。如此一来，公司就可以开发基于强化学习的功能，比如引用来源 —— 这是 ChatGPT 所没有的能力。

再说到谷歌的 LaMDA，这一模型曾在去年夏天引发过热议 —— 谷歌工程师 Blake Lemoine 因声称 LaMDA 具有感知能力而被解雇。

即使不像 Lemoine 认为的那样，LaMDA 仍被认为是 ChatGPT 最大的竞争对手之一。谷歌在 2021 年发布的博客文章中表示，LaMDA 的对话技巧「已经酝酿多年」。与 ChatGPT 一样，LaMDA 建立在 Transformer 架构之上，也接受过对话方面的训练。

根据谷歌的说法，「在训练期间，LaMDA 发现了一些将开放式对话与其他形式的语言区分开来的细微差别。」

《纽约时报》在 1 月 20 日的一篇报道中提到，谷歌创始人 Larry Page 和 Sergey Brin 上个月会见了公司高管，讨论了 ChatGPT 可能对谷歌 1490 亿美元的搜索业务构成的威胁。谷歌发言人在一份声明中表示：「我们继续在内部测试我们的 AI 技术，以确保它有用且安全，我们期待尽快与外部分享更多经验。」

另外一位颇具实力的玩家则是 Character AI，这家公司由 Transformer 论文作者之一 Noam Shazeer 创办，逐渐为人熟知。

该公司推出的 AI 聊天机器人技术允许用户与任何人聊天或进行角色扮演，比如模仿伊丽莎白女王和莎士比亚等历史人物。目前该技术是免费使用的，Character 正在「研究用户如何与之互动，然后再制定具体的创收计划。」

传百度将发布类似 ChatGPT 的聊天机器人

更能引起国内 AI 从业者关注的是，据路透社、彭博社等多家外媒报道称，百度公司计划在 3 月份推出类似于 OpenAI 的 ChatGPT 的人工智能聊天机器人服务。

消息人士称，百度计划在用户提出搜索请求时整合聊天机器人生成的结果，而不仅仅是链接。「该工具尚未命名，将嵌入在主搜索服务中，用户将返回对话风格的搜索结果。」

在去年 12 月在一次内部讨论中，百度 CEO 李彦宏曾分享自己对 ChatGPT 的看法：「把这么酷的技术变成人人需要的产品」才是最难的，希望百度新的一年「至少能有一个高成长、有创新的业务，真正的 above and beyond our expectation」。

而据《科创板日报》1 月 30 日报道，百度内部确有推出类似 ChatGPT 聊天机器人的规划，但具体时间并不精确。百度 CEO 李彦宏对于该项目的定位是「引领搜索体验的代际变革」。他在内部指出，相关技术已达到临界点，百度在其中有较大的机会。

检测利器：让大型语言模型生成的文本无处隐藏

ChatGPT 的能力纵然强大，但同时它在学校作业、论文发表等领域的滥用已经引发了人们广泛的担忧。因此，学界开始探索检测 ChatGPT 等大型语言模型（LLM）生成文本的方法和工具。

马里兰大学几位研究者对 ChatGPT 等语言模型输出的水印进行了研究。在论文《A Watermark for Large Language Models》，他们提出了一种高效水印框架，水印的嵌入对文本质量的影响忽略不计，可以使用高效的开源算法进行检测，而无需访问语言模型的 API 或参数。

本文方法可以检测到比较短的合成文本（少至 25 个 tokens），同时使得人类文本在统计学上不可能被标记为机器生成。

论文地址：https://arxiv.org/pdf/2301.10226v1.pdf

斯坦福大学几位研究者在论文《DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature》中，证明了从 LLM 中采样的文本倾向于占据模型对数概率函数的负曲率区域。利用这一观察结果，他们定义了一个基于曲率的新标准，来判断一段文章是否由给定的 LLM 生成。

研究者将他们的方法称为 DetectGPT，它不需要训练单独的分类器、收集真实或生成段落的数据集以及显式地为生成文本加水印。DetectGPT 仅使用感兴趣模型计算的对数概率和另一通用预训练语言模型（如 T5）生成段落的随机扰动。

结果发现，DetectGPT 比当前模型样本检测的零样本方法更具辨别力，尤其是将 20B 参数 GPT-NeoX 生成的假新闻报道检测从最强零样本基线的 0.81 AUROC 提升到了 0.95 AUROC。未来将公布代码和数据。

DetectGPT 检测 GPT-3 生成文本的示意图。

论文地址：https://arxiv.org/abs/2301.11305

除了以论文形式展现的检测方案，也有个人推出了强大的检测工具。比如一位来自 Hive AI、致力于 ChatGPT 检测器研究的 ML 工程师，其方案能够识别 ChatGPT、GPT-3 和其他流行 AI 引擎生成的文本。

从内部基准测试结果来看，该方案效果明显优于 GPTZero 和 OpenAI GPT2 Output Detector 等类似方法。在内部数据集上，模型平衡准确率 > 99%，而 GPTZero 的准确率约为 60%，OpenAI GPT2 Output Detector 的准确率为 84%。

Demo 地址：https://hivemoderation.com/ai-generated-content-detection

最后，GPTZero 也迎来了更新 ——GPTZeroX，一个专为教育者打造的全新 AI 检测模型。该模型可以混合处理 AI 生成和人类文本，并突出显示最有可能由 AI 生成的文本部分。此外构建了一个 pipeline 来处理 PDF、Word 和.txt 格式的文件批量上传，从而轻松运行多个文件。

Demo 地址：https://gptzero.substack.com/p/gptzerox

总之，随着 AI 生成文本检测工具的日益丰富和日加完善，ChatGPT 等大型语言模型在应用时势必会越来越正规，帮助人们更高效地释放 AI 的能力。

参考链接：

《百度进军 ChatGPT 李彦宏：相关技术已达到临界点》 (https://mp.weixin.qq.com/s/1WZDu8aVcAUoHZfxjiMh7A)

https://mp.weixin.qq.com/s/URO054sLrNtVKryyv0TxGA

https://venturebeat.com/ai/who-will-compete-with-chatgpt-meet-the-contenders-the-ai-beat/

https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/ai/chatgpts-killer-enterprise-use-case-will-be-managing-knowledge-says-ey-cto/amp/

工程ChatGPT

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

专家系统技术

专家系统(ES)是人工智能最活跃和最广泛的领域之一。专家系统定义为：使用人类专家推理的计算机模型来处理现实世界中需要专家作出解释的复杂问题，并得出与专家相同的结论。简言之，如图1所示，专家系统可视作“知识库(knowledge base)”和“推理机(inference machine)” 的结合。

来源：Zhang Yudong, Wu Lenan, & Wang Shuihua. (2010). Survey on development of expert system. Computer Engineering and Applications, 46(19), 43-47.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

OpenAI GPT技术

GPT 是“Generative Pre-Training”的简称，从名字看其含义是指的生成式的预训练。GPT 也采用两阶段过程，第一个阶段是利用语言模型进行预训练，第二阶段通过 Fine-tuning 的模式解决下游任务。它与ELMO 主要不同在于两点：特征抽取器不是用的 RNN，而是用的 Transformer；GPT 的预训练虽然仍然是以语言模型作为目标任务，但是采用的是单向的语言模型。

来源：机器之心