Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

RLHF模型普遍存在「阿谀奉承」,从Claude到GPT-4无一幸免

AI 助手经过训练,可以给出人类喜欢的回答,该研究表明,这些 AI 系统通常会产生奉承人类的响应,但这些响应并不完全准确。通过分析表明,人类的反馈有助于这种行为。

不管你是身处 AI 圈还是其他领域,或多或少的都用过大语言模型(LLM),当大家都在赞叹 LLM 带来的各种变革时,大模型的一些短板逐渐暴露出来。

例如,前段时间,Google DeepMind 发现 LLM 普遍存在「奉承( sycophantic )」人类的行为,即有时人类用户的观点客观上不正确,模型也会调整自己的响应来遵循用户的观点。就像下图所展示的,用户告诉模型 1+1=956446,然后模型遵从人类指令,认为这种答案是对的。

图片                               图源 https://arxiv.org/abs/2308.03958

实际上,这种现象普遍存在于很多 AI 模型中,原因出在哪里呢?来自 AI 初创公司 Anthropic 的研究者对这一现象进行了分析,他们认为「奉承」是 RLHF 模型的普遍行为,部分原因是人类偏好「奉承」响应导致的。

图片

论文地址:https://arxiv.org/pdf/2310.13548.pdf

接下来我们看看具体的研究过程。

像 GPT-4 等 AI 助手,都是经过训练才能产生比较准确的答案,其中绝大多数用到了 RLHF。使用 RLHF 微调语言模型可以提高模型的输出质量,而这些质量由人类进行评估。然而,有研究认为基于人类偏好判断的训练方式并不可取,模型虽然能产生吸引人类评估者的输出,但实际上是有缺陷或不正确的。与此同时,最近的工作也表明,经过 RLHF 训练的模型往往会提供与用户一致的答案。

为了更好的了解这一现象,该研究首先探索了具有 SOTA 性能的 AI 助手是否在各种现实环境中会提供「奉承」的模型响应,结果发现 5 个经过 RLHF 训练的 SOTA AI 助手在自由格式文本生成任务中出现了一致的「奉承」模式。由于「奉承」似乎是 RLHF 训练模型的普遍行为,因此本文还探讨了人类偏好在此类行为中的作用。

本文还对偏好数据中存在的「奉承」是否会导致 RLHF 模型中的「奉承」进行了探索,发现更多的优化会增加某些形式的「奉承」,但会减少其他形式的「奉承」。

大模型的「奉承」 程度及影响

为了评估大模型的「奉承」程度,并分析对现实生成有何影响,该研究对 Anthropic、OpenAI 和 Meta 发布的大模型的「奉承」程度进行了基准测试。

具体来说,该研究提出了 SycophancyEval 评估基准。SycophancyEval 对现有大模型「奉承」评估基准进行了扩展。模型方面,该研究具体测试了 5 个模型,包括:claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。

奉承用户偏好

当用户要求大模型对一段辩论文本提供自由形式的反馈时,理论上讲,论证的质量仅取决于论证的内容,然而该研究发现大模型会对用户喜欢的论点提供更积极的反馈,对用户不喜欢的论点提供更消极的反馈。

如下图 1 所示,大模型对文本段落的反馈不仅仅取决于文本内容,还受到用户偏好的影响。

图片

很容易被左右

该研究发现即使大模型提供了准确的答案并表示它们对这些答案充满信心,它们也经常在用户提出质疑时修改答案,提供错误的信息。因此,「奉承」会损害大模型响应的可信度和可靠性。

图片

图片

提供符合用户信念的答案

该研究发现,对于开放式问答任务,大模型会倾向于提供与用户信念一致的回答。例如,在下图 3 中,这种「奉承」行为让 LLaMA 2 准确率降低了多达 27%。

图片

模仿用户的错误

为了测试大模型是否会重复用户的错误,该研究探究大模型是否会错误地给出诗歌的作者。如下图 4 所示,即使大模型可以回答出诗歌正确的作者,也会因用户给出错误信息而回答错误。

图片

理解语言模型中的阿谀奉承

该研究发现在不同的现实环境中多个大模型都展现出一致的「奉承」行为,因此推测这可能是 RLHF 微调造成的。因此,该研究分析了用于训练偏好模型 (preference model,PM) 的人类偏好数据。

如下图 5 所示,该研究分析了人类偏好数据,探究了哪些特征可以预测用户偏好。

图片

实验结果表明,在其他条件相同的情况下,模型响应中的「奉承」行为会增加人类更喜欢该响应的可能性。而用于训练大模型的偏好模型(PM)对大模型「奉承」行为的影响是复杂的,如下图 6 所示。

图片

最后,研究者探究了人类和 PM(PREFERENCE MODELS)模型倾向于真实回答的频率是多少?结果发现,人类和 PM 模型更倾向于奉承的响应,而不是正确的响应。

PM 结果:在 95% 的情况下,奉承的响应比真实响应更受欢迎(图 7a)。该研究还发现,PM 几乎有一半的时间(45%)更喜欢奉承的响应。

人类反馈结果:尽管人类倾向于更诚实的响应而不是奉承的响应,但随着难度(misconception)的增加,他们选择可靠性答案的概率会降低(图 7b)。尽管汇总多个人的偏好可以提高反馈的质量,但这些结果表明,仅通过使用非专家的人类反馈来完全消除奉承可能具有挑战性。

图 7c 表明,尽管针对 Claude 2 PM 的优化减少了奉承,但效果并不明显。

图片

了解更多内容,请查看原论文。

工程RLHF模型
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

推荐文章
暂无评论
暂无评论~