大模型的效果好不好,有时候对齐调优很关键。但近来很多研究开始探索无微调的方法,艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优(SFT)和人类反馈强化学习(RLHF)的 LLM 性能。
![图片](https://image.jiqizhixin.com/uploads/editor/f6fbe691-68a4-41cd-9203-c4c5125ec1fc/640.png)
论文地址:https://arxiv.org/pdf/2312.01552.pdf 项目地址:https://allenai.github.io/re-align/
![图片](https://image.jiqizhixin.com/uploads/editor/cb7d1e99-0a3f-4504-a0e3-44c62ae2ce9a/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/7628e75d-c589-406c-98e4-6b3b76471804/640.png)
对齐只影响很小一部分 token,基础 LLM 和对齐 LLM 在大多数位置上的解码行为相同,它们共享相同的 top-ranked token; 对齐主要涉及 stylistic token,例如嗯、好吧、总之等口头语,以及过渡词、安全免责声明等,这些仅占总 token 位置的很小一部分; 对于靠前的 token( earlier tokens)来说,对齐更为重要。然而对于大多数位置来说,对齐模型排名靠前的 token 位于基础模型排名 top 5 的 token 之内; 基础 LLM 已经获得了足够的知识来遵循指令,当给定适当的上下文作为前缀时,它们的行为与对齐的 LLM 非常相似。
![图片](https://image.jiqizhixin.com/uploads/editor/4ec39bc9-b600-4f4b-9bc5-c5d0e0a3c6eb/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/58284a34-7bfd-419f-a0d8-7b1ac71d2170/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/c758a483-44d3-4c52-a3e6-6116a811ea20/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/df289351-05f8-4f57-8f1e-6a56f1c294b7/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/61aff37b-3d1b-4e5d-adda-8fde1d11802d/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/e8f434bc-c8f7-4fcd-af2c-59ae67145f17/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/607d0b53-c549-4ab3-8797-bb1de9bf7a68/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/e182caf1-1fbf-41ea-9835-09efb54d1133/640.png)