Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

中国人民大学高瓴人工智能学院AIGC 主题论坛,共话「从无到有」新范式

作为第一个真正意义上进入公众视野的 AI系统,ChatGPT 在全球掀起了巨大的人工智能生成内容(AIGC)浪潮,与去年以开源形式引爆 AI 艺术创作的 Stable Diffusion 等模型结合,AI 系统已然具备了生产力改革能力,给学术界及产业界都带来了新的挑战与机遇。

2023 年3月12日,中国人民大学高瓴人工智能学院举办了人工智能前沿联合工作坊,以「AIGC:从不存在到存在」(AIGC:From Beingless to Being)为题,邀请了国内外在相关领域深耕的知名学者、业界专家参会交流,共同探讨对话生成模型、多媒体内容生成的技术发展趋势,碰撞出激烈的思想火花。

中国人民大学高瓴人工智能学院执行院长文继荣教授指出,这一波大模型的趋势,尤其是ChatGPT,已经为后期的人工智能发展,尤其是通用人工智能发展指出了较为清晰的路径,代表着研究范式的改变。但是,大模型自身还有很多发展的方向,比如多模态、与物理世界的交互等,学术界如何在没有开源的情况下,面对困难,找出解决方案,是未来的必由之路。

哈尔滨工业大学计算机学院的车万翔教授在报告中指出,大模型是一种全新的知识库,模型把从训练数据中获得的知识存储在神经网络的参数中,GPT-3 做到了对大量知识的存储,而ChatGPT更进一步,比较好的解决了对这些知识的调用,这也是 ChatGPT 相比 GPT-3引发更多关注的一个重要原因。车教授表示,纵览 AI 技术发展,从小规模专家系统(1950-1990)到浅层机器学习(1990-2010),再到深度学习(2010-2017),预训练语言模型(2017-2023),每一代范式的迭代时间似乎都是前一代的一半,按此规律,最新一代的技术范式 ChatGPT有可能在 2025 年左右迎来升级换代。车教授最后总结,ChatGPT背后的原理值得探索,大模型自身还有很大的研究空间,接下来多模态、具身智能、如何让模型与人类社会互动,都是NLP 领域具有巨大发展潜力的方向。

中国科学院自动化研究所研究员张家俊分析了ChatGPT 等语言大模型的通用能力。他表示将来的NLP 研究可能不按照任务划分,而是按照技术来划分,NLP 和图像、语音之间的界限也可能会越来越模糊,最终达到统一的多模态感知。但是,任何大模型的通用性都有局限性,几乎不可能实现面向无限任务的通用能力。张家俊研究员提出了 ChatGPT在通用性方面一些可能的拓展,例如让语言模型学会与其他模型交互,与工具交互,以及与环境交互。他们的团队还在多模态对话上进行了一定的探索,通过模型交互实现了通用多模态对话。

新浪微博资深算法专家张俊林博士介绍了大型语言模型研究重心的变迁,近五年来 LLM 遵循三条主要技术路线:(1)以 Encoder 为主干、重在语言理论的 BERT 模式;(2)以 Decoder为主干、重在语言生成的 GPT 模式;(3)综合前两者的 T5 模式,这也是国内 LLM 的主流技术路径。通过比较众多模型,张俊林博士指出,Scaling Law说明模型规模越大,数据越多,训练越充分,LLM 效果越好,但 Chinchilla模型证明,在数据充足的前提下,模型规模似乎可以不用那么大,目前的 LLM 可能存在一定的参数空间浪费。因此,一个值得探索的路径是:相比一上来就做超大模型,先做小模型,在充分利用模型参数后,再继续做大。

在接下来的论坛上,与会嘉宾带来了对话生成和多媒体内容生成的更多进展。中国人民大学高瓴人工智能学院长聘副教授严睿分享了智能人机对话系统学习方法探讨与思考。美国加州理工学院长聘轨助理教授宋飏介绍了他在对数概率密度函数的梯度建模方面的工作。百度研究员周航博士介绍了2D 虚拟人使用的相应技术。字节跳动智能创作XR 技术负责人文石磊介绍了XR 方向的AIGC 技术与应用。北京航空航天大学计算机学院教授刘偲介绍了 AI + Music 相关的进展。中国人民大学高领人工智能学院准聘助理教授李崇轩介绍了快速、可控、多模态的扩散概率模型Analytic-DPM(获得ICLR 2022 杰出论文奖)。

研讨环节,与会学者围绕AIGC相关议题展开了热烈讨论。AIGC 指出了一条比较清晰的通用人工智能发展道路,在将来需要进一步结合多模态、具身智能等进一步发展,实现真正的大模型。在机遇与挑战并存的当下,无论是学术界还是工业界,都需要找准自身的位置,积极参与其中,以更开放和乐观的心态拥抱变化。


产业
暂无评论
暂无评论~