Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

之江实验室发布

如何应对生成式大模型「双刃剑」?之江实验室发布《生成式大模型安全与隐私白皮书》

研究者们也开始意识到 ChatGPT 等生成式大模型面临着数据和模型方面的安全隐患。

今年 5 月初,美国白宫与谷歌、微软、OpenAI、Anthropic 等 AI 公司的 CEO 们召开集体会议,针对 AI 生成技术的爆发,讨论技术背后隐藏的风险、如何负责任地开发人工智能系统,以及制定有效的监管措施。国内的生成式大模型技术也正在发展之中,但是同时也需要先对安全问题进行相应的分析以便双管齐下,避免生成式大模型这把双刃剑带来的隐藏危害。

为此,之江实验室基础理论研究院人工智能与安全团队首次全面总结了 ChatGPT 为代表的生成式大模型的安全与隐私问题白皮书,希望能够为从事安全问题研究的技术人员指明方向,同时也为 AI 相关政策的制定者提供依据。

图片

白皮书链接: https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

生成式大模型的发展与重要应用

这份白皮书首先总结了 ChatGPT 与 GPT4 等生成式大模型的发展历程,以及其带来的各种令人惊叹的能力和社会变革、社会应用等。作者列举了 ChatGPT 和 GPT4 出现之前的 GPT-1、GPT-2、GPT-3、Google Bert 等模型的特点以及缺点,这些缺点与 ChatGPT 和 GPT4 的强大能力形成了对比;并且,ChatGPT 和 GPT4 之后又涌现了一大批的模型,包括 LLaMa、Alpaca、文心一言、通义千问等,它们的出现使得在人机交互、资源管理、科学研究、内容创作等应用领域出现了新的、强有力的工具。但同时也出现了包括数据安全,使用规范、可信伦理、知识产权以及模型安全方面的问题。

数据安全问题

白皮书提出,数据的安全和隐私是 ChatGPT 及 GPT4 等生成式大模型使用和研发过程中一个极为重要的问题,并从「显式」和「隐式」两个方面对其进行了分析。

在显式的信息泄漏中,首先,ChatGPT 等生成式大模型的训练数据在不经意间被转换成了生成内容,其中就包括了敏感和隐私的个人信息如银行卡账号、病例信息等。此外,ChatGPT 的数据安全和隐私隐患还体现在它对于对话框内容的存储,当用户在和 ChatGPT 互动时,他们的信息会以某些形式被记录和存储下来。

白皮书还提出了之前被大家忽略的隐式信息泄漏问题。首先,ChatGPT 体现出的数据安全和隐私的隐患是它可能通过对对话框数据的收集进行广告推荐,以及收集对话框数据进行推荐或者其他的下游机器学习任务,且 ChatGPT 有时候可能也会生成虚假的信息,以此来诱导用户泄漏一系列的数据。

使用规范问题

在白皮书中,作者提到 ChatGPT 和 GPT4 等生成式大模型强大的理解和生成能力虽然为我们的生活和生产带来了很多的便利,但是同时也存在更多的机会被恶意使用。在没有规范约束的情况下,恶意使用将带来很多的社会性问题。

其一,ChatGPT 和 GPT-4 等模型的强大能力使得某些别有用心的人想要将其作为违法活动的工具。例如用户可以利用 ChatGPT 来编写诈骗短信和钓鱼邮件,甚至开发代码,按需生成恶意软件和勒索软件等,而无需任何编码知识和犯罪经验。

其二,ChatGPT 和 GPT4 等生成式大模型没有把不同地区的法律规范考虑在内,在使用和输出的过程中可能会违反当地法律法规,因此需要一个强而有力的当地监管系统来检测其使用是否与当地法律法规相冲突。

其三,对于一些游离于安全和危险之间的灰色地带,ChatGPT 等生成式大模型的安全能力还没有得到增强。例如 ChatGPT 可能会输出一些诱导性的语句,包括跟抑郁症患者沟通时候可能会输出某些语句导致其产生轻生的心态。

可信伦理问题

ChatGPT 等生成式大模型以问答形态存在于社会层面,但其回复往往存在不可信,或者无法判断其正确的问题,会有似是而非的错误答案,甚至对现有社会伦理产生冲击。

白皮书指出,首先 ChatGPT 等生成式大模型的回复可能是在一本正经地胡说八道,语句通畅貌似合理,但其实完全大相径庭,目前模型还不能提供合理的证据进行可信性的验证。例如,ChatGPT 可能会对一些历史、科学、文化等方面的问题回答错误或者与事实相悖,甚至可能会造成误导或者误解,需要用户有自己的鉴别能力。

ChatGPT 等生成式大模型的伦理问题也在白皮书中被详细讨论。即使 OpenAI 等研发机构已经使用 ChatGPT 本身生成了他们的道德准则,但其中的道德准则是否符合我国国情的基本价值观原则,尚未有定论。作者提出其中存在传播有害意识形态、传播偏见和仇恨、影响政治正确、破坏教育公平、影响国际社会公平、加剧机器取代人类的进程、形成信息茧房阻碍正确价值观形成等问题。

知识产权问题

ChatGPT 等生成式大模型凭借强大的语言处理能力和低廉使用成本给社会方方面面带来便利的同时,也存在侵权的问题,对现存版权法体系带来冲击。例如 ChatGPT 生成的作品可能存在著作权争议:ChatGPT 虽然有着出色的语言处理能力,但是即使生成的作品符合知识产权的全部形式要求,ChatGPT 也无法成为著作权的主体,这是因为著作权主体享有权利的同时也要承担对应的社会责任,而 ChatGPT 只能作为用户强大的辅助生产力工具,它无法自主创作,更不要谈享有权利、履行义务的主体要求。

而且 ChatGPT 等生成式大模型仍无法独立创作,更没有自主思维和独立思考的能力,因而,ChatGPT 根据用户的输入生成的内容不符合作品「独创性」的要求。ChatGPT 用于模型训练的数据来自于互联网,不论多么高级的模型训练算法必然涉及到对现有智力成果的引用、分析、处理等,必然存在对他人合法知识产权的侵犯问题。

模型安全问题

从攻防技术角度来看,ChatGPT 等生成式大模型也存在着模型安全的问题。ChatGPT 本质上是基于深度学习的一个大型生成模型,也面临着人工智能安全方面的诸多威胁,包括模型窃取以及各种攻击引起输出的错误(例如包括对抗攻击、后门攻击、prompt 攻击、数据投毒等)。

例如,模型窃取指的是攻击者依靠有限次数的模型询问,从而得到一个和目标模型的功能和效果一致的本地模型。而 ChatGPT 已经开放了 API 的使用,这更为模型窃取提供了询问入口。又比如,ChatGPT 和 GPT4 作为一个分布式计算的系统,需要处理来自各方的输入数据,并且经过权威机构验证,这些数据将会被持续用于训练。那么 ChatGPT 和 GPT4 也面临着更大的数据投毒风险。攻击者可以在与 ChatGPT 和 GPT4 交互的时候,强行给 ChatGPT 和 GPT4 灌输错误的数据,或者是通过用户反馈的形式去给 ChatGPT 和 GPT4 进行错误的反馈,从而降低 ChatGPT 和 GPT4 的能力,或者给其加入特殊的后门攻击。

安全与隐私建议

最后,白皮书中对于安全和隐私等问题都进行了相应的建议,可作为之后技术研究者们的方向和政策制定者们的参考依据。

在保护隐私建议方面,白皮书提出要在增强原始数据中高敏感隐私信息的辨别和传播限制;在数据收集过程中利用差分隐私等技术进行隐私保护;对于训练数据的存储进行数据加密形式的安全保护;在模型训练过程中使用安全多方计算,同态加密以及联邦学习等技术进行数据隐私和安全保护;建立数据隐私评估和模型保护与安全认证体系,并且保护下游应用的隐私。

在模型安全问题的建议上,白皮书提出对安全与隐私信息的检测模型的训练;让不同的模型适用于不同国家的法律条款;以及针对各种对抗攻击进行防御性训练。

在模型合规问题上,白皮书提出进行可信输出的度量,信任值评价,增加模型输出的版权信息的查询功能。

总结来说,AI 生成式大模型的发展离不开安全,因此其安全问题将作为下一个技术点,值得众多研究者去攻克。而安全也是社会稳定的保障,有关部门需要尽快进行政策的制定。
入门
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

联邦学习技术

如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,这部分研究被称为「联邦学习」(Federated Learning)。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

推荐文章
暂无评论
暂无评论~