Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

ChatGPT构建离不开PyTorch,LeCun言论引热议,模型厂商不开放权重原来为此

其实,开源、闭源各有其道理,关键看如何抉择。

这两天,有关开源的话题又火了起来。有人表示,「没有开源,AI 将一无所有,继续保持 AI 开放。」这个观点得到了很多人的赞同,其中包括图灵奖得主、Meta 首席科学家 Yann LeCun。

想象一下,如果工业界的 AI 研究实验室仍然封闭、没有开源代码,并为所有内容申请和执行专利,那么今天的 AI 行业将会变成什么样子?

想象一个没有 PyTorch 的世界,并且 Transformer、ResNet、Mask-RCNN、FPN、SAM、DINO、seq2seq、wav2vec、内存增强网络、Tansformers、BatchNorm、LayerNorm、Adam、去噪自动编码器、联合嵌入架构以及大量的 SSL 方法都被施加专利,AI 行业又会变成什么样子?

图片

图源:https://twitter.com/ylecun/status/1735704308891484248

LeCun 观点引起更多人共鸣,有人认为,「如果谷歌不开源 Transformers,OpenAI 甚至发明不了 GPT。真是虚假的『OpenAI』。」

图片

图源:https://twitter.com/ai_for_success/status/1735705570500640871

LeCun 还不忘说一句,「ChatGPT 的构建也离不开 PyTorch。」

图片

这就出现了一个值得探讨的问题,为什么像 OpenAI、Anthropic 这样的公司不愿意开源大模型权重呢?外媒 VentureBeat 撰写了一篇深度长文,采访了一些高管人士,剖析了个中缘由。

我们知道,在机器学习尤其是深度神经网络中,模型权重被认为至关重要,它们是神经网络学习和做出预测的机制。训练后权重的最终值决定了模型性能。

同时,非盈利机构兰德公司的一项研究指出,虽然权重不是大模型需要保护的唯一组成部分,但它们与模型的大量计算、收集和处理的训练数据和算法优化息息相关。获取权重可以让恶意行为者以非常小的训练成本来利用完整的模型。

图片

论文地址:https://www.rand.org/pubs/working_papers/WRA2849-1.html

大模型公司更加注重权重安全。Jason Clinton 是 Anthropic 首席信息安全官,他的主要任务是保护自家模型 Claude 的 TB 级权重文件免遭他人之手。「我可能将自己一半时间用来保护权重文件。这是我们最为关注和优先考虑的事情,也是投入资源最多的地方」,他在 VentureBeat 的采访中这样说道。

模型权重可不能落入「坏人」之手

Jason Clinton 强调,有人认为公司对模型权重的担忧是因为这些权重代表着极高价值的知识产权。其实不然,Anthropic 更重要的考虑在于防止这些强大技术落入「坏人」之手,产生不可估量的负面影响。

对谁能获取基础模型权重深表担忧的远不止克林顿一人。事实上,白宫最近发布的关于「安全、可靠地开发和使用人工智能」的行政命令就要求基础模型公司向联邦政府提供文件,报告模型权重的所有权、占有情况以及采取的保护措施。

OpenAI 也表达了类似的立场。在 2023 年 10 月的一篇博文中,OpenAI 表示正在继续投资网络安全和内部威胁防护措施,以保护专有和未发布的模型权重

图片

40 种攻击向量正在被执行

Rand 的报告《Securing Artificial Intelligence Model Weights》由 Sella Nevo 和 Dan Lahav 共同撰写。报告强调了人工智能模型权重面临的安全威胁和未来风险。

Nevo 在接受 VentureBeat 采访时表明,当前最大的担忧不是这些模型现在能做什么,而是未来可能发生什么,尤其是在国家安全方面,例如被用于开发生物武器的可能性。

该报告的目的之一是了解行为者可能采用的攻击方法,包括未授权的物理访问、破坏现有凭证和供应链攻击等。报告最终确定了 40 种不同的攻击向量,并强调它们不是理论上的,而是已有证据表明它们正在被执行,甚至在某些情况下已被广泛部署。

开放基础模型的风险

需要注意的是,并非所有专家都能在人工智能模型权重泄露的风险程度以及需要限制的程度上达成一致,尤其是在涉及开源人工智能时。这再次印证了人工智能领域治理的复杂性和诸多挑战。

斯坦福大学人工智能学院政策简报《Considerations for Governing Open Foundation Models》强调,尽管开放基础模型(即权重广泛可用的模型)可以对抗市场集中、促进创新并提高透明度,但其相对于封闭模型或现有技术的边际风险尚不明确。

图片

简报链接:https://hai.stanford.edu/issue-brief-considerations-governing-open-foundation-models

这份简报以事实为基础,没有刻意煽动恐惧,得到了人工智能治理高级顾问 Kevin Bankston 的「好评」。

图片

该简报以 Meta 的 Llama 2 为例,该模型于 7 月发布,其模型权重广泛可用,使得下游修改和审查成为可能。虽然 Meta 公司曾承诺确保其未发布模型权重的安全,并限制能够访问模型权重的人员范围,但在 2023 年 3 月 Llama 的模型权重泄露还是让人印象深刻。

乔治城大学人工智能评估高级研究员 Heather Frase 指出,开源软件和代码历来都非常稳定和安全,因为它可以依靠一个庞大的社区。在强大的生成式人工智能模型出现之前,普通的开源技术造成危害的几率也十分有限。她提到,与传统的开源技术不同,开源模型权重的风险在于,最可能受到伤害的不是用户,而是被故意当作伤害目标的人,例如深度伪造骗局的受害者。

安全感通常来自开放

不过,也有其他人表达了相反的观点。在接受 VentureBeat 采访时,Hugging Face 机器学习工程师 Nicolas Patry 强调,运行任务程序固有的风险同样适用于模型权重,但并不意味着应该封闭。

当谈到开源模型时,他们的想法是开放给尽可能多的人,比如最近 Mistral 的开源大模型。Nicolas Patry 认为,安全感通常来自开放,透明意味着更安全,任何人都可以查看它。封闭的安全会让人们不清楚你在做什么。

VentureBeat 同样采访了开源框架 PyTorch Lightning 背后公司 Lightning AI 的首席执行官 William Falcon,他认为如果公司担心模型泄露,那就为时已晚。开源社区追赶的速度难以想象,并且开放研究可以衍生当前 AI 网络安全所需的各种工具。在他看来,模型开放程度越高,能力越民主化,可以开发更好的工具来对抗网络安全威胁。

对于 Anthropic 而言,该公司一方面寻求支持领域研究,另一方面要保证模型权重的安全,比如聘用优秀的安全工程师。

原文链接:https://venturebeat.com/ai/why-anthropic-and-openai-are-obsessed-with-securing-llm-model-weights/
产业Yann LeCun
相关数据
自动编码器技术

自动编码器是用于无监督学习高效编码的人工神经网络。 自动编码器的目的是学习一组数据的表示(编码),通常用于降维。 最近,自动编码器已经越来越广泛地用于生成模型的训练。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

推荐文章
暂无评论
暂无评论~