爆火Llama 2一周请求下载超15万，有人开源了Rust实现版本

前些天，Meta 发布的免费可商用版本 Llama 2，可谓在 AI 界引起了巨大的轰动。

Meta 一口气发布了多个模型系列：包含 70 亿、130 亿和 700 亿三种参数变体，此外还训练了一个 340 亿参数变体。

公布的测评结果显示，Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。

不同于 ChatGPT、GPT-4 等闭源模型，由于 Llama 2 可用于商业目的，一经发布就吸引了一大波 AI 研究人员的注意。由于任何人都可以通过在 Meta 网站上填写表格来请求下载 Llama 2，根据官方消息，自发布以来，Llama 2 一周内就有超过 15 万次的下载请求。Meta 对于这一数字的描述是难以置信，并且用户请求数量还在增长。

Llama 2 请求地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

来源：https://ai.meta.com/blog/llama-2-update/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_content=card

随着 Llama 2 的逐渐走红，大家对它的二次开发开始流行起来。前几天，OpenAI 科学家 Karpathy 利用周末时间开发了一个明星项目 llama2.c，借助 GPT-4，该项目仅用 500 行 C 语言就实现了对 Llama 2 baby 模型的推理。该项目可以在苹果 M1 笔记本上每秒输出 98 个 token。

刚刚，又有一个和 LLaMA 2 相关的项目 llama2.rs 开始得到大家的关注，项目作者是来自康奈尔大学的助理教授 Alexander Rush。

总结而言，该项目主要是用 Rust 实现 Llama2，结果表明，用这种方式实现的 LLaMA 2 非常安全，而且很快。值得一提的是，该项目用到了 Karpathy 的 llama2.c 项目的 Rust 端口。

项目地址：https://github.com/srush/llama2.rs

深度学习三巨头之一的 Yann LeCun 也宣传了一波：

接下来我们看看，如何使用 llama2.rs。

构建 llama2.rs 非常简单，只需一行代码：

> cargo build --release

运行程序如下，显示 tok/s 为 0.92618316：

> target/release/llama2_rs ../llama2.c/llama2_7b.bin 0.0 11 "
The only thing"The only thing that is certain in life is change.
achieved tok/s: 0.92618316

作为对比，下面是作者在电脑上运行原始 llama2.c，显示 tok/s 为 0.139889：

> ./run llama2_7b.bin 0.0 11 "
The only thing"The only thing that is certain in life is change.
achieved tok/s: 0.139889

在谈到为何开发这一项目时，Alexander Rush 表示，自己只是想做一些关于 Rust 的练习，与此同时，学习该如何进行程序移植，比如内存映射、并行处理和一些数学技巧。

接下来，Alexander Rush 打算尝试移植 minitorch，感兴趣的读者可以关注一下了。

入门Llama 2 Rust

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科