![](https://cdn.jiqizhixin.com/assets/code-modal__close-c158a550a9982aa92801c046548d72945aa912de6f2a012513132fdc02dfc379.png)
Auto Byte
专注未来出行及智能汽车科技
![](https://cdn.jiqizhixin.com/assets/auto-byte__qr-code-89b58c6d2398c12b7def0f2538cac5ff08727062918f9bad97f25b1d61aac000.png)
微信扫一扫获取更多资讯
![](https://cdn.jiqizhixin.com/assets/code-modal__close-c158a550a9982aa92801c046548d72945aa912de6f2a012513132fdc02dfc379.png)
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
![](https://cdn.jiqizhixin.com/assets/science-ai__qr-code-a12e4635c8d3968645bd2b6371981b65b0d21058c5a2c216aef80015b4eb7e43.png)
微信扫一扫获取更多资讯
4090成A100平替?上交大推出推理引擎PowerInfer,token生成速率只比A100低18%
PowerInfer 使得在消费级硬件上运行 AI 更加高效。
上海交大团队,刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。![图片](https://image.jiqizhixin.com/uploads/editor/ad0d4b3c-e0fa-413b-a4cb-57c0b3a979c6/640.png)
项目地址:https://github.com/SJTU-IPADS/PowerInfer![图片](https://image.jiqizhixin.com/uploads/editor/703e80ce-c715-4cbd-9bc2-bfbddbd33242/640.png)
论文地址:https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上,PowerInfer 对比 llama.cpp 实现了 11 倍加速!![](https://image.jiqizhixin.com/uploads/editor/24475280-aabc-45ab-9780-80147f455e57/1703066437913.png)
PowerInfer 和 llama.cpp 都在相同的硬件上运行,并充分利用了 RTX 4090 上的 VRAM。在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中,PowerInfer 的平均 token 生成率为 13.20 个 token / 秒,峰值为 29.08 个 token / 秒,仅比顶级服务器级 A100 GPU 低 18%。![图片](https://image.jiqizhixin.com/uploads/editor/892ef8c0-0463-4264-872b-1e71e1c919df/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/71d0e8f2-4c7d-4ee4-95b7-061fbc814a12/640.png)
具体来说,PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活(hot-activated)神经元被预加载到 GPU 上以便快速访问,而冷激活(cold-activated)神经元(大部分)则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用,即将支持 Mistral-7B。PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性,其特征是神经元激活中的幂律分布。![图片](https://image.jiqizhixin.com/uploads/editor/4980b4b3-e6b3-4cbc-a643-0446eb448929/640.png)
下图 7 展示了 PowerInfer 的架构概述,包括离线和在线组件。![图片](https://image.jiqizhixin.com/uploads/editor/e831a291-0ca2-40d0-be38-c37ab61c60f3/640.png)
这种分布表明,一小部分神经元(称为热神经元)跨输入一致激活,而大多数冷神经元则根据特定输入而变化。PowerInfer 利用这种机制设计了 GPU-CPU 混合推理引擎。![图片](https://image.jiqizhixin.com/uploads/editor/6b4d7513-894d-400b-a6cd-10ef9dfac57c/640.png)
PowerInfer 进一步集成了自适应预测器和神经元感知稀疏算子,优化了神经元激活和计算稀疏性的效率。看到这项研究后,网友激动的表示:单卡 4090 跑 175B 大模型不再是梦。![图片](https://image.jiqizhixin.com/uploads/editor/7fc1fee7-53b1-4914-b227-63dfa6711537/640.png)