随着人工智能的迅猛发展，尤其是在自然语言处理（NLP）领域，大型语言模型（LLM）展示了巨大的变革潜力。这些模型正在改变我们的工作和交流方式，并在各种计算设备上展现出广泛的应用前景。然而，LLM巨大的模型给它在智能手机、物联网设备和车载系统等边缘设备上的应用带来了不小的挑战。我们的竞赛旨在推动LLM在资源受限的边缘设备上的性能、效率和多任务处理能力的极限。
竞赛背景：虽然LLM具有巨大的应用潜力，但其庞大的参数对边缘设备的资源提出了严峻要求。例如，一个10B参数的LLM模型，即使经过量化处理，也需要高达20GB的内存，而大多数智能手机的内存容量远远达不到这一需求。此外，LLM的高能耗也是一大难题，通常一部满电的智能手机在使用LLM进行对话时，仅能维持不到两小时。
主要挑战：
- 内存需求：LLM推理需要大量内存，即使是高端智能手机也难以承载。
- 能耗问题：LLM推理过程中的高能耗对智能手机的电池寿命构成挑战。
- 性能损失：在实现高压缩比的同时保持模型性能，是现有技术的一大难题。
- 离线功能缺乏：大多数LLM需要互联网连接，这限制了其在网络不稳定环境中的应用。
竞赛目标：此次竞赛旨在解决上述挑战，并推动LLM在边缘设备上的实际应用。我们邀请来自各个领域的研究人员、工程师和行业专业人士参与，共同设计系统、硬件和算法，以实现高性能LLM在边缘设备上的部署。
参与我们的NeurIPS边缘设备LLM挑战赛！ 我们诚邀各领域的专家参与NeurIPS挑战赛，展示LLM在边缘设备上的能力，比赛前三名将分享30万的总奖池。
竞赛赛道：
- 压缩挑战：展示如何在不显著损失性能的情况下压缩预训练LLM。
- 从零训练挑战：从零开始训练专为边缘设备设计的LLM，优化训练过程以创建高效模型。
参与理由：
- 赢得大奖：总奖金30万的奖金池。
- 推动创新：为LLM的前沿研究做出贡献。
- 拓展人脉：与领域内的领先专家和同行建立联系。
- 展示才华：在顶级AI会议上获得认可。
重要日期：
- 报名开始：2024年6月25日
- 报名截止：2024年7月25日
- 提交截止：2024年10月25日
- 结果公布：2024年11月20日
- 线下Workshop：2024年12月11日
如何参与：
- 注册：在竞赛官网通过Google Forms注册， 竞赛官网。
- 选择赛道：选择压缩挑战、从零训练挑战或两者都选。
- 提交解决方案：在截止日期前提交你的模型。
准备好接受挑战了吗？ 立即注册并开始准备你的竞赛！更多信息和注册请访问：
让我们一起推动LLM在边缘设备上的发展。祝你好运，期待在NeurIPS 2024与你相见！🌟
NeurIPS边缘设备LLM挑战赛组织者：
