机器学习优化公司 OctoML 为苹果的 M1 芯片优化了 Apache TVM
得益于苹果新的 M1 芯片中的 16 核神经引擎,快速专用的机器学习硬件将在负担得起的 Mac 服务器,台式机和笔记本电脑中变得司空见惯。今天,机器学习优化公司 OctoML 宣布,在 M1 芯片上,它已经比苹果最新的 Core ML 4 的性能提高了近 30%,这是一个较为明显的进展,OctoML 将其描述为「仅仅是 M1 性能改进故事的开始。」OctoML 使用了 Apache TVM 自动调度程序来优化 HuggingFace 基于 BERT 的模型,该模型广泛用于自然语言处理。与 Core ML 4 相比,OctoML 的基于 TVM 的机器学习堆栈将 GPU 延迟减少到 42 毫秒,而 Apple 的是 59 毫秒,而 CPU 延迟从 Apple 的 139 减少到 108 毫秒-分别增加了 29%和 22%。(VentureBeat)