产业资讯方案大厅机构大厅

Snap ML

IBM

产品描述

为机器学习提供了非常快的训练速度,计算成本更低、能源消耗更少和开发速度更快。

1.特性 Snap ML 采用最先进的算法和最优的系统设计,充分利用硬件资源,从而提供了更快的训练速度。Snap ML 的三个主要特性如下: 分布式训练:Snap ML 是一个可以自由伸缩的数据并行框架,训练数据集可以超出单台机器的内存容量,这对于大型应用程序来说至关重要。 GPU 加速:Snap ML 实现了一些特殊的程序,可以充分利用 GPU 的并行特性,同时在 GPU 内存中保留数据,减少数据传输开销。 稀疏数据结构:大部分机器学习数据集都是稀疏的,为此,他们对稀疏数据结构的相关算法进行了优化。 2.技术:Snap ML 实现了多个层级的并行,以便在集群的多个节点上分摊工作负载,充分利用加速器单元和计算单元的多核并行能力。 第一层并行是指跨集群多个工作节点运行。训练数据分布在多个工作节点上,通过网络接口连接到一起。因为有了这种数据并行能力,才能够打破单台设备的内存限制,训练大规模的数据集。 第二层并行,在每个工作节点上,可以通过将工作负载分摊给主机和加速器单元来获得并行能力。不同的工作负载可以同时被执行,工作节点的硬件资源得到了充分利用。 第三层并行,为了更进一步有效利用计算资源,Snap ML 实现了一些特殊的程序,可以充分利用现代 GPU 的并行能力,同时也开发了一些多线程代码,用于处理 CPU 的工作负载,这就实现了第三个层级的并行。

研发机构

是美国一家跨国科技公司及咨询公司,总部位于纽约州阿蒙克市。IBM主要客户是政府和企业。IBM生产并销售计算机硬件及软件,并且为系统架构和网络托管提供咨询服务。截止2013年,IBM已在全球拥有12个研究实验室和大量的软件开发基地。IBM虽然是一家商业公司,但在材料、化学、物理等科学领域却也有很高的成就,利用这些学术研究为基础,发明很多产品。比较有名的IBM发明的产品包括硬盘、自动柜员机、通用产品代码、SQL、关系数据库管理系统、DRAM及沃森。