David Schor作者「wikichip」翻译自

模拟AI芯片怎么玩?Mythic公布了他们的新进展

说到人工智能硬件,我们向来事无巨细。WikiChip密切关注的一家公司是Mythic。这家公司还没有完全公开他们的架构和产品,但一些细节已经开始慢慢浮出水面。在最近的人工智能硬件峰会上,该公司的创始人兼首席执行官Mike Henry)绍了该芯片的最新情况。

这家位于奥斯汀的初创公司由Mike Henry和Dave Fick于2012年创立,最近完成了7000万美元的B轮融资,总融资额刚刚超过8500万美元。如今,公司员工已增至110人。

Mythic是一家模拟公司。但是,在我们探讨细节之前,必须指出,它们目前仅专注于推理,无论是在数据中心还是在边缘。到2024年,这两个市场的TAM(Total Available Market总体有效市场)

预计将达到250亿美元,这就是为什么这里有如此多的关注点的原因。从长远来看,Mythic计划针对大众市场的消费品和汽车产品。

把所有东西都放在芯片上,放在闪存里

随着模型准确性的提高,其大小也会随之增加。如今,模型达到了数亿个参数,甚至达到数十亿。最重要的是,通常实时地需要确定性行为,例如一致的帧速率和延迟。这就是Mythic的作用。Mythic的论点很简单:将足够的存储与大量并行计算单元打包在芯片上,以最大化内存带宽并减少数据移动的能力。但是有一个转变——这就是Mythic的原始方法的闪光点——该公司抛弃了传统的SRAM,转而使用更密集的闪存,此外,Mythic还计划在模拟环境下直接在内存中进行本地计算。

但是为什么是闪存?答案很简单:因为它密度大,功耗低,而且便宜,几乎比SRAM的密度大两个数量级。

理论上,Mythic的芯片更像内存,而不是传统的CMOS。从更长的路线图来看,随着SRAM  bit cell的扩展变得越来越困难,它带来的好处也越来越深远。总的来说,从每美元的性能、每单位成本的密度和每瓦特的性能来看,这是一个潜在的巨大胜利。

多年来,我们看到了一大堆路线图,当他们开始谈论未来10年的时候,很容易忽视它。但对Mythic来说,有一些不同之处。值得特别指出的是,目前Mythic正在研究40纳米的嵌入式闪存。他们有一个相当清晰的28nm和22nm的路径,因此,粗略地说,这个图的一半是基于今天已经发布的现有节点。

Mythic公司的首席执行官Mike Henry似乎相信他们可以继续这样做,但是尽管正在进行一些工作以继续扩展到16/14纳米节点,还不清楚它是否会上市。
许多业内人士认为,嵌入式闪存在22纳米的时候遭遇了瓶颈。在与Mythic的一次简短交谈中,他们告诉我们,他们并没有与嵌入式闪存结合,如果其中一项新兴技术(如多位ReRAM、PCM或NRAM)作为一种强大的替代技术出现,他们肯定会考虑迁移到这种技术。

IPU

Mythic的芯片被称为IPUs或智能处理单元。在外设方面,该芯片非常简单,由PCIe的x4通道和DNN平铺网格组成,PCIe是负责整个芯片管理的基本控制处理器。由于芯片的设计是为了存储整个模型,没有DRAM。

Mythic表示,由于这是一个基于tiles的设计,如果有需求,他们可以通过添加直接的音频/视频和各种其他接口来进一步定制。在去年的Hot Chip上,Mythic谈论的是一款5000万权值(weights)的初始产品。在最近的人工智能硬件峰会上,Mike Henry表示,初始产品权值将达到1.2亿,这比最初的计划要多很多。在富士通的40nm制程中,近标线全尺寸芯片应具有约300M权值的容量,因此120M仍然是一个相当大的芯片。

IPU的作用是作为一个连接到主机的PCIe加速器。对于大型模型或多个模型,可以使用多个IPU。模型最初被加载到IPU中,并保持静止。没有DRAM和编程闪存相对较慢,因此模型应该能够适应芯片与多个应用映射到同一芯片。这对于许多边缘应用程序来说非常典型。在正常操作下,主机CPU将数据发送到IPU,并通过PCIe端口接收结果。
IPU总体设计(WikiChip)
该芯片由DNN tiles构成网格。在一个tiles里面是一个模拟矩阵乘法器,它建立在一个巨大的嵌入式闪存池的顶部,用来计算权值。嵌入式闪存单元使用浮动栅极通过存储电荷、控制阈值电压来存储位。晶体管支持256级电导(G=1/R)之间的完全关闭和打开状态,Mythic用它来表示8位值。

通过将所有神经元的权值映射到闪光晶体管上,他们可以利用欧姆定律自然地进行矩阵乘法运算。实现的方法是使用闪光晶体管将权值表示为可变电阻。这在计算之前执行一次。使用8位DAC,输入矢量作为一组电压通过可变电阻。根据欧姆定律,输出电流是输入数据与权值向量(I = V x G)相乘的结果。最后,一组adc将产生的电流转换回数字值,成为输出矢量。ReLu和其他各种非线性操作也由adc在那个时间点完成。

围绕这个组件还有一些额外的逻辑。不管工作条件如何,DAC/ADC封装器都会进行补偿和校准,以获得精确的8位计算—类似于今天的图像传感器所做的工作。
模拟矩阵乘法(wikichip)
需要指出的是,这个方案没有实际的内存访问。矩阵相乘是在内存中完成的,利用欧姆定律,所以没有权值访问能量。使用固定权值时,也没有批量大小或其他特殊处理。虽然固定容量可能会带来一些问题。顺便说一下,它们支持神经元稀疏,但不支持权值稀疏性。

有趣的是,Mythic说,对于他们的第一代,为了加快开发和上市时间,他们不会使用DAC作为输入。相反,他们使用一个数字近似电路,由此分别计算每个输入位,然后累加结果。他们将在将来用DAC消除这种情况,这有望为他们提供一些很好的改善。

半导体行业观察
半导体行业观察

最有深度的半导体新媒体,实时、专业、原创、深度,30万半导体精英关注!专注观察全球半导体最新资讯、技术前沿、发展趋势。

产业MythicAI芯片
相关数据
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

封装器技术

智能代理和外部知识源之间的接口称为封装器。 封装器在智能代理使用的知识表示和外部知识源待处理的查询之间进行转换。 通常,封装器被封装器通常被用来使得通过一个智能代理可以对多个知识源进行相同的查询。 Wrapper方法寻找所有特征子集中能使后续学习算法达到较高性能的子集,在特征选择阶段,wrapper可以看做:搜索方法+学习算法。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

推荐文章
暂无评论
暂无评论~