发展至今，人工智能推理有两种趋势，目前只有少数几家公司深入其中。
一个趋势将我们带回到模拟计算引擎的未来，模拟计算引擎可以大大降低功耗和潜在成本，但对复杂性的创建和避免会产生一些影响。很快就会有更多信息。
第二个趋势是，任何公司进入推理市场时都会采用类似的方法，通过对数据中心和边缘推理的双重关注来对冲他们的赌注。更具体地说，在边缘设备中使用相同的体系结构，因为它可以像加速器一样塞进PCIe。
虽然我们谈论AI推理的趋势，但请记住，在数据中心，CPU仍然是王者。卸载加速模型尚未在工作流程的这个特定部分中流行，但随着训练有素的模型复杂性（和ROI）不断增长，它将变得有意义。足够让大公司去建立自己的公司。也就是说，除非有人这样做，否则在经济上和技术上都是不可行的。
其中一家属于融资型的少见的推理初创公司刚刚获得了很多流动资金，以资助他们进军数据中心并应对上述挑战。我们去年介绍的Mythic，宣布了3000万美元的B-1系列赛，总筹资额达到8600万美元。
如果您必须跳过我们的体系结构简介，那么这个简短的故事将从2013年开始，这家公司就开始着手进行数十年的模拟设备方面的大量工作，并声称已经完善了一些极为复杂的模拟到数字（然后再返回）电路，以及对复杂神经网络推理操作的优化（CNN，RNN，着眼于变压器网络和谷歌和其他超尺度研究实验室提出的人工智能的其他新方法）。
有人可能会说，Mythic的数据中心野心会受到对边缘设备的过分强调的影响，而边缘设备才是真正的主流机会所在。尤其是因为该市场主要由超大型计算机组成，这些计算机要么测试一个新设备需要足够长的时间，以决定自己构建一个新设备，要么在他们的芯片发现这些数据中心的内部之前，将一家初创企业置于资金短缺和开发失败的岌岌可危的境地。
虽然可以在新兴的边缘主流中保持利润率，但数据中心的思维共享潜力是香饽饽。这是几家旨在培训和推理的人工智能芯片初创公司都在寻求的，但考虑到潜在大客户的数量有限、他们倾向于按规模建造和购买，延长了硬件鉴定时间，很难说这些需求中是否有一个得到了很好的满足。需要大量的软件集成，对高级路线图的需求……直截了当地说，数据中心可能只是一个遥远的希望，即使是对最好的技术和开发来说。
但是，正如Mythic首席执行官迈克·亨利（Mike Henry）告诉我们的那样，有很多方法可以绕过那些阻碍他们获得大客户的障碍。而且他认为他们或许能够做出让最大公司无法拒绝的推断。嗯，更准确地说，是他们不愿意拒绝，因为从开发和成本的角度来看，这是没有意义的。
“关键是要有一个真正与众不同的东西，那就是那些超大型计算机无法自行建造，如果他们不得不这么做的话，一定是成本足够低在驱使他们，”亨利说，他确实有这样一个观点。“这些公司拥有大型系统和硬件团队，但他们擅长构建大规模数字集成和系统。除了一些网络通信结构之外，我还没有看到这些公司生产出任何复杂的模拟芯片。“这并不是说团队在这方面并不努力，但正如亨利解释的那样，需要花费数年的时间来完成所有这些工作。模拟/数字转换是正确的，更不用说其设备在边缘或数据中心工作所需的许多其他优化。
“如果你看一个相对简单的模拟设备，比如德州仪器的汽车传感器，芯片上有8个模数转换器。它们具有高采样率，8-16位精度，传感器上可能有8个芯片，“他说。“我们的问题是把大约22000个这样的芯片，同时保持大致相同的功率预算。这些转换器在芯片上的规模远远大于之前的任何转换器。而且我们必须弄清楚如何使它们变得小而薄，以便在不影响功耗预算的情况下将它们与闪存排列在一起。”
训练一个模拟设备进行数字训练的神经网络并不是一项小任务。亨利说，大多数深度学习工作的复杂数据流根本不适合模拟。“我们必须构建大量的数字环绕结构，以便为这些网络提供可编程和灵活的架构。当我们考虑接下来几年需要什么时，我们意识到它在计算方面有很多原始的暴力矩阵数学能力，没有任何特定的网络加速器，而是内置的数字转换能力数据输入和输出以运行CNN，RNN，张力和变压器网络以及那些新事物。我们花了五年多的时间，可以跟上拓扑结构的变化。但关键是模拟到数字（反之亦然）。”
“人工智能是半导体行业所知的一种全新的工作量。它注重低精度，内存密集，从控制流的角度来看，计算很简单。使用现有内存进行模拟计算可以解决摩尔定律无法解决的瓶颈。”
这一点很难说。谷歌、Facebook、亚马逊和其他一些公司当然可以找到并利用专业知识来构建模拟设备，但是为什么当复杂性和提升时间很长时，他们会为驱动和设备本身的重新改造而烦恼，现有的且相对便宜的存储技术意味着成本/收益开始看起来有些不平衡。唯一的优势是完全控制架构以实现开发速度软件的进步，但即使这样也是一个延伸。
另一方面，这个星球上有很多模拟的专业知识，很多容易获取的内存，制作推理芯片可以成为任何人的游戏，在这基础上，事情将变得更容易，那些初创公司可以采用与Mythic相同的双市场方法。但这只是商业和竞争的工作方式，正如我们在最近的一个风投小组所听到的，推理仍然是任何人都可以玩的游戏。
“当然，在研究生院，有人可以组装一些显示模拟计算的电路，但这与大规模生产相差甚远；这并不是把它运送到一堆设备中，或者在TensorFlow中加载经过训练的网络。最困难的部分在于加载精度可忽略不计并确保数百万芯片的一致性，”亨利补充道。
Mythic在过去几年中所延伸的研究和开发风险可以通过强调市场仍然在很大程度上未定义且可能对某些利基市场具有爆炸性的边缘来缓解。这使得对双重策略的新一轮投资听起来不如那些注入AI加速器的资金那么可怕，AI加速器在框架和事实上的设备改变很久之后才最终进入市场（正如我们在培训加速器时看到的）。
我们非常希望听到一批全新的芯片创业公司试图从边缘剥离。此外，我们还希望听到一些知名公司几十年来在模拟设备领域取得了巨大的成就，并最终有机会利用当年最热门的工作量来激活他们的业务。像这个领域中的许多其他事情一样，市场上的“解决方案”将远远超过那些复杂到可以保证任何事情都不受限制的人。但是，如果问题足够持久，那些植根于人工智能的问题会推动硬件的真正战斗。
基于这点，最大的模拟人工智能推理芯片故事来自IBM，它也在开发基于8位相变存储器的设备。
Mythic的故事也告诉我们，这是关注世界记忆制造者正在发生的事情的好时机。虽然数量不多，但在Mythic的新闻中，见到了业界巨头美光公司（Micron），美光风险投资公司（Micron Ventures）也加入了这轮融资。
