2021/11/09 14:36

余备专栏

EDA顶会ICCAD 2021落幕，AI设计芯片趋势明显，港中文团队获Front-End最佳论文奖

目前芯片是备受关注的研究领域，EDA 是重点方向之一。中国在 EDA 领域薄弱，但港中文在 EDA 研究方面很有实力，CS Ranking 近年来都位居前列，今年更是跃居第一。本文是港中文余备教授参加 ICCAD 2021 的见闻和有感，以专业视角给出了值得关注的趋势，也即 ML for EDA（或者EDA的人工智能化趋势）。他们也获得今年前端 track 最佳论文。为了方便读者更为细致的了解 ML for EDA，11月10日-11日，我们请到港中文EDA团队带来线上分享，介绍 4 篇他们在 ICCAD 2021 的最新工作。

一、会议概括

近日，EDA领域的世界顶级会议之一 ICCAD 2021 大会以线上形式成功举办。

International Conference on Computer-Aided Design (ICCAD)是 IEEE 和 ACM 两大组织联合发起的电子设计自动化（Electronic Design Automation, EDA）领域的顶级会议。自 1982 年创办以来，迄今已经举办了 40 届。

由于疫情原因，今年的 ICCAD 依然采用线上会议的方式举办，会议从 11月1日至 4日共四天。ICCAD 2021 收到了全球范围内的 514 篇投稿，最终 121 篇论文被收录（23.5%的录取率），竞争十分激烈。

在 ICCAD 2021 讨论热点的词云中，可以看到此次大会频率较高的关键词：神经网络、EDA关键步骤研究、加速器。另据会议官方数据统计，相比往年，神经网络和深度学习、仿真设计验证、神经形态计算、生物芯片等领域投稿论文数量激增。

最佳论文奖

为了纪念 William J. McCalla 博士对计算机辅助电路设计及仿真技术的发展以及 ICCAD 会议的开创性贡献，会议官方特别设立了 William J. McCalla 最佳论文奖。

该奖项由 IEEE 电子设计自动化委员会（IEEE CEDA）和 ACM 设计自动化特别兴趣小组（ACM SIGDA）联合发起，由 ICCAD 最佳论文和最具影响力奖评选委员会评选，于 2000 年首次颁发。

William J. McCalla 最佳论文奖共设立年度最佳论文奖两名（Front-end和Back-end），以及十年回顾最具影响力论文奖一名。其中，年度最佳论文奖将分别授予涵盖集成电路设计流程前端和后端的研究论文。

2021年ICCAD Front-End最佳论文奖授予了《BOOM-Explorer: RISC-V BOOM Microarchitecture Design Space Exploration Framework》，第一作者是就读于香港中文大学计算机科学与工程系的博士生白晨，导师为余备教授和黄定发教授。

论文链接：

http://www.cse.cuhk.edu.hk/~byu/papers/C122-ICCAD2021-DSE-BOOM.pdf

这篇获奖论文研究了基于机器学习技术进行 CPU 微架构设计空间探索的方法，实现了在同一工艺下寻找一系列在功耗和性能上实现帕累托最优的微架构。在后摩尔时代 CPU 设计中，工艺演进对提高 CPU 性能、降低其功耗的红利愈来愈有限，因此，CPU 设计人员希望能寻找到理想的微架构来更好地平衡性能和功耗。微架构是对指令集（ISA）的实现，包含了诸如 CPU 取指前端，解码，计算单元，载入储存单元等模块。这些模块可以在 CPU 设计时进行参数化，如对缓存结构，解码宽度，乘除单元并行数，分支预测器等。由于现代 CPU 设计变得愈加复杂，架构师的经验不能很好用来迁移到新设计上以确定这些参数。为了在一个确定的微架构设计空间中快速寻找帕累托设计，因此，本文基于 RISC-V微处理器提出一种能嵌入目标设计的微架构先验知识的设计空间探索算法用来解决这一问题。

从左至右：白晨、余备教授、黄定发教授。

本次的Back-End最佳论文奖授予了《Analytical Modeling of Transient Electromigration Stree based on Boundary Reflections》，第一作者是来自明尼苏达大学的 Mohammad Abdullah Al Shohel。

这篇论文提出了一种瞬态电迁移应力建模算法。电迁移在多段互联上的传统失效测试方法是基于 Black 方程的 Blech 标准。考虑到应力在多个互联段上具有累积效应，而传统方法是独立地分析每个互联段，导致了不准确的分析结果。该论文创新性地引入了应力流边界反射的概念，认为在有限多互联段中的瞬态应力行为可以采用物理波动来解释。该论文基于应力流边界反射的概念，提供了一个用于推导出具有任意数量互联段的瞬态电迁移应力的分析表达式框架。在大型供电网络基准测试中，该方法对比于基于有限元法的求解器 COMSOL 具有更高的准确度和更快的求解速度。

二、EDA的科研趋势：AI x EDA

当前，集成电路产业已成为衡量国家综合国力的重要战略指标。其中 EDA 工具是集成电路产业的基础工业软件，也是我国集成电路中受美国制约最严重的环节之一，可谓是我国集成电路产业的「命门」。为了支撑我国目前正在如火如荼进行的「新基建」建设，以及实现未来科技实力大幅度提升的目标，作为集成电路产业最基础的支撑，发展独立自主可控的 EDA 工具已经迫在眉睫。

一方面，人工智能技术（包括算法上的改进，与计算平台的演进）给 EDA 带来了新的解决方案；另一方面，EDA 技术的发展，也促进了人工智能技术在芯片设计和制造上的不断迭代与改进。以下精选 5 篇论文，很好的反应了 AI 与 EDA 结合的大趋势。

Paper A：Overcoming the Memory Hierarchy Inefficiencies in Graph Processing Applications

作为大数据时代的重要应用，图计算在传统处理器和内存架构上的性能并不高效。其性能瓶颈通常体现在两个方面：对于片上内存而言，随机的访存模式大幅降低了缓存命中；对于片外内存而言，细粒度的数据读取也拉低了DRAM主存的带宽利用率。

为此，UCSB 谢源教授团队设计了专用于图的内存架构：G-MEM。一方面，其使用了scratchpad替代缓存，并相应的提出了针对图结构中“热点”数据的管理算法，在与缓存相同大小的情况下提升了约 10% 的命中率。另一方面，其重新设计了 DRAM 的通道架构，并使用了多个独立控制器以支持细粒度的访存。相比于传统处理器，G-MEM 在多个图任务下提升了 2.6 倍的性能。

Paper B: Automatic Routability Predictor Development Using Neural Architecture Search

机器学习技术的兴起激发了其在电子设计自动化 (EDA) 中的应用热潮，并有助于提高芯片设计的自动化程度。然而，手工制作的机器学习模型需要大量的专业知识和巨大的工程消耗。在这项工作中，Duke 大学陈怡然教授课题组和 Texas A&M 大学胡江教授课题组利用神经架构自动搜索 (NAS) 来自动开发用于可绕线性预测的高质量神经网络架构。该搜索方法支持各种卷积操作和高度灵活的连接，使得神经网络架构与以前所有的人工模型明显不同。在大型数据集上的实验结果表明，生成的自动生成的神经网络架构明显优于多个具有代表性的人工设计的模型架构。此外，与人工模型容易花费数周时间开发相比，高效的 NAS 方法仅用 0.3 天就完成了整个自动搜索过程。

Paper C: pGRASS-Solver: A Parallel Iterative Solver for Scalable Power Grid Analysis Based on Graph Spectral Sparsification

随着集成电路与系统的发展，供电网络的规模越来越庞大，使得对其分析、计算其节点电压成为一个严峻的挑战。求解供电网络的电路方程主要采用并行区域分解法和基于谱图稀疏化的迭代解法。区域分解法需要形成表示子区域间节点关系的稠密舒尔补矩阵，对其计算与分解的开销可能比求解原问题还大。对稀疏矩阵的迭代解法内存用量小，但迭代收敛速度与收敛性是主要的难点，近年来提出的谱图稀疏化技术构造预条件子，可以稳定地提高收敛速度，但现有工作均为串行算法的研究。

清华大学喻文健教授团队提出将区域分解与谱图稀疏化结合的方法，包括并行的谱图稀疏化、以及使用区域分解法对由稀疏子图得到预条件子进行并行求解的技术，它继承了谱图稀疏化带来的良好迭代收敛性，同时实现高效率并行计算。在一台 16 核 CPU、512GB 内存机器上的实验表明，该方法相比串行的谱图稀疏化迭代解法有 5.5 倍的平均加速，相比前人的并行供电网络仿真算法有 5.2 倍的平均加速。对一个实际的含 3.6 亿节点、42 亿条边的供电网络，它的求解用时仅为 23 分钟，比串行算法快 9.5 倍。这是首次报道在一台普通的 16 核计算机上仅用不到半小时的时间求解如此大规模的供电网络。

Paper D: A Unified Framework for Layout Pattern Analysis with Deep Causal Estimation

特征尺寸的减小和制造过程的复杂性的增加导致半导体器件制造的缺陷越来越多。因此，识别缺陷布局模式的根本原因对于提高良率变得越来越重要。香港中文大学余备教授课题组联合华为诺亚方舟实验室和华为海思提出了一种基于布局感知诊断的布局模式分析框架，以有效地识别布局故障的根本原因。

在该框架的第一阶段，使用一个使用对比学习训练的编码器网络来提取布局片段的表示，这些布局片段对移位、旋转和镜像等转换是等价的，然后将其聚类形成布局模式。在第二阶段，该框架通过一个结构因果模型建立任何潜在的根本原因布局模式和系统缺陷之间的因果关系模型，然后使用该模型估计候选布局模式对系统缺陷的平均因果效应(ACE)，以识别真正的根本原因。在实际工业设计中的实验结果表明，此框架在精度和速度上都优于商业工具。

Paper E: HeteroCPPR: Accelerating Common Path Pessimism Removal with Heterogeneous CPU-GPU Parallelism

在芯片设计流程中，静态时序分析(STA)衡量了芯片设计的正确性和性能，是后端芯片设计和验证的核心任务之一，而静态时序分析中的公共路径悲观修正(CPPR)步骤，则保证了时序分析的准确性。缺少了 CPPR 会使分析结果过度悲观，产生虚假的错误报告，降低对芯片设计性能评估的准确性。然而，CPPR 非常缓慢，时间消耗往往以十倍到百倍计，因而限制了它的实际应用。现有的 CPPR 加速工作主要采用 CPU 上的多核并行策略。这些策略受到图算法计算模式以及 CPU 架构的限制，性能在 8-16 核心达到饱和，难以获得更大的性能提升。

北京大学林亦波教授课题组提出了 HeteroCPPR 算法，通过高效的计算任务分解策略和 GPU 算子设计，克服图算法的并行难题，在 CPU-GPU 异构计算平台上实现了 CPPR 中的图算法并行加速，首次实现多 GPU 处理大规模延时悲观量补偿和时序违例路径生成。实验结果显示，HeteroCPPR 在 4 个 GPU 上达到了 16 倍的加速，能够在 1 秒以内处理百万门级电路上的 10K-100K 路径生成问题。

三、机器之心走近全球顶尖实验室：香港中文大学EDA团队

香港中文大学 EDA 团队目前共有教授 7 人，其中IEEE院士、ACM院士 1 人（港中大工程学院院长黄定发教授），ACM杰出科学家 2 人（杨凤如教授，何宗易教授）。团队研究范围全栈式覆盖了系统设计、架构设计、逻辑物理综合、测试与验证、制造与封装等EDA领域。近六年来，团队在 EDA 领域国际顶级会议 DAC&ICCAD 共计发表论文 94 篇（系统设计 10 篇、架构设计 23 篇、逻辑物理综合 20 篇、测试与验证 21 篇、制造与封装 20 篇），位居世界前列。

除了数量众多的研究成果之外，港中文 EDA 团队还多次拿到了顶会和顶级期刊的最佳论文：

2012 DAC 最佳论文
2013 ICCAD 最佳论文
2015 TCAD（EDA的世界顶级期刊）最佳论文
2017 ICCAD 最佳论文
2021 ICCAD 最佳论文。

港中文自2015年以来在DAC/ICCAD发表论文的主题分布情况。

除了 EDA 两大顶级会议 DAC & ICCAD 之外，港中文 EDA 团队成员也获得 2004 年DATE、2012 年 ASPDAC、2017 年 ISPD、2020 年 ISLPED、2021 年 ASPDAC 等重要会议的年度最佳论文奖。

此外，在历年 ICCAD CAD 算法竞赛产生的 30 个冠军中，香港中文大学拿到了其中的 11 个，成绩遥遥领先于世界其他顶级高校。

依据世界广泛采用的计算机科学机构的排名 CS Ranking，港中文的世界排名常年保持前列，近两年名列世界第一：

在EDA（design automation）领域，港中文、UCSD和杜克大学位列世界排名前三。大部分上榜高校都是欧美名校，在表现比较好的亚洲高校中，港中文排名第一位，北大排名12，香港城市大学第排名17，中科院和新加坡国立大学并列20。

11月10日-11日，我们请到港中文EDA团队带来线上分享，介绍 4 篇他们在 ICCAD 2021 的最新工作。详情如下：

11月10日19:00-20:00

RISC-V BOOM 微架构设计空间探索

分享背景：处理器的微架构设计由于其庞大的设计空间和耗时的超大规模集成电路(VLSI)验证流程而变得越来越困难。以前，研究人员依靠先验知识和周期精确模拟器来分析不同微架构设计的性能，但缺乏足够的讨论，即如何在功耗和性能之间取得良好的平衡。香港中文大学与华为合作，提出了一个自动在功耗和性能上实现了良好平衡的框架，用于探索RISC-V BOOM 的微架构设计空间，被称为 BOOM-Explorer。首先，该框架采用了嵌入微架构先验的主动学习采样算法(MicroAL)，用来生成具有多样性和代表性的初始设计集。其次，建立了具有深度核学习函数的高斯过程模型(DKL-GP)来表征设计空间。最后，利用相关多目标贝叶斯优化探索帕累托最优设计。实验结果表明，BOOM-Explorer 可以在更短的时间内搜索到比由以前研究者提出的方法得到的和资深工程师开发的更好的设计。

分享嘉宾：白晨，香港中文大学计算机系二年级博士生，指导老师余备教授，研究兴趣为设计空间探索。

论文链接：http://www.cse.cuhk.edu.hk/~byu/papers/C122-ICCAD2021-DSE-BOOM.pdf

11月10日20:00-21:00

基于嵌入式 GPU 超分辨率部署加速框架

分享背景：近年来，基于深度学习的超分辨率(SR)算法取得了令人瞩目的进展。然而，它的实时推理要求不仅对模型设计而且对硬件部署实现提出了挑战。香港中文大学与思谋科技合作，在嵌入式 GPU 设备上实现了一个全栈 SR 加速框架。SR 模型中使用的特殊字典学习算法经过详细分析，并通过一种结构性剪枝对字典进行了加速。此外，分析硬件编程架构和模型结构，以指导计算内核的优化设计，以最大限度地减少资源约束下的推理延迟。通过这些新技术，基于深度字典学习的 SR 模型中的通信和计算瓶颈得到了完美解决。在边缘嵌入式 NVIDIA NX 和 2080Ti 上的实验表明，我们的方法显着优于最先进的 NVIDIA TensorRT，并且可以实现实时性能。

分享嘉宾：赵文骞，香港中文大学计算系二年级博士生，指导老师余备教授，研究方向为机器学习在EDA的应用以及推理加速。

论文链接：https://appsrv.cse.cuhk.edu.hk/~byu/papers/C128-ICCAD2021-SRAcc.pdf

11月11日19:00-20:00

一个基于深度因果估计的布局模式分析的统一框架

分享背景：特征尺寸的减小和制造过程的复杂性的增加导致半导体器件制造的缺陷越来越多。因此，识别缺陷布局模式的根本原因对于提高良率变得越来越重要。香港中文大学联合华为诺亚方舟实验室和华为海思，提出了一种基于布局感知诊断的布局模式分析框架，以有效地识别布局故障的根本原因。在该框架的第一阶段，使用一个使用对比学习训练的编码器网络来提取布局片段的表示，这些布局片段对移位、旋转和镜像等转换是等价的，然后将其聚类形成布局模式。在第二阶段，我们通过一个结构因果模型建立任何潜在的根本原因布局模式和系统缺陷之间的因果关系模型，然后使用该模型估计候选布局模式对系统缺陷的平均因果效应(ACE)，以识别真正的根本原因。在实际工业案例中的实验结果表明，我们的框架在精度和速度上都优于商业工具。

分享嘉宾：陈然，香港中文大学计算机系四年级博士生，指导老师余备教授。研究方向为机器学习在可制造性设计的应用。

论文链接：http://www.cse.cuhk.edu.hk/~byu/papers/C127-ICCAD2021-Causal-Root.pdf

11月11日20:00-21:00

DevelSet: 应用于光刻掩膜优化的神经网络水平集算法

分享背景：随着先进技术节点的特征尺寸不断缩小，掩模优化在传统的设计流程中越来越重要，同时伴随着光学接近校正（OPC）方法的计算开销的爆炸性增长。最近，逆光刻技术（ILT）引起了极大的关注，并在新兴的 OPC 解决方案中变得非常普遍。然而，传统ILT方法要么耗费时间，要么在掩模印刷性和可制造性方面表现不佳。在本文中，香港中文大学提出了 DevelSet，一个用 GPU 和深度神经网络（DNN）加速的水平集 OPC 框架。首先改进了传统的基于水平集的 ILT 算法，通过引入曲率项来降低掩模复杂性，并应用 GPU 加速来克服计算瓶颈。为了进一步提高可打印性和快速迭代收敛性，提出了一种新型的深度神经网络，该网络是根据水平集的内在原理精巧设计的，以促进 DNN 和 GPU 加速的水平集优化器的联合优化。实验结果表明，DevelSet 框架在可打印性方面超过了最先进的方法，并使运行时间性能达到即时水平（约1秒）。

分享嘉宾：陈国晋，香港中文大学计算机系一年级博士生，指导老师余备教授。研究方向为机器学习和GPU在EDA领域的应用和加速。

论文链接：http://www.cse.cuhk.edu.hk/~byu/papers/C124-ICCAD2021-DevelSet.pdf

加群看直播

直播间：关注机器之心机动组视频号，北京时间11月10日-11日晚7点开播。

交流群：本次直播设有QA环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「EDA」即可加入。

理论EDAICCAD 2021

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

神经形态计算技术

神经形态工程也称为神经形态计算，是Carver Mead在1980年代后期开发的一个概念，描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成（VLSI）系统。近来，神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型（用于感知，运动控制或多感官集成）的软件系统。

来源：Wikipedia

主动学习技术

主动学习是半监督机器学习的一个特例，其中学习算法能够交互式地查询用户（或其他信息源）以在新的数据点处获得期望的输出。在统计学文献中，有时也称为最佳实验设计。

来源：Wikipedia

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

优化器技术

优化器基类提供了计算梯度loss的方法，并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法，如梯度下降和Adagrad。优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，如梯度下降法等等。优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer（tensorflow下的优化器包）等等这些算法。

来源：维基百科

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科