谷歌发布基于强化学习的自动芯片floorplan算法

谷歌发布基于强化学习的自动芯片floorplan算法

最近，谷歌在《自然》杂志发表了论文《面向快速芯片设计的图布局方法》（Agraphplacementmethodologyforfastchipdesign），该论文中公布了谷歌在人工智能驱动芯片设计方面的最新结果。

在该论文中，谷歌使用了强化学习的方法来实现高质量自动芯片floorplan。谷歌对于强化学习技术的使用已经是得心应手，之前在围棋领域一鸣惊人击败世界冠军李世石的人工智能也是使用了强化学习技术。

事实上，芯片布局和围棋有很强的相似之处，基本都是在一个很大的自由空间里面需要搜索到一个最优解，来实现回报函数的最大化（例如在芯片布局领域的回报函数就是拥挤度、布局密度和走线长度的一个综合函数）。

在论文中，该算法实现自动floorplan的具体方法如下：

1. 电路设计给出floorplan中的所有宏单元(macro)的信息，包括面积、接口位置等
2. 强化学习算法一次摆放一个宏单元的位置，直到完成所有宏单元的floorplan摆放
3. 在人工智能完成floorplan后，运行基于传统算法的标准单元布局算法，并且获得拥挤度、布局密度和走线长度等信息
4. 如果这次运行是训练，则根据拥挤度、布局密度和走线长度的综合结果更新强化学习模型

在训练和使用该算法的过程中，谷歌使用了人工智能领域常用的预训练-微调（pretrain-finetune）的方法。在预训练阶段，将该模型在包含有5-20个TPU模块的训练数据集上进行训练，而微调任务则是在目标芯片做floorplan时进行多次迭代，以将预训练的模型适配到目标任务上。

根据谷歌公布的结果，经过预训练的模型在执行目标芯片的floorplan时，可以在6小时内完成floorplan，而其floorplan结果在时序、面积、功耗等关键指标上都与专业物理设计工程师手工floorplan的结果接近或更好。

强化学习在芯片后端领域的应用前景

AI会取代芯片工程师吗？强化学习是否会在芯片后端领域取代工程师？我们认为，虽然谷歌公布的结果非常优秀，但是AI可预期的未来尚不足以替代人工，工程师也不必担心事业。

首先，目前强化学习做floorplan能覆盖的芯片种类仍然不得而知。谷歌的论文中使用的训练数据集和测试数据集规模都很小（最大的也仅有20种芯片布局），而且训练和测试数据集中涉及到的芯片种类也很有限，是否能在其他种类的芯片布局中也获得超越工程师手工的效果还不得而知。而芯片类的数据集事实上很难采集，因此如何采集更大的数据集以训练更强，更普适的模型将成为强化学习方法进步过程中最关键的瓶颈。

此外，即使未来基于强化学习的数字电路EDA流程得到长足发展，工程师仍然是流程中的关键。一个核心的观察是，即使把整个流程全部交给AI，还是需要一组经验丰富的工程师来看管整个过程，否则没人能担保AI输出是否是最优结果；事实上基于AI的芯片EDA工具更可能是将人机合作加速整个芯片设计流程，而非取代人工。一个最有可能的人机协作的方式是工程师根据经验预估芯片后端流程的结果，并且将AI的流程结果与人工估计的结果相比较，以确保AI跑流程的结果是合理的。

如果强化学习能加速芯片设计流程的话，它将会降低芯片设计流程的迭代周期和成本，并降低芯片设计的门槛，这反而可能使得芯片行业更繁荣，让行业对芯片工程师的需求更大。正如目前的芯片设计流程中，大多数环节都已经自动化（例如设计综合，物理综合等），但是这样的自动化并没有砸了芯片后端设计师的饭碗，反而是让整个芯片行业比起自动化之前更加繁荣了，也让人才需求量更大。因此，我们认为AI驱动的EDA将会成为工程师的朋友，而不必担心让工程师下岗的问题。

中国EDA行业的机会

强化学习会给EDA业界带来的变革虽然我们预期强化学习正式进入EDA业界尚需时日，但是鉴于它会给整个业界带来较大的变革，我们认为从现在开始就应该积极关心这个领域的发展。

首先，如我们之前所叙述的，基于人工智能的EDA一个很大的要素就是数据，只有收集到了足够的数据才能训练性能足够强，普适性足够好的人工智能模型。从这一点来说，各个芯片厂商的芯片设计数据就不仅仅对他们自身有用，而对于EDA公司也有了更高的价值。对于中国半导体业界来说，由于中国有足够多的芯片设计公司，事实上数据是不缺的，那么是否能有一个组织来牵头以安全的形式来训练EDA人工智能模型的数据，将会成为中国能否在下一代基于人工智能的EDA领域占据重要地位的核心要素。

除了数据之外，我们认为人工智能模型在未来的EDA领域中会得到越来越多应用，同时也越来越复杂，这就牵扯到了一个算力问题。随着未来模型越来越复杂，而目标芯片设计也越来越大，我们预期所需要的模型算力也会越来越大。对于如谷歌这样的大公司来说或许不缺算力，但是对于小公司来说我们预计会有越来越多的EDA+云的服务出现，即在云上跑EDA流程中的人工智能模型以满足算力需求，这也就催生了EDA商业模式的更新乃至新的商机，例如EDA工具的弹性许可模式（EDA-as-a-service），甚至可以根据不同的付费等级提供不同的人工智能模型。

综上所述，我们认为以强化学习为代表的的下一代基于人工智能的EDA将会给EDA领域带来重大的变革。最主要的就是EDA将从算法驱动变换到数据和算力驱动，因此是否能掌握数据和算力将会成为关键。在这一方面，中国的半导体行业拥有芯片设计企业众多的先天优势，而且中国的云算力基础设施也是全球领先，因此我们认为这将会成为中国EDA行业的一个机会。