阿里巴巴研制的AI设计师鹿班：能否在设计领域达到人类水平？

阿里巴巴研制的AI设计师鹿班：能否在设计领域达到人类水平？

近期，央视《机智过人》的舞台上来了位“三超设计师”——设计能力超强；出图能力超快；抗压能力超强，成功迷惑嘉宾和现场观众，更让撒贝宁出错三连。节目一开场，这位“设计师”就为现场嘉宾：主持人撒贝宁、演员韩雪、神经科学家鲁白生成了三张独具特色的海报。几乎是说话的瞬间，海报立即生成，出图速度之快让撒贝宁惊呼“秒完”。

鹿班为现场嘉宾设计的海报这位设计师正是阿里巴巴研制的AI设计师——鹿班。鹿班是为解放人类平面设计师而生，它学习了五百万张人类设计作品，现在它每秒能做八千次设计。自从2016年上线至今，鹿班已经完成了十亿次海报制作，是全球首位大规模投入使用的人工智能平面设计师。节目中，鹿班将接受设计领域的两轮检验，如果鹿班的作品被现场观众成功找出，则认为鹿班通过检验。究竟AI能否在设计领域达到人类水平？接下来，我们一起走进检验场。

使用场景

视觉生成引擎的使用场景大致可抽象成下图。以显式输入而言，用户可以输入标签需要的风格、色彩、构图等，或者输入一个例子，或者进行一些交互的输入。除显式输入之外还可以有隐式输入，比如人群信息、场景信息、上下文信息等。总的来说，输入可以是千变万化的，但通过规范化之后就会减少变化，使得生成过程可控，输出质量可控。对视觉生成引擎来说，它要求输入是规范化的。但在输入前，可以加入各种交互方式，如自然语言处理，语音识别等，将其转化成规范化输入。最后输出结构化信息或可视成图。

技术框架和生产流程

其技术框架如下图左侧。首先对视觉内容进行结构化理解，如分类、量化、特征化。其次通过一系列学习、决策变成满足用户需求的结构化信息即数据，最后将数据转化成可视的图像或视频。这一框架依赖于大量的现有数据。其核心是一个设计内核。同时，引入效用循环，利用使用后的反馈来不断迭代和改进系统。其生产流程分成六个步骤，如下图右侧所示。首先用户提出需求，将需求特征化转变成系统可以理解的结构化信息。其次将信息进行规划得到草图。有了粗略的草图后再将其转变成相对更精确的图，然后调整细节，最后通过数据可视化形成最终的图。当然其中还有很多的trick，以及各部分的优化。

关键算法

下面介绍一些关键算法。我们希望基于下图最左的耐克鞋生成最右的图。先通过规划器得到草图，再通过强化学习获得相对细致的结果，再通过对抗学习及渲染算法得到图片，再通过评估器进行评估，最后形成业务闭环，其中还会有一些基础的能力，包含更强的联合特征（非普通CNN特征）及多维度检索算法等。基本上，处理的第一步是将图片中的信息结构化，这也是与现有的识别理解技术结合最紧密的地方。其中的难点和重点包括，对图像中多目标的识别、遮挡和互包含情况如何得到分割的信息等，下图只是个简单的示例。

有了结构化信息之后，需要对信息进行量化。可以量化成特征或量化图。量化过程中会包含很多信息，比如主题风格、布局配色、元素种类、量化空间等。有了这些信息后可以在主题、种类、风格、视觉特征大小位置上，量化成各种码，用相对有限的特征来表达无限的图。

下一步是通过用户的输入，得到一个相对粗略的结果即草图。目前主要使用的是深度序列学习。从图像角度，首先选定一个点的像素颜色再选择位置，再迭代进行操作，最后形成一张图。规划器模拟的就是这个过程。本质上预测过程是一棵树，当然也可以拆成一条条路径。为了简化，可以分成几步进行，比如空间序列，视觉序列。最后形成量化特征模型，主要应用的是LSTM模型。

得到草图后，利用行动器将草图细化。如果将图中的每个元素看作一个Agent，那么它将有若干个可选的行动空间。假设一张图中有20个元素，每个元素在视觉上有多种可选的行动空间，由其组合成的可选行动空间非常庞大。我们有很多trick可以解决这一问题，比如在空间上，只允许在有限范围内进行变动，且行动方向有序，即状态有序，行动有限。

下一步是如何衡量结果的好坏。图像的评估相对比较主观，主要可以从美学和效果两方面来评估。美学角度可以包括是否对齐、色系搭配是否合理、有无遮挡这些较低级别的判断标准，以及较高级的，比如风格是否一致，是否切合主题。从效果上，产品投放后是否会在点击率等方面实现提升。最后将多个指标形成对应权重并形成多个DeepLR联合模型。但在衡量结果之前，需要形成像素级别可见的图。这里有以下几种构造器分类，包括临摹、迁移、创造、搭配与生成。前面介绍了，如何通过用户的需求形成可见的图。后续还需要进行投放和反馈并进行优化，形成效用外循环。这样才能使得系统效用不断得到提升，形成一个在线闭环，这也是智能设计相对设计师的一大优势。

从技术角度来说，鹿班可以满足海量无选择客户的需求。相信在未来，可以做到“所想，即所见”。节目的最后，撒贝宁、韩雪、鲁白纷纷为鹿班站台，鹿班也因此成功入选“2018智能先锋”。

本文作者：厉害了！