火山引擎智能创作团队发表CVPR2022论文，通过少量汉字生成同样字体风格的全套汉字

火山引擎智能创作团队发表CVPR2022论文，通过少量汉字生成同样字体风格的全套汉字

我们日常交流所用的语言里，完整的中文字体包括几万个汉字，几百种不同的汉字组件以及大量各不相同的排列组合方法。这些文字虽然在我们的眼里早已习惯，但对于母语是英语的计算机而言，想要设计一套中文字体需要极高的人力、时间和金钱成本。

在今年举办的CVPR2022学术会议上，字节跳动智能创作团队便发表了一篇论文，其详细讲述了如何通过少量的几个汉字，便可生成同样字体风格的全套汉字。目前，该成果已经通过火山引擎智能创作云对外提供服务。

一笔一划间，汉字并非无迹可寻相比英文字体的26种固定格式，汉字字体的风格更加多变。其不仅包括纹理、粗细等机器容易理解得到简单风格，还包括笔画位置、间架结构等一般的图像风格变换算法无法深入理解的内容，这些都使得我们很难在保证效果的情况下实现不同字体之间的形变。但是如果想要设计一种字体，或者在不同场景下较为困难的任务，如连笔字体或者只有极少量参考字符的情况，仅凭现有的字体生成方法其成功率相对而言都较低。

为了通过AI算法辅助设计提升效率，同时解决上述问题，智能创作团队针对性地展开了研究。最终，在只有少量参考字形的情况下，智能创作团队所设计的模型大幅提升了全套汉字生成的成功率。据悉，与以前的方法相比，火山引擎字体生成模型在字体生成任务上，不论是从客观指标还是用户评价上，都取得了明显更优的结果。通过实际用户测评，在网络没有见过的参考字形比从前最优的方法的成功率高28%。同时，火山引擎针对字体生成任务进行了大量创新，在字体辅助设计等任务中也有实际应用场景，不仅优于同类方法效果，还促进了相关领域的技术发展。

跨模态预训练机制，让风格与内容解耦那么火山引擎究竟是如何做到的呢？据悉，该模型主要分为两个阶段，总体示意图如下所示：

在预训练阶段，首先会预训练一个基于BERT的跨模态（文字图像和笔顺信息）特征提取模型，通过重建损失和笔画预测损失保证在不损失信息的情况下，让提取到的字体特征充分理解笔画之间的关系。同时，为了使模型能够理解图片和相对应的汉字笔顺之间的关系，火山引擎在大量数据集上以预测被遮盖的笔顺和图片重建为任务训练。这样就使得在预训练阶段完成时，任意字体汉字都可以被完美重建，被覆盖的笔顺预测正确率可以达到80%以上。

在字体生成阶段，通过预训练好的特征提取器分别提取源域字和参考字的特征，并进行解耦重组，最终生成和参考字形相同字体的源域字。然后固定住预训练部分的编码器，仅训练解耦网络和解码器。在此阶段中，通过对抗损失，重建损失（L1损失）和笔顺损失就能更好地提升模型精准度。

总体来看，智能创作团队所打造的字体生成模型具有三大明显优势：

• 更加理解汉字的书写习惯。火山引擎将基于transformer的跨模态预训练机制引入字体生成任务，在自监督预训练中，自注意力和交叉注意力有助于捕获局部和全局特征（笔画级、组件级和字符级特征）并学习字形笔画对齐，从而增强了特征表示对字体结构的理解，并促进了字体生成任务中风格和内容的解耦。
• 更强的风格模仿能力。火山引擎设计了由通道注意力模块组成的解耦网络，并使用能够保存足够空间信息的特征图来表示风格或内容。将新风格和理解的汉字结构相融合后，就能够创造出新汉字落笔风格。
• 更加精细的字体生成能力。提出了一种基于预训练LSTM的新笔画损失函数，能够使网络更好地生成汉字结构，尤其是连笔等复杂情况，进一步提升预测精准度。

完善落地生态，模型贯穿业务链路以往，很多智能化技术都因为其实验室属性而显得十分高冷，无法落地的模型自然无法获得用户的喜爱。而火山引擎智能创作云便将这套字体生成模型应用其中，使得其能够有更多真实的落地场景可用，其作为字体生成应用能够贯穿B端商家与C端消费者用户的整条业务链路。这套模型可以辅助字体设计师高效地生成全套字体，进而将之用于平面设计、字体制作等具体应用之中。我国对于字体版权保护有着十分完善的规定，而且对于电商、广告以及各类内容消费行业而言，个性化的字体意味着更多的注意力和用户感知。比如在海报设计、广告设计、封面设计等，甚至在大多数图文和视频场景下，这些行业都需要字体素材或者艺术风格化的字体元素。而通过火山引擎的字体生成应用，可以帮助设计师快速吸引流量，提升产能，助力造势。对于个人用户而言，字体生成就更加有趣了。通过少量的手写汉字就可以低成本地生成专属自己的个性字体文件，无论是想要自用还是变现都可以十分的轻松简单。

目前，智能创作团队已经将论文与相关内容的详细介绍整理在项目网站中，感兴趣的朋友可以复制下方链接至浏览器打开，亲自感受火山引擎字体生成的独特魅力。https://liujikun.github.io/XMP-Font.html

智能创作云，是火山引擎为企业推出的智能内容生产SaaS。通过提供各类AI赋能的创作工具、编辑技术、正版素材和创作内容、流程管理，降低内容创作者的创作门槛，提升企业内容创作效率和质量。