独家揭秘！抖音爆款及时视频漫画变身殊效背后技能

记者 | 夕颜

出品 | CSDN（ID:CSDNnews）

动漫陪同着我们大部门人的芳华，许多人悄咪咪地都有一个动漫梦，假如有一天能变身成为漫画中的人，感觉肯定很奥妙吧？

还真就有人用技能本领帮我们实现了这个空想。比来，抖音推出的一款漫画变身殊效成为爆款，不管是高颜值的明星大咖，照旧我等芸芸众生，都可以顺手拍个视频，过把漫画瘾。

普世风格漫画脸的诞生

这款漫画殊效这么火，与殊效的操纵简朴，风格也比力符合群众审美有很大关系，摆布滑动就能切换实际和假造漫画，结果也清新天然，符合群众用上以后就 " 变美 " 的生理预期。

不外，在确定终究殊效风格之前，抖音团队也是思量到差别年事人群的喜欢，搜集观看了大量的漫画风格，包罗当下日漫、国漫、韩漫的主流风格的漫画、番剧，好比日系清新风

国漫萌萌哒风

另有如许的（不知道什么风）

初期结果探索

但选到末了，团队锁定的结果方向为：具普世风格的漫画脸结果。

终究结果确定

这个所谓的具有普世风格的漫画脸，必要满意两个根本的要求—— " 像 " 和 " 美 "。利用过这个殊效的人应当对这两点没有什么贰言，利用殊效后，人物发型、脸型，乃至是心情和眼神都和真人神似，漫画脸也让人以为莫名惬意，还挺悦目。

及时视频处置惩罚背后技能独家揭秘

固然，除了好玩以外，这个殊效背后的 " 技能 "，才是我们最感爱好的。

和其他此前火爆过的漫画结果相比，这个殊效总结起来特殊的地方在于三个关键字：" 及时 "、" 视频 " 和 " 漫画 "。

之前，我们已看过过许多漫画相干的技能运用英魂出现，好比港中文、哈工大和腾讯优图互助的一篇论文中提出的方法，可以将将人脸照片转化成手绘版风格的卡通图，乃至反向把卡通图转换成真人版，很神奇。

华盛顿大学的照片叫醒技能，可以把动态图像转换成 3D 动态，让目的像是从画里走出来一样平常：

这些神奇的邪术，都与GAN技能相干。GAN（天生式对抗网络，Generative Adversarial Networks ）是一种深度学习模子，是比年来复杂分布上无监视学习最具远景的方法之一。模子通过框架中（最少）两个模块：天生模子（Generative Model）和鉴别模子（Discriminative Model）的相互博弈学习产生相称好的输出。由于如许的特点，GAN 成为各种天生技能的不二之选。

抖音这次推出的漫画变身殊效首要技能也照旧 GAN，但与以往相比也有差别的地方。

此前，变漫画功能根本都基于人脸心情跟踪，学界和工业界都没有千人千面的及时漫画天生方法，这次抖音推出的漫画殊效是在视频中及时实现的，这项技能在环球也是初次落地。在视频中，可实现人脸和头发变漫画的结果，共同配景风格迁徙技能，完玉成屏漫画的及时天生，而且通过 " 手动滑杆 " 道具，能与真实视频随意切换。

现实上，抖音及时漫画殊效在终究技能选型之前，曾比照过大量当宿世成技能方法，包罗天生漫画的方法，如 ugatit，也有做其他使命的方法，如 MUNIT 等。但经调研发现，当前的 GAN 用于漫画天生、风格迁徙等使命存在一些题目，起首是练习不稳固，超参数举行一些微小的调解就大概对效果产生很大影响，而且还轻易碰到梯度消散的题目。对此，抖音的改善方案是实验多种 loss，包罗 WGAN、LSGAN 等，但现在为止照旧没有银弹，以是必要在实行过程中监控梯度的变革。

抖音技能团队告诉 CSDN，在漫画视频技能探索过程中，技能团队在初期实验中频频碰钉子，在前期预研中，输出书本结果与图片版相差较大，且性能也未能达标。在频频实验结果均不抱负的环境下，团队内部一度对及时漫画的可行性也出现了疑心。

但幸亏频频失败的实验后，在总结履历时有人指出了关键地点：之前的模子构造单一，差别模子的优缺点不完全同等。因而，技能团队实验了模子嫁接的方法，用差别的模块拼接出新模子，大幅提拔了漫画的天生质量。在质量达标后，又通过盘算每层的紧张水平来裁剪模子，终究确定了及时版模子的构造。

结果产物团队也到场模子结果调优，总结出参数与结果之间的定量关系，通过微调参数优化模子。终究，行业首发的高清及时真人漫画风格处置惩罚爆款才得以诞生。

与静态图片处置惩罚相比，实现及时漫画处置惩罚毕竟难在那里呢，尤其是在手机端实现？

抖音技能团队表现，及时视频漫画处置惩罚难度照旧挺高的，好比模子自己盘算量必要非常小，在有限的盘算量下要到达比力好的漫画结果，必要让每一次运算都要充实发挥其代价。其次，抖音的用户浩繁，用户利用的机型性能差距也非常大。为了满意差别条理用户的需求，抖音研发了复杂的模子下发计谋，实现了模子的定制化下发，这在终究包管了及时漫画的乐成上线，在结果和性能方面到达及时漫画的要求。

别的，抖音漫画殊效启用了自研的推理引擎 ByteNN，这个针对端侧算法快速落地的推理引擎不但支持 CPU 和 GPU 的通用盘算本领，也充实发挥了厂商 NPU/DSP 硬件的加快本领，端侧性能和功耗均处于业界领先程度，这也包管了及时漫画可以或许稳固支持抖音海量的用户群体。

固然，这个及时漫画殊效现在的算法针对一些特别场景照旧有肯定优化空间，在以后的迭代中也会从模子自己和推理引擎两个方面入手，提拔模子结果的同时优化推理性能。

在泛娱乐场景，GAN 另有更大发挥空间

从当前推出的一些漫画天生结果来看，GAN 这个热门技能确实为娱乐范畴注入了许多新小的血液，引入了一些奇怪的玩法。不但限于漫画，泛娱乐范畴中，GAN 方法的运用英魂潜力肉眼可见，将来，这项新兴技能还会有哪些技能开展趋势，大概研究热门呢？

抖音技能职员以为，GAN 本质上是分布之间的迁徙，只要能界说分布之间的映射，就能实验 GAN。至于将来 GAN 还可以在哪些方向上大有效武之地，他们以为真实感和非真实感的风格迁徙大概是恒久的热门。除此以外，天生网络与 3D 技能的联合也大概是将来的热门之一。

好比同时期在日本一款 爆火的 3D 姿态追踪漫画人物运用英魂 ThreeDPoseTracker，只必要利用一个 USB 摄像机或一段舞蹈视频来捕捉活动，通过一种姿式预估模子（骨干为 Res-Net-34），就能让假造动漫人物跟着本身舞动，天生的动作结果非常精准、天然流通。

抖音表现，这是一个风趣的运用英魂，团队不停在关注一些前沿而且风趣的技能，究竟上，抖音此前也已上线了雷同的殊效，抖音搜刮 " 召唤光头强 "、"Line dancer" 就可以体验。

正如抖音技能职员所说，GAN 的本领不应仅范围于图片，3D 的运用英魂场景将给这项技能提供更大的展示舞台，等待在将来，GAN 可以或许带给我们更多惊喜！

更多出色保举

时隔 15 年，苹果的自研 ARM 芯片为何能代替 Intel 处置惩罚器？

从微信「拍一拍」，我想到了那些神奇的一行代码功能

AI 又进阶！除了辨别 PS 图片，还能一键卸妆！

无代码开辟到底是不是伪需求？

步伐员端午炫富指南 ~

Spring 从入门到入土—— AOP 就这么简朴！| 原力方案

硬核！国外开辟者用 25 美元做了个区块链警佩相机！

你点的每个 " 在看 "，我都认真当成了喜好