“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体
这几天很多人让我们介绍一下之前在视频号上发的一个小姐姐表情捕捉后生成的卡通形象的视频，还有想让我们联系联系这个大佬进行采访的，采访没有，不过详细介绍下还是可以实现的。
咱们先介绍一下作者
Goodby Silverstein＆Partners技术总监
大佬拥有十多年从业经验，曾经做过技术总监，创意总监，视效主管，创意总监和动画师，还能指导VFX并进行后期制作。他的兴趣也是相当广泛，喜欢3D动画，流体模拟和数据可视化，也玩无人机。目前正在探索艺术与人工智能的结合，利用机器学习创造生成艺术。他的作品还曾在国家广播和互动运动，超级碗现场并被萨尔瓦多·达利博物馆永久收藏。
他工作时会使用到的软件有Nuke，Maya，After Effects，Unity和Cinema4D，还用Python，C＃和Javascript进行编码。
在他的个人网站中，介绍了他所有的工作和作品
（http://www.nathanshipley.com/gan）
在2019年10月大佬开始用StyleGAN进行一些图形和艺术的学习并发布到自己的网站上。可能有的小伙伴对这个系统不了解，我简单介绍一下，StyleGAN是英伟达发布的一个先进的高分辨率图像合成方法，它生成的图像非常逼真，可以在各种数据集上工作。除了逼真的人像，StyleGAN还可以用于生成其他动物，汽车甚至房间。
接下来咱们就着重说说他在GAN实验中的工作进程。
GAN Explorations 001—008
各种风格图片学习过程
到目前为止，大佬一共发布了自己的20个GAN实验，前8个都是使用StyleGAN对从WikiArt上找来的图片进行艺术和图形的学习。这些图片涉及的风格多种多样，有人物素描、波普艺术、立体主义还有视觉艺术家Beeple的作品甚至是专辑封面都被他拿来学习，下面放上大佬的一些“学习成果”。
神经网络理解的图形+艺术
人物素描/波普艺术双刻画
波普艺术
立体主义迁移学习
视觉艺术家Beeple作品学习
嵌入图像
Qrion专辑封面
GAN Explorations 009、010 StyleGAN2
在2019年12月份，英伟达发布了StyleGAN的升级版——StyleGAN2，重点修复伪影问题，并进一步提高了生成图像的质量。下面是大佬用StyleGAN2做的第9和第10个测试项目。
Beeple的日常图像进行训练的一些早期结果
BeepleGAN的StyleGAN2实现中的一些静止图像
GAN Explorations 011 StyleGAN2 +随机权重平均
在2020年1月29日，发布的第11个GAN实验中，他使用Peter Baylie的随机权重平均脚本进行探索，从两个源模型创建一个新的平均模型，依然选择的是基于WikiArt图像和Beeple的艺术作品。这基本上是在两个StyleGAN模型之间进行融合最快的方法了。
GAN Explorations 015 在StyleGAN中使用图层混合为面部加Toonifying
GAN网络经历了快一年的学习后，大佬在2020年9月发布了他的第15个GAN实验 。也正是我们开头看见的那个小姐姐的效果。大佬借鉴另外两位艺术家Justin Pinkney和Doron Adler的作品并进行扩展，尝试创建卡通版人脸并使用ArtBreeder对其进行样式化。 使用FFHQ模型（英伟达高清数据集）在卡通脸部数据集上进行了微调，并将生成的模型与初始FFHQ模型混合。控制整个脸部形状（眼睛大小等）的低层图层取自卡通模型，控制更精细细节的图层取自实际的FFHQ模型。
下面是使用“一阶运动”模型和来自TikTok的视频对动画化的Uma Thurman进行动画处理的结果。视频中我们看到是将真人照片编码到原来的FFHQ模型中，再由StyleGAN生成，这样卡通动画就做出来了~
大佬一直试图寻找一个使脸变卡通化的最佳方式，因此他建立了一个新的数据集和模型来观察不同层次的训练和混合的结果。
下面的图是他用奥巴马的脸进行的测试，通过迁移学习来调整训练次数（横轴）和细节（纵轴）得到的不同效果，有点儿开了十级美颜的效果了哈哈哈哈~
除此还用一些名人的照片做了测试
GAN Explorations 016 反向同化/绘画和卡通的真实版本
不光有将真人动画化，还有将动画反向真人化的测试，大佬用Elad Richardson和Yuval Alaluf的pixel2style2pixel创作绘画和卡通的真人版 。
蒙娜丽莎真人化
数字人物Lil Miquela真人化
画家Diego Rivera
《飞屋环游记》罗素
《寻梦环游记》米格
画家Frida Kahlo
画家Rembrandt
GAN Explorations 017 向真实人物的角色素描
看完上面将图片进行真实人物与动画人物相互转化是不是觉得很酷炫，告诉你们，不止如此哦，大佬还使用pixel2style2pixel，在StyleGAN FFHQ模型中找到最接近的真人模型，可以将角色草图直接在视频中转化为真人的形象。
来看看下面这三个演示视频
有了这一系列操作，以后课本里的历史人物照片可以换成超写实的了吧
End
沉迷”美色“无法自拔！大神做的这个小姐姐太真实，感觉恋爱了！
什么是数字时装模特？大佬用AI+传统CG流程玩潮流！
辣眼！！台湾省花重金做了个3D版妲己！！
4K视频上实时扣头发絲糹丝纟！？这个抠像技术太强了！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
