Adobe把GAN搞成了缝合恶，凭空P出1024分辨率全身人像 | CVPR 2022

2024-12-24 来源 : 电视

博雯发自凹非兴福寺量子位 | 公众号 QbitAI

扯脸颊见多了，扯体格的记得吗？

也就是说一张脸颊，就能备用扯一个下半身，饰品、体格、外貌都确有PS遗留下来：

新技术当然还是我们熟悉的GAN，但有所不同的是，现今躯体的每个大多都能被PS了。

从脸颊，外貌、饰品、短发等躯体各个指甲，甚至到肢体特技，都能被随意建筑设计和组合，最终“腰”成一张1024 × 1024解析度的身躯照片：

而且这张“腰合怪”还全然无法拼接蓄意带给的阴霾和边境线：

△上方的鼻子由新方法有降解，阴霾边境线仅仅

怎么好好到的？把用于降解化学物质有所不同指甲的GAN“拼”起来。

这就是Adobe开发团队最新提出的一种结合多个未及锻炼的GAN顺利完成图表降解的新方法有，论文迄今已被CVPR 2022接收：

接下来就一起来看看他们只不过是如何借助于的。

用PS的方式也GAN出个化学物质

如我们开头所说，这是一种将多个GAN拼接起来运用于的方法有，研究成果开发团队将其指InsetGAN。

共分为两类GAN：

身躯GAN （Full-Body GAN），基于中的等精确度的数据顺利完成锻炼并降解一个化学物质。大多GAN，其中的包含了多个针对脸颊部、双手、脚等特定指甲顺利完成锻炼的GAN。

这两类GAN的合作方式也类似于PS：身躯GAN是一张早已有打底线笔记的油画，而大多GAN则是一张一张覆在上面的调色板。

但有所不同边境线的“调色板”在覆到油画上时，无论如何有消失对齐问题。

比如，将一张脸颊移除到躯体上时，在外貌的差异普遍性、鞋子边境线和短发披散的自然普遍性上或许消失细节的空洞和遗失，或消失伪影（Artifacts）：

如何才能更好地协调多个GAN，让它们产生一致的像素呢？

研究成果开发团队建筑设计了这样一种架构：

他们首先引入了一个边境线窗格辐射源，检测大多GAN降解的特定周围在中的层油画，也就是身躯GAN降解的周围中的的后方，经过裁剪后再度将特定周围也就是说。

这一过程相当于看到了两个周围之间的一种随机潜码（latent code），使得所选周围的边境线能够和也就是说周围相一致，以借助于无腰合成。

同时，他们还会对这两个周围顺利完成下时域（Downsample），再度次增加图表像素主旨的差异普遍性。

基于这种方法有，InsetGAN可以在锻炼后降解多张明晰人像，同时外貌、短发和相关手臂都能作出相应调整：

研究成果开发团队也与之前的降解身躯人像的方法有CoModGAN好好了比较，都是基于右边的化学物质顺利完成鼻子的替扯成，或许，InsetGAN降解的鼻子更加自然：

△上为InsetGAN，下为CoModGAN

作者引介

论文共约6位作者，5位来自Adobe研究成果院，还有1位来自阿卜杜拉国王科技大学（KAUST）。

其中的有Adobe的总监研究小组Jingwan Lu，是PS 2020中的智能头像、皮肤平滑、着色和骨骼肌众所周知等可用的主要正则表达式学术机构，也是RealBrush笔刷MIDI的开发者。

她迄今领导的开发团队主要致力利用大数据和降解普遍性AI（比如GAN）来顺利完成美感主旨的创造。

所以，准备好世事扯体格了吗？（双手动狗头）

论文地址：

概述URL：[1][2]