猫王发型 有点酷 网友 AI突破次元壁又火了! 飞屋环游记 动漫角色一秒变真人 小罗的 (猫王 发型)

文章编号:41463 资讯动态 2024-12-03 动漫脸AI

从“换脸”到“生成漫画脸”,AI在图像合成方面的技术已经非常成熟了。

因为支持一键切换,而且效果逼真,之前抖音的一款「 变身漫画 」特效还登上微博了热搜,从明星到路人,近千万用户参与。国外也有一款 「秒变迪士尼公主 」工具网站,上线当天就因为访问量过大而被迫下线。

它的火爆程度可以从这张效果图来感受下。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

发型、面部轮廓到五官,妥妥地定制化动漫脸,感觉都不用后期处理就可以直接出演电影了。

不过,这件事也引起了一位AI艺术家Nathan Shipley的好奇心,AI生成漫画脸如此逼真,那么反过来,将动漫角色转化为「真人」效果会怎么样?刚好最近国外研究团队推出了一款通用版AI模型——Pixel2Style2Pixel(pSp)。

因此,Shipley便利用这款AI模型,尝试将《超级总动员》《飞屋环游记》等电影中的经典动漫角色进行了转换,结果也因效果太赞登上了Reddit热榜。

这张《超级总动员》中的“飞毛腿”巴小飞,「真人版」形象也太有喜感了。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

仔细看,它的头发丝、眉毛等细节可以说转化的相当不错了。

还有弹力女超人—巴荷莉,超能先生—巴鲍伯,除了鲍伯夸张的动漫脸型,这些角色似乎可以在现实世界中找到替代演员了。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

不过,到了《飞屋环游记》的小罗这里是不是出现了什么差错??五官是没毛病了,但这个发型......

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

其实是AI把小罗的帽子当做头发识别了,结果就出现了这个亚子。有网友们调侃称,这个"猫王发型”也是很酷了!

另外,不仅是动漫角色的真人化,这款通用AI模型还可以用在画作上。如果说动漫角色真人化还有些卡通风,那么迭戈·里维拉(Diego Rivera)这两幅画像的还原效果,可以说是非常高质量了。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

那么,这项技术是如何实现的呢?

pSp:通用版图像合成模型

Pixel2Style2Pixel (pSp),是一个图像到图像的转换框架,由Penta-AI 和以色列特拉维夫大学的Elad Richardson、Yuval Alaluf等人在一篇名为《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》的论文中提出的。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

具体来说, pSp 框架基于一种新的编码器网络,该网络可直接生成一系列样式矢量,这些矢量被送入预训练的 StyleGAN 生成器中,从而形成可扩展的W+潜在空间。

pSp 是一个简单的架构,它通过特征金字塔扩展了三个级别的特征映射,中间网络map2style负责从输入端提取样式,然后将样式按照一定比例传送到生成器(SttyleGAN Generator)中,最后生成输出图像。值得注意的是,这个过程中完成像素转换的“中间样式表示”带来了不依赖局部像素到像素对应的全局方法,而且该方法通过风格重采样支持多模态合成。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷 总的来说,相较于传统的StyleGAN模型,pSp新型编码器架构在图像合成方面取得了两项进步,一是它能够将真实面部图像直接编码到 W + 潜在域中;二是它能够解决端到端的通用任务。

为了评估 pSp 框架在图像到图像转换任务中的有效性,研究人员对常见的图像处理任务,如面部正面化、条件面合成和超分辨率进行了测试。

实验测试及结果

StyleGAN Inversion

该任务的目标是在潜在域中查找真实图像的潜在代码。研究人员将pSp与 ALAE 和 IDInvert 架构中的编码器进行比较。其中,ALAE 基于 StyleGAN 的自动编码器,与生成器一起训练以生成潜在代码。 IDInvert 是将真实图像嵌入到预先训练的 StyleGAN 的潜在域中,然后将图像编码为 W+,再对生成的潜在图像进行优化。

从实验结果来看,ALAE 在 W 域中的操作无法准确重建输入图像,而 IDInvert虽然稍好保留了图像的原始属性,但显然它在更细节的处理上步入PsP模型。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

面部正面化(Face Frontalization)

由于缺少高质量且完整的人脸数据集,人脸正面化对图像转换框架来说是一项艰难的挑战。在确保训练和编码器一致的情况下,pSp在处理这项任务时,从两个方面进行了优化。一是目标增强,而削弱背景。

实验结果如下:

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

在使用相同数据进行训练时,pix2pixHD方法不能收敛到令人满意的结果,因为它更多地依赖于输入和输出对之间的对应关系。相反,PsP能够成功地在保持身份的同时生成逼真的正面脸。另外,在转化过程中采用 3D 对齐的方法也有不错的表现。

这表明,即使在无数据标记的情况下,基于风格的转换机制能够克服人脸正面化的挑战。

条件图像合成(Face From Sketch)

它的目标是在指定输入图像下生成具真实感的图像。比如从简笔草图中生成高质量人脸,条件图像合成是一个单体映射,而理想的映射框架应该能够为给定输入生成多个不同的输出,因此,pSp在其中采用了一种多模态的综合方法。

另外,在草图生成人脸的实验中,常用方法要求输入草图与生成图像之间的像素一一对应,以产生与输入对齐的输出。如果输入不完整时,可能无法有效地完成草图到图像的转化任务,如pix2pixHD。

从实验结果来看,pix2pixHD处理抽象草图的视角效果很差。对此,Psp提供一个专门的映射网络。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

与pix2pixHD相比,FaceDrawing绘制获得了更满意的效果,但它的多样性仍然受到限制,相反Psp具有不同输出的能力,而且更好地保留了细节(如毛发)。

超分辨率(Super Resolution)

该任务的目标是基于低分辨率(LR)输入图像转化为高分辨率人脸图像。常用方法是采用脉冲(PULSE)无监督的方式。具体而言,对于给定的LR输入图像,脉冲遍历HR图像流,以搜索缩小到原始LR图像的HR图像。

但不同的是,在这里研究人员重点研究了有监督方式下,应用pSp的解决效果。从实验对比结果来看,pix2pixHD在16 X16的向下采样,以及PULSE在8 X 8采样时,在视觉上均存在明显失真。而PsP均能在原始图像的基础上,获得更有真实感的图像。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

另外,研究人员在论文中还展示了pSp模型在局部编辑、图像修复和人脸图像插值等应用中的效果,关于更多论文中的内容可参见:

最后这款AI模型已经在GitHub对外开源。

AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王”有点酷

感兴趣的朋友可以速戳链接体验一下,看看你喜欢的动漫角色真人化后会是什么亚子~

引用链接:

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
xiachufang.comPR查询结果

PR值全称为PageRank(网页级别),取自Google的创始人LarryPage。它是Google排名运算法则(排名公式)的一部分,PR查询可以根据域名查出对应网站(可查内页)的PR。

虎课网

虎课网是超过1800万用户信赖的自学平台,拥有海量设计、绘画、摄影、办公软件、职业技能等优质的高清教程视频,用户可以根据行业和兴趣爱好,自主选择学习内容,每天免费学习一个教程。

济南网站建设

跃动策划,专注网站建设15年,服务近1000家客户,立足济南,服务全国:400-133-1941。

日照开锁

日照军人开锁-服务电话:0633-5552200,是日照开锁有执照的正规日照开锁公司,专业的日照开锁公司,证件齐全,你放心的保障-24小时咨询开锁电话

专业装修网

装信通网装修一站式服务平台,专业装修网,入驻全国上万家装修公司与设计师,为全国业主提供傻瓜式装修服务:发布装修招标免费申请本地装修装饰公司上门量房报价对比,并享受充分的第三方装修保障,同时整理丰富的装修知识学习装修经验、提供精美的装修效果图参考,让您轻轻松松搞装修!

浙江铠甲汽车零部件有限公司

浙江铠甲汽车零部件有限公司首页,专业提供各类塑料制品、汽车部件及塑料、金属表面处理加工服务。致力于为客户打造高质量的汽车零部件加工解决方案。

玻璃反应釜

岐昱实业(上海)有限公司专注于玻璃反应釜、旋转蒸发仪、分子蒸馏、薄膜蒸发器、分液器、真空抽滤器、真空泵、温控系统、尾气吸收装置等实验室及工业生产设备的生产及销售,并提供定制服务。

外贴式液位计

济南图科电子有限公司为国家高新技术企业,公司潜心致力于超声技术应用领域的研究,建立了领先的科研技术团队,凭借强大的技术研发能力,开发了拥有核心技术和完全自主知识产权的外贴式超声波液位计、外贴式超声波液位开关、雷达物位计等产品。外贴式液位计,外贴式超声波液位计,外贴式液位开关,外测液位计,外测式液位计,外测式液位开关,声呐式液位计,液氨液位计,液化气液位计,液氯液位计、雷达物位计、音叉物位开关,油枕液位计、变压器油枕液位计,变压器油液位计;

掌上之家

掌上之家是免费好用的安卓应用市场,为用户免费提供实用的各类安卓手机应用app,还有2024年热门好玩的手机游戏免费下载。

尾气净化

河北汉蓝环境科技有限,电话:0311-83655680、83655628公司提发电机组尾气净化,柴油机黑烟净化器,叉车尾气净化器,矿山机械尾气处理,分布式能源站SCR脱硝,船舶脱硫脱硝,锅(窑)炉脱硫脱硝

玖佰网

玖佰网是一个免费建站平台根平台,无需任何编程和设计经验即可进行免费网站建设,任何人都可以短时间内快速自助建站,并且适配移动设备和微信进行响应式手机免费建站。

全局底部横幅