跟着蔡徐坤跳起了 鸡你太美 AI把特朗普变成了dancer (跟着蔡徐坤跳舞的是谁)
“好家伙！”
“现在的Paper也是越来越皮了”。正在开心摸鱼的同事，边说边给我发过来一段Demo。
原来『宝藏男孩』特朗普又被玩坏了。
『被逼着』跟蔡徐坤跳起了“鸡你太美”（谐音梗）。
（川宝：AI不讲武德！）
跟二次元萝莉跳起了萌系宅舞。
（ 川宝：给我顶小红帽，跳的比她好[傲娇脸]）
跟印度小哥跳起了Jackson的经典舞步。
（川宝：快看我的舞姿是不是很性感？）
看完Demo，正为找不到选题疯狂薅头发的小编我，一时也是惊住了：好家伙！今天的选题有了！！
火速让同事把资料推给了我。
原来逼着川宝大秀舞姿的是上海科技大学研究团队的最新AI，这篇AI论文名为——《Liquid Warping GAN with Attention：A Unified Frame work for Human Images Synthesis》
简单理解就是，基于特定框架的AI，能够完成运动仿真、外观转换以及新视图合成等人体图像处理任务。上面特朗普的舞蹈Demo是AI合成的最终展示效果。 （获取完整视频见文末）
接下来，我们来扒一扒它背后的合成原理。
『注意型液化GAN』模型
人体图像合成，在影视制作、游戏制作、角色动画/转换、虚拟服装试穿等方面有着巨大的潜在应用。
一般来讲，在给定一个源人体图像和参考图像下，它需要完成三项任务：
1、运动仿真：生成一个具有源人类纹理和参考人类姿势的图像。
2、新视图合成：从不同视角捕捉人体新图像并合成。
3、外观转换：在参照人体图像穿着衣服时，生成保持源面部身份的人类图像。（不同人可能穿同样的衣服）
在处理以上任务时，现有方法主要采用2D关键点来估计人体结构。
然而，它们仅表达位置信息，无法表征人的个性化形状并模拟肢体旋转。对此，研究人员提出了一套全新的模型处理框架：
它包括身体网格恢复模块（Body Mesh Recovery），流合成模块（Flow Composition），以及带有液体翘曲块（Liquid Warping Block ，LWB) 的GAN模块三个部分。
Isi为给定源图像，lr为参考图像
其中，使用3D身体网格恢复模块用来解开人体姿势和形状，不仅可以模拟关节的位置和旋转，还可以表征个性化的身体形状；使用带有液体翘曲块（AttLWB）的GAN，保留纹理，样式，颜色和脸部身份等源信息；将图像和特征空间中的源信息传播到合成参考，通过去噪卷积自动编码器提取源特征，以很好地表征源身份。
具体方法如下：
Body Mesh Recovery： 其作用是预测运动姿态（肢体旋转）和形状参数，以及每个图像的三维网格。主要使用HMR进行三维姿态和形状估计。
Flow Composition ：在已有估计基础上，利用摄像机视图，为每个源网格和参考网格绘制一个对应图和一个权重索引图。主要使用完全可微的渲染器—神经网格渲染器（NMR）来完成。
Attentional Liquid Warping GAN： 该阶段负责合成高保真的人体图像。它需要完成：
1）合成背景图像。
采用Three-stream的方法：包括GBG流，对被遮罩的背景图像和在颜色信道中获得的掩模进行级联；源标识流GSID，引导编码器提取能够保留源信息的特征；源标识流GT-SF，由双线性取样器接收扭曲前景，对应映射作为输入，以合成最终结果。
2）基于可见部分预测不可见部分的颜色。
采用鉴别器进行识别，它是一个全局-局部内容导向（Global-Local Contentorientation）架构，包括全局鉴别器DGlobal，身体鉴别器DBody和面部鉴别器三个部分。
3）从SMPL重建中生成衣服、头发等像素。
这里主要采用了注意力液化块（如下图），它在旧有方法上解决了在人体运动仿真中，源图像多视点输入，以及在外观传递中，服装的不同部位来自不同的人等问题。
除此之外，为了提高泛化能力，研究人员引入了一种一次/几次学习策略。
创建数据集
除了模型外，要想得到高保真输出效果，还需要有高质量的数据集。
研究人员建立了三个测试/训练数据集和一个评估数据集。分别为Impersonator、MotionSynthetic、FashionVideo和Youtube-Dancer-18.
Impersonator（iPER），是一个具有多种样式、不同人物穿不同衣服的数据集。
它有206个视频、241564帧画面。涉及30名受试者，每个受试者穿着不同的衣服（共103件衣服。），表演一个A形视频和一个随机动作的视频。
另外，iPER还包括了他们的动作、服装、身高和体重分布等统计信息。
MotionSynthetic运动合成数据集，创建该数据集的目的是便于对人体穿着的真实感进行综合评价，特别是通过合成的图像数据集，可以对不同的服装外观进行综合评价。
该数据集总共有120个网格，所有这些具有UV纹理图像的网格都已在SMPL中注册。对于每个网格，从Mixamo中选择一个姿势序列，从互联网上选择一个背景图像。基于网格、UV图像、姿势序列和背景图像等信息，采用核磁共振（NMR）对合成图像进行渲染，总共得到39529帧。
再根据不同的网格划分为8:2的训练/测试集，如下图中的合成图像。
FashionVideo：它包含500个训练和100个测试视频，其中每个女模穿着Fashion的衣服，服装和质地千差万别，手势却很少。每个视频大约有350帧。另外，这个数据集缺乏背景的多样性，所有的背景都是黑色的。如图：
Youtube-Dancer-18：是作为评估数据集，对该方法的有效性和通用性进行检验。它全部是从YouTube平台下来来的，总共18个，每个视频持续4到12分钟。（如上图Dancer）
需要说明的是，研究人员没有在这个数据集中训练模型，只是对SN帧进行了个性化采样，并直接对该数据集进行测试，以评估现有所有方法的泛化能力。
经过实验分析，与现有其他方法，该方法在运动仿真、外观转换以及新视图合成三项综合任务上均达到了最佳性能。我们再来看一组展示Demo：
研究团队
如之前所述，这项AI研究团队来自上海科技大学。
高盛华，是上海科技大学副教授，博士生导师。也是该项研究的通讯作者。他2008年获得中国科技大学理学学士学位（优秀毕业生），2012年获得南洋理工大学博士学位，2012至2014年，在新加坡高级数字科学中心担任博士后。
他的研究兴趣包括计算机视觉和机器学习。
该项研究的一作是上海科技大学在读博士—Wen Liu。
他的研究方向主要集中在人体三维重建、图像合成、运动传递、新视角合成、神经绘制和视频异常检测等方面。
其他作者还有：深圳腾讯AI实验室的首席研究员Lin Ma，主研计算机视觉、多模式深度学习领域；上海科技大学硕士Zhixin Piao，主要研究课题是人体三维重建和运动传递；上海科技大学本科毕业生Zhi Tu，研究课题是人体运动传递和医学图像分析；英国伦敦帝国理工学院博士罗文汉，其研究方向包括计算机视觉和机器学习的几个主题，如运动分析、图像/视频质量恢复、目标检测与识别、强化学习等。
论文地址：
YouTube地址：
引用链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
中钢国检-第三方工程检测公司，业务范围：桥梁检测,隧道检测,道路检测,钢结构检测,风电检测,地基基础检测。拥有CMA/CNAS/ILAC等检测证书，您值得信赖！
广西玉柴机器集团有限公司始建于1951年，总部位于广西玉林市，是一家以资本运营和资产管理为核心的投融资管理型公司、国有大型企业集团，旗下拥有30多家全资、控股、参股子公司，总资产417亿元，员工约1.6万人。
山东贝特尔环保科技有限公司专业经营垃圾焚烧炉,医用焚烧炉,医疗垃圾焚烧炉,公司作为资深的环保设备生产企业，产品广泛应用于农业、石油、化工等领域的工业污水和生活市政污水处理！欢迎来电咨询
鉴金财经是一个专业的期货直播间，主要有恒指期货喊单、道指期货喊单、德指期货直播室、原油直播室和黄金直播室等一系列国际期货直播室组成。
江苏金丰机电有限公司，公司专业专注从事新能源车用智能动力系统研发、制造及销售项目，是集科工贸于一体的高新技术企业。
海联集团倾力打造的海联云客里O2O装饰商城，为您提供装饰建材、地板橱柜、灯具卫浴、门业锁具、五金家电、家装生活馆，海联云客里是您一站式家装生活的好帮手。
集生态环境之天然、交通网络之豁然、配套设施之怡然于一身。无可匹敌地成为上海的商务商业新地标、天下客商追逐的新目标。
苏州国之旭贸易有限公司坐落于百强县首昆山市，我们是一家专注于废铝回收，再生铝回收，废铜回收业务，再生铝合金锭销售，金属硅销售企业；如果您有废铝回收的需求，或者希望与我们合作，欢迎随时联系我们。
靖江市四季风空调设备有限公司专业生产诱导风机，管道风机风机盘管、组合式空调机组、新风机组、变风量空调器、新风全热换气机等上百个品种，咨询电话：13327781568
成都鑫创物流是一家从事成都到全国的陆运、空运、海运物流服务的物流公司。成都物流公司以快捷、准时、安全、优惠的服务宗旨为广大客户服务！
湖北江南专用特种汽车有限公司是一家具有消防车生产资质和国家工信部公告的消防车生产厂家，水罐消防车、泡沫消防车、泡沫干粉消防车、工程抢险车，消防洒水车，细水雾消防车，高喷消防车，供气消防车。
蚌埠压缩机，天然气压缩机,液化气压缩机,氟利昂压缩机,沼气压缩机,氯化氢压缩机,氢气等各种气体压缩机的定制,联系电话0552-4111699邮箱：aotysj@163.com
随着社会的经济发展，人口的流动不断的增加，人们外出旅游或者是外出工作以及出差，在外的话，很多人都会选择酒店，酒店入住方便，而且拥有优越的生活条件，并且很多的孩子都会有常常去住酒店的想法，市面上的酒店品牌很多，而莹润酒店就是一家具有很高的商业价值的酒店，酒店的环境好，服务的质量高，并受到消费者的认可，一些创业者也想要加入酒店行业，以获得...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
很多人在周末的时候就会出门逛超市，购买自己日常生活需要的东西，现在大多数的人群都会选择智能超市，智能超市不需要排队，而且都是扫码付款，比较方便，因此也就出现了各种系列的智能超市品牌，E21智能超市一直都是有很强的实力，会为顾客提供贴心的服务，所售卖的产品种类很齐全，性价比很高，顾客都很喜欢去这个品牌超市购买东西，所以众多创业者发展了品...。
手机已经是生活必需品，人手一台，由于手机的快速发展也促使了手游行业迎来了迅速的扩展，现在多数人手机上都安装各类的手机游戏，休闲的时间玩玩手游打发时间，随着手游的广受欢迎，很多人开始加盟其中，龙创手游就是一个比较好的加盟项目，于是，大家都在问龙创手游加盟费，谁加盟过，接下来，跟着小编一起来看看吧！龙创手游本着玩家充值，你就收效的经营理念...。
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
人靠衣装，美靠靓妆，很多女性朋友为了永葆美丽肌肤，焕发无穷魅力，就会时常光顾美容院，正是因为有这样旺盛的需求，国内美容行业也就取得了突破性的发展，不少创业者都想开一家美容院加盟店，那么，2016容院加盟什么牌子好，小编在此为大家推荐百莲凯美容院，百莲凯美容院成立于2001年，是美容连锁经营的先驱，百莲凯拥有独立的科研、生产及人才培训基...。
水果捞是一种制作简单、原材料易得的甜品，尽管价格不菲，却因其健康美味而受到消费者的喜爱，水果捞主要由各种新鲜水果、酸奶、冰沙、冰淇淋和干果仁等组合而成，尤其在夏季备受欢迎，常见的水果有西瓜、芒果、桃子、草莓、奇异果、哈密瓜、圣女果、火龙果等，制作方法简单快捷，即切即食，既新鲜又解暑，那么，现在开一家水果捞店前景如何?水果捞店因其健康美...。
餐饮行业一直都是很不错的行业，会因为一个网红或者一个网站，带动了一个品牌的发展，美食一直都是离不开消费者生活的，经过网络时代的传播，会有很多人知道这种品牌，就像鲜贝恋贝壳粉品牌，网络时代给这个项目带来了很多的销售额，现在成为了一种网红项目，有些智慧之选商关注了这个项目，在消费者的眼中的爆品，鲜贝恋贝壳粉加盟费多少，鲜贝恋贝壳粉的由来就...。
马上就到十一国庆了，假期里想好怎么穿搭了吗，在这个秋意浓浓的日子里，姑娘们也是时候为自己准备几件内搭单品了，那么女生秋季内搭怎么穿好看呢，今天丹比奴女装为大家献上时尚的五款内搭单品，怎么穿都不会出错哦！秋季内搭单品1，针织衫寒冷的秋季入手一件针织衫是必须的，作为经典色调的白色是内搭受欢迎的色彩之一，一款修身版型的高领针织衫，简约大气的...。
孩子的教育问题始终都是社会热门话题，在双减政策的加持下，推动素质教育行业的快速发展，AI技术得到很多家长的认可，为孩子们带去更好素质教育，北四网校AI智领学习平板历经二十多年发展，创意运营模式，先进教学理念，使其成为教育领域中的实力品牌，那么北四网校AI智领学习平板好加盟吗，售后服务如何，北四网校AI智领学习平板从品牌创建到现在已经有...。
现在的人都十分重视饮食营养，吃东西讲究营养，其实每一种食物都有自身的营养价值，都有它存在的意义，但是不同的烹制方法会使食物的营养价值流失，失去了食物本身的营养价值，在众多烹制方法中，清蒸或是蒸焖是一种很好的烹制方法，因为这种烹制方法不会造成食物的营养流失，小火老师焖锅是一家生意不错的餐饮店品牌，该餐饮店所销售的食物都是以焖为主，食物健...。
创业哪个项目好，近年来儿童阅读加盟行业持续保持增长状态，主要在于以下几点，·全民阅读、文化自信是大背景，阅读是一个比较好的创业切入口；·9月份新的中小学新教材上线，整本书阅读对孩子的阅读量、阅读能力提出了更高的要求；·AI时代，培养孩子的综合能力成为大趋势，而阅读是其中的重要途径……在这种背景下，以借阅，读书会，研学活动为运营模式的书...。
雷锋网AI科技评论按，本文作者为阿德莱德大学助理教授吴琦，他在为雷锋网AI科技评论投递的独家稿件中回顾了他从跨领域图像识别到Vision，to，Language相关的研究思路，如今正将研究领域延伸到与Action相关的工作，雷锋网AI科技评论对文章做了不改动原意的编辑，大家好，我叫吴琦，目前在阿德莱德大学担任讲师，助理教授，2014...。
10月20日下午，在云栖大会·阿里云数字生态创新峰会上，蚂蚁链与德勤宣布达成战略合作，双方表示将融合各自优势为企业提供前沿的科技赋能的数智化转型方案，助力产业协作数字化升级，德勤管理咨询中国首席执行官戴耀华表示，双方合作能将德勤的行业洞察、管理咨询能力以及企业数字化转型实施经验与蚂蚁链的技术产品与行业解决方案完美融合，共同打造更智慧...。
肖锋至今清晰记得，2020年秋天，他和微盟产研部门众多团队一号位共同举起酒杯立军令状那个下午，当时其实面临两个挑战，一个是项目本身的难度，要做一个新的商业操作系统，同时满足微盟自身、微盟客户尤其是大客户和第三方生态伙伴的多维度需求；另一个是，这个事情在国内外业界，都完全没有可参照对象，肖锋回忆，，内心是又忐忑又兴奋的状态，忐忑是因为...。
10月21日至24日，被誉为金融界，奥运会，的Swift国际银行业运营大会2024年会，以下简称，Sibos2024年会，在北京国家会议中心举行，这是Sibos年会自创办44届以来，首次在中国内地城市举办，本次年会期间有来自150多个国家和地区的10000多位嘉宾齐聚北京，就本次会议主题，未来金融，协同互联，及相关议题进行深度探讨及...。
iPhone16可能不能用微信苹果腾讯双双回应,微信,腾讯,双双,ios,苹果手机,苹果公司,iphone手机
