多种高难度乐器信手拈来！ 就能完美复现音乐 MIT联合沃森实验室团队推出最新AI 只看手势动作 (多种高难度乐谱图片)
会玩乐器的人在生活中简直自带光环！
不过，学会一门乐器也真的很难，多少人陷入过从入门到放弃的死循环。
但是，不会玩乐器，就真的不能演奏出好听的音乐了吗？
最近，麻省理工（MIT）联合沃森人工智能实验室（MIT-IBM Watson AI Lab）共同开发出了一款AI模型 Foley Music ，它可以根据演奏手势完美还原乐曲原声！
而且还是不分乐器的那种，小提琴、钢琴、尤克里里、吉他，统统都可以。
只要拿起乐器，就是一场专业演奏会！如果喜欢不同音调，还可以对音乐风格进行编辑，A调、F调、G调均可。
这项名为《Foley Music：Learning to GenerateMusic from Videos》的技术论文已被ECCV2020收录。
接下来，我们看看AI模型是如何还原音乐的？
会玩多种乐器的Foley Music
如同为一段舞蹈配乐需要了解肢体动作、舞蹈风格一样，为乐器演奏者配乐，同样需要知道其手势、动作以及所用乐器。
如果给定一段演奏视频，AI会自动锁定目标对象的身体关键点（Body Keypoints），以及演奏的乐器和声音。
身体关键点：由AI系统中的 视觉感知模块 （Visual Perception model）来完成。它会通过身体姿势和手势的两项指标来反馈。一般身体会提取25个关2D点，手指提起21个2D点。
乐器声音提取：采用 音频表征模块 （Audio Representation Model），该模块研究人员提出了一种乐器数字化接口（Musical Instrument Digital Interface，简称MIDI）的音频表征形式。它是Foley Music区别于其他模型的关键。
研究人员介绍，对于一个6秒中的演奏视频，通常会生成大约500个MIDI事件，这些MIDI事件可以轻松导入到标准音乐合成器以生成音乐波形。
在完成信息提取和处理后，接下来， 视-听模块 （Visual-Audio Model）将整合所有信息并转化，生成最终相匹配的音乐。
我们先来看一下它完整架构图：主要由视觉编码，MIDI解码和MIDI波形图输出三个部分构成。
视觉编码： 将视觉信息进行编码化处理，并传递给转换器MIDI解码器。从视频帧中提取关键坐标点，使用GCN（Graph-CNN）捕获人体动态随时间变化产生的潜在表示。
MIDI解码器： 通过Graph-Transfomers完成人体姿态特征和MIDI事件之间的相关性进行建模。Transfomers是基于编解码器的自回归生成模型，主要用于机器翻译。在这里，它可以根据人体特征准确的预测MIDI事件的序列。
MIDI输出： 使用标准音频合成器将MIDI事件转换为最终的波形。
实验结果
研究人员证实Foley Music远优于现有其他模型。在对比试验中，他们采用了三种数据集对Foley Music进行了训练，并选择了9中乐器，与其它GAN-based、SampleRNN和WaveNet三种模型进行了对比评估。
其中，数据集分别为AtinPiano、MUSIC及URMP，涵盖了超过11个类别的大约1000个高质量的音乐演奏视频。乐器则为风琴，贝斯，巴松管，大提琴，吉他，钢琴，大号，夏威夷四弦琴和小提琴，其视频长度均为6秒。以下为定量评估结果：
可见，Foley Music模型在贝斯（Bass）乐器演奏的预测性能最高达到了72%，而其他模型最高仅为8%。
另外，从以下四个指标来看，结果更为突出：
黄色为Foley Music模型，它在各项指标上的性能表现远远超过了其他模型，在正确性、噪音和同步性三项指标上最高均超过了0.6，其他最高不足0.4，且9种乐器均是如此。
另外，研究人员还发现，与其他基准系统相比，MIDI事件有助于改善声音质量，语义对齐和时间同步。
说明
另外，该模型的优势还在于它的可扩展性。MIDI表示是完全可解释和透明的，因此可以对预测的MIDI序列进行编辑，以生成A\G\F调不同风格音乐。如果使用波形或者频谱图作为音频表示形式的模型，这个功能是不可实现的。
最后研究人员在论文中表明，此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性，实现了音乐风格的可拓展性。为当前研究视频和音乐联系拓展出了一种更好的研究路径。
以下为Youtobe视频，一起来感受下AI音乐!
引用链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
《生死狙击2》是一款华流次世代畅爽射击网游！生死狙击2打造全模式玩法，极致超燃战斗体验！4399生死狙击2官网提供更多游戏视频、生死狙击2游戏下载、游戏攻略等资料。
南通莱顿检测技术服务有限公司
这里有所有篇，叶ིྀ落ིྀ知ིྀ秋ིྀ的菜谱和视频，以及所有的故事
南通海天摩擦材料科技有限公司专业生产各类摩擦片、机械用工业印刷机械刹车片、包装机械制动器摩擦片、纺织机械离合摩擦片、橡胶机械制动器刹车片、线缆机械设备摩擦片、食品机械离合器摩擦片、工程机械制动电机刹车片、风电偏航制动刹车片等高端摩擦制品。
小葱科技以整合供应链为基础，通过整合实物，虚拟供应链，向合作方和消费者提供全类目，高品质的一站式服务平台，通过APi，H5，团购，集采，一站式代发等方式，帮助企业客户实现一站式采购。降低采购成本，提高采购效率。 小葱科技提供产品供应链，仓储物流，技术研发到创新营销策略一站式解决方案！满足各种私域电商对全品类商品一件倒入，一件代发，极速售后等功能需求，助力企业降本增效。 小葱科技提供虚拟类产品对接，整合数百种互联网会员权益，涵盖影音娱乐，吃喝玩乐，衣食住行，等生活场景
广州市正穗财税咨询有限公司是一家成立17年的公司，主要为大家提供企业服务、财务服务、知识产权等服务，主要的业务包括广州注册公司、商标注册、代理记账等，如有需求可以联系我们。
签收满意后再付款,获多家媒体报到,福州鲜花新鲜的花材,特价优惠,福州鲜花店不满意免单、过期退款,福州兰草缘花坊,具影响力的,福州市订花异地订花,福州送鲜花用心传递,送花到福州覆盖本地及全国各区县。
广州仟岱机电设备有限公司，主营仟岱离合器，仟岱刹车器，台湾仟岱所生产产品。
★★★★安平县龚祥丝网制品有限公司专业生产防鸟网,尼龙防鸟网,果园尼龙防鸟网,葡萄果园尼龙防鸟网,防鸟网厂家,防鸟网生产厂家,德阳尼龙葡萄果园防鸟网,达州葡萄果园尼龙防鸟网,泸州葡萄果园防鸟尼龙网各种规格可加工定做。
项目管理者联盟网[www.mypm.net]是国内最知名的项目管理专业网站，涵盖工程项目管理领域，IT软件项目管理领域，制造研发项目管理领域的项目管理专业资料、知识与专题。
九色石（广东）建筑材料科技有限公司
欢迎来到我的技术博客。在这里，我分享我在软件开发、编程语言、前端和后端技术等方面的见解和经验。让我们一起学习和成长！
韩国的料理阿谷屋石锅拌饭是一个知名的品牌，是韩国传统的美食口味正宗独特，阿谷屋石锅拌饭从韩国聘请专业的美食大师参与菜品研发工作，确保每一款都有浓重的韩式风情，阿谷屋石锅拌饭品牌将食品健康放在首位，精选好的上等原料，让消费者在这里能够吃到健康、合格、正宗的营养韩餐，市场好评不断，今天小编就给大家介绍一下阿谷屋石锅拌饭加盟怎么样，那么阿谷...。
从IT、汽车和新能源到城市轨道交通，云轨，，比亚迪在不断扩张自己的边界，2016年10月，比亚迪正式发布云轨计划，并与广东汕头签订了价值近400亿的云轨合同，为汕头市建造250公里的线路，在中国像汕头这样的城市有273个，那就是近10万亿的市场，比亚迪总裁王传福在当时表示，这个城市轨道交通业务被看作是比亚迪未来发展的战略方向之一，...。
成都肥肠粉沿袭传统的制作工艺，采用制造的自有工艺，令成都肥肠粉吃起来更加的顺滑可口，麻辣鲜香，成都肥肠粉也凭借该出众的美味一跃成为四川的特色小吃，人气鼎盛，那对于成都肥肠粉有着喜好之人更是数不枚举，这较高的人气更是彰显着出色市场商机，成为较具智慧之选价值的项目，那么现在成都肥肠粉怎么加盟，成都肥肠粉以其出色的口味屹立于市场前沿地位，更...。
当下，我们理解5G，一定是基于流量思维，觉得5G一定是流量的盛宴，但是，这个5G的故事，很多人只讲到了一半，在近期浪潮的一场活动上，几位集团高管把其5G布局说的十分透彻，作为关注5G发展的科技媒体，雷锋网也有着自己的观察，当前，作为新基建之首，5G的发展轰轰烈烈，方兴日盛，已经成为国家战略，5G技术的三大特性，大带宽、广连接、低时延，...。
找服饰项目商机，迎女人心内衣投资惊喜，神州加盟网领先服饰品牌代理加盟领域，第一时间与您共享女人心内衣招商最新投资信息[更多]...。
A是意大利人，B是俄罗斯人，C是英国人，D是德国人，E是法国人，F是美国人，过程如下，C不是德国人，条件3，，不是意大利人，条件5，，不是法国人，条件6，，不是美国人，条件1、3，，不是俄罗斯人，条件2、3，，所以C是英国人，A不是美国人，条件1，，不是法国人，条件5，，不是俄罗斯人，条件1、2，，不是德国人，条件1、3，，不是英国人...。
警方介入小在校生在校死亡脖子现勒痕9月9日晚，贵州思南公安通报，9月4日22时许，思南县亭子坝镇小学在校生张某某，男，9岁，在校内寝室出现异常，经送往县人民医院抢救有效，于9月4日23时51分死亡，事发后，思南县公安局及时展开现场勘查、尸表审核、视频调取等上班，现场无打斗痕迹，经查，未发现校园霸凌、教员体罚、与同窗之间存在矛盾等状况，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
加快漫画，依据查问加快漫画网站消息得悉，，86不存在的战区，讲了为了应答吉亚迪所开收回的齐全独立无人战役兵器，军团，的入侵，其邻国圣格诺利亚共和国开发了无人战役兵器消灭之力的故事，于2021年上映，可以在加快漫画网站观看，86闪蝶是谁闪蝶是86漫画外面的，第15集中用来比喻齐利的蛾，在那一集的ED中变成蓝色似乎闪蝶，对应本集中产生的机...。
金牛男性情好处和缺陷如下，1、务虚虚浮，但不足浪漫精气，金牛男身上最清楚的好处，就是共性稳重，务虚虚浮了，不论什么时刻，都像一头勤勉的老黄牛一样，埋头苦干，聚精会神的投入在自己的上班当中，然而他的性情比拟慢热外向，不太擅长向他人表白自己的想法，也疑问得怎样用浪漫的言语执行来讨人欢心，甚至偶然还会遗记关键的纪念日，不足浪漫的精气和想法，...。
在福州，非节假日也能一站式买到高性价比的车辆，第41届中国·福州国际汽车展览会方案6月9日至12日在福州海峡国际会展核心举行，估量展出规模近8万平方米，届时，国际外品牌的数百款车型将集中亮相，红旗新HS5、上汽奥迪A7L黑武士等新车也将在现场集中首发，一站式满足消费者多样化购车需求，助力汽车消费市场提振，激起消费新生机，国际外品牌数百...。
强力杀毒，下载360安捍卫士，全收费的，下载地址，内含卡巴斯基反病毒软件v6.0正式版McAfee，都是收费的，两种我都用过，avast启动较慢，我介绍你经常使用McAfee，McAfee的实时监控环球第一，启动快，杀毒强.收费更新而且无毒，还有，丁香鱼工做室外面的软件都收费且无毒，哪里有收费杀毒软件下载呀，最好不要装置什么插件，...。
编者按，今年5月，华为创始人任正非组织召开了4次座谈会，与华为公司Fellow讨论了在华为在智能社会时代的策略，讨论问题包括人工智能、流量、终端、4G，5G、芯片网络能源等多方面的问题，任正非认为，未来二三十年人类社会将变成智能社会，智能社会就是信息大爆炸的社会，这个时期充满了巨大的机会，没有方向、没有实力的奋斗是不能产生价值的，没...。
交通是国民经济的基础性、先导性、战略性产业，也是重要的服务性行业，被誉为国民经济大动脉，同时，交通出行也是腾讯扎根产业互联网的重要领域，以数实融合推动交通出行智慧化升级，在2022腾讯全球数字生态大会上，腾讯集团副总裁、腾讯智慧交通与出行总裁钟翔平谈到，，我国智能汽车快速发展的背后，正在形成与之相匹配的车、路、城协同的基础设施体系，也...。
雷锋网消息，春雨医生已于近日完成数千万人民币E轮战略融资，本次融资由搜狗科技领投，华新、华锦基金跟投，本轮资金将主要用于春雨医生的战略开拓，从一个医患连接的平台变成一个医疗服务生态，医、药、险等，平台，在医生、患者、医院、医药，器械、保险这5个端点之间建立连接，春雨医生此前已经经历六轮融资，共有22家股东，最近一次融资发生在今年3月，...。
发表在极米投影仪2023，5，2516，19极米H6和当贝F6是价格相近的投影仪，不过当贝F6是最新上市的投影仪，具体极米H6和当贝F6哪款值得入手呢，下面就通过各方面对比来详细了解一下，看看极米H6对比当贝F6哪款好，两款投影仪分别有什么区别，各有哪些优劣势，极米H6和当贝F6区别，1.光源方面，当贝F6采用的是全色4LED光源，而...。
声明，1.以上内容仅代表投诉者本人，不代表黑猫投诉立场，2.未经授权，本平台案例禁止任何转载，违者将被追究法律责任，3.黑猫投诉处理投诉不收取任何费用，凡以黑猫投诉名义收费的均为冒充、欺骗行为，请及时报警并与黑猫官方反馈，举报邮箱heimaotousu@vip.sina.com，4.请大家选择官方渠道解决消费纠纷，不要轻信第三方机构或...。
