多种高难度乐器信手拈来！ 就能完美复现音乐 MIT联合沃森实验室团队推出最新AI 只看手势动作 (多种高难度乐谱图片)
会玩乐器的人在生活中简直自带光环！
不过，学会一门乐器也真的很难，多少人陷入过从入门到放弃的死循环。
但是，不会玩乐器，就真的不能演奏出好听的音乐了吗？
最近，麻省理工（MIT）联合沃森人工智能实验室（MIT-IBM Watson AI Lab）共同开发出了一款AI模型 Foley Music ，它可以根据演奏手势完美还原乐曲原声！
而且还是不分乐器的那种，小提琴、钢琴、尤克里里、吉他，统统都可以。
只要拿起乐器，就是一场专业演奏会！如果喜欢不同音调，还可以对音乐风格进行编辑，A调、F调、G调均可。
这项名为《Foley Music：Learning to GenerateMusic from Videos》的技术论文已被ECCV2020收录。
接下来，我们看看AI模型是如何还原音乐的？
会玩多种乐器的Foley Music
如同为一段舞蹈配乐需要了解肢体动作、舞蹈风格一样，为乐器演奏者配乐，同样需要知道其手势、动作以及所用乐器。
如果给定一段演奏视频，AI会自动锁定目标对象的身体关键点（Body Keypoints），以及演奏的乐器和声音。
身体关键点：由AI系统中的 视觉感知模块 （Visual Perception Model）来完成。它会通过身体姿势和手势的两项指标来反馈。一般身体会提取25个关2D点，手指提起21个2D点。
乐器声音提取：采用 音频表征模块 （Audio Representation Model），该模块研究人员提出了一种乐器数字化接口（Musical Instrument Digital Interface，简称MIDI）的音频表征形式。它是Foley Music区别于其他模型的关键。
研究人员介绍，对于一个6秒中的演奏视频，通常会生成大约500个MIDI事件，这些MIDI事件可以轻松导入到标准音乐合成器以生成音乐波形。
在完成信息提取和处理后，接下来， 视-听模块 （Visual-Audio Model）将整合所有信息并转化，生成最终相匹配的音乐。
我们先来看一下它完整架构图：主要由视觉编码，MIDI解码和MIDI波形图输出三个部分构成。
视觉编码： 将视觉信息进行编码化处理，并传递给转换器MIDI解码器。从视频帧中提取关键坐标点，使用GCN（Graph-CNN）捕获人体动态随时间变化产生的潜在表示。
MIDI解码器： 通过Graph-Transfomers完成人体姿态特征和MIDI事件之间的相关性进行建模。Transfomers是基于编解码器的自回归生成模型，主要用于机器翻译。在这里，它可以根据人体特征准确的预测MIDI事件的序列。
MIDI输出： 使用标准音频合成器将MIDI事件转换为最终的波形。
实验结果
研究人员证实Foley Music远优于现有其他模型。在对比试验中，他们采用了三种数据集对Foley Music进行了训练，并选择了9中乐器，与其它GAN-based、SampleRNN和WaveNet三种模型进行了对比评估。
其中，数据集分别为AtinPiano、MUSIC及URMP，涵盖了超过11个类别的大约1000个高质量的音乐演奏视频。乐器则为风琴，贝斯，巴松管，大提琴，吉他，钢琴，大号，夏威夷四弦琴和小提琴，其视频长度均为6秒。以下为定量评估结果：
可见，Foley Music模型在贝斯（Bass）乐器演奏的预测性能最高达到了72%，而其他模型最高仅为8%。
另外，从以下四个指标来看，结果更为突出：
黄色为Foley Music模型，它在各项指标上的性能表现远远超过了其他模型，在正确性、噪音和同步性三项指标上最高均超过了0.6，其他最高不足0.4，且9种乐器均是如此。
另外，研究人员还发现，与其他基准系统相比，MIDI事件有助于改善声音质量，语义对齐和时间同步。
说明
另外，该模型的优势还在于它的可扩展性。MIDI表示是完全可解释和透明的，因此可以对预测的MIDI序列进行编辑，以生成A\G\F调不同风格音乐。如果使用波形或者频谱图作为音频表示形式的模型，这个功能是不可实现的。
最后研究人员在论文中表明，此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性，实现了音乐风格的可拓展性。为当前研究视频和音乐联系拓展出了一种更好的研究路径。
以下为Youtobe视频，一起来感受下AI音乐!
引用链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
快速查询用户的IP和浏览器、操作系统。可以批量查询IP地址所在地，可以解析域名的多个IP地址。已完美支持IPv6查询。
hao123网址导航数码频道，提供准确、丰富、全面的数码产品、I产品的报价、资讯、导购、行情等信息。
热喷涂零零一网提供热喷涂技术、热喷涂设备、热喷涂材料、热喷涂加工的信息，收录了大量的热喷涂企业信息，并且有大量的热喷涂资料、标准供大家参考。
西安文旅项目规划运营就找西安尚菲文旅公司，一家专业从事西安大型演唱会音乐节策划承办执行，体育赛事承办策划设计执行以及城市亮化，乡村振兴，明星经纪和大型晚会年会策划设计导演的西安会议会展策划执行公司，可提供西安舞台工程安装与租赁，位于陕西西安曲江演艺大厦。
汕头人就上“蓝色河畔”(www.hepan.com)是粤东地区最具人气、网络用户量最多、覆盖面最广、高影响力的时尚网络平台。里面包含了汕头招聘网、汕头美食、汕头旅游、汕头房产、汕头汽车、汕头市场、汕头校园等网络平台！
164580谐音“要螺丝，我帮您”，帮您实现小螺丝的大梦想。专业的标准紧固件、非标紧固件、塑料螺丝、钢丝螺套、不锈钢螺丝采购平台。
广州毅佳电子有限公司，EAS厂家，供应超市防盗系统、EAS防盗系统、声磁防盗系统、服装店防盗系统。专业提供EAS防盗系统及相关服务。供应防盗软标签，防盗硬标签，声磁软标签，超市防盗扣等防盗标签。
安康亲子鉴定中心2007年成立,专业提供各类DNA亲子鉴定,如隐私亲子鉴定,亲缘亲子鉴定,隔代亲子鉴定,孕期亲子鉴定等服务,目前在国内23个省份和3个直辖市设立百余家机构服务网点。
高压绝缘件,有断路器固封极柱、熔丝筒、双通套管、开关壳体、穿墙套管、绝缘子、绝缘筒、触头盒、传感器等，并集新产品技术开发、来图来样加工、生产、技术培训、销售服务于一体的科技型企业，是环氧树脂压力凝胶高品质绝缘件的制造商、供应商。
锦易佳是专业的赣州隔断厂家，专注赣州卫生间隔断、办公室玻璃隔断、酒店屏风等隔断工程定制，业务覆盖赣州、南康、信丰、兴国、大余、于都、宁都、上犹、龙南、瑞金、会昌、定南、全南、吉安、石城等地。
行业解决方案
兴证全球基金管理有限公司于2003年9月30日成立。自成立以来，公司始终以“基金持有人利益最大化”为首要经营目标，遵循诚信、规范、稳健的经营方针，倡导严谨、求实、高效的管理作风，以风险控制、长期投资、价值投资的投资理念，专业、专注、创新的运营方式管理和运用基金资产，为基金持有人提供一流的投资理财服务。
会玩乐器的人在生活中简直自带光环！不过，学会一门乐器也真的很难，多少人陷入过从入门到放弃的死循环，但是，不会玩乐器，就真的不能演奏出好听的音乐了吗，最近，麻省理工，MIT，联合沃森人工智能实验室，MIT，IBMWatsonAILab，共同开发出了一款AI模型FoleyMusic，它可以根据演奏手势完美还原乐曲原声！而且还是不分乐器的那...。
所谓的餐饮加盟，就是该企业组织，或者说餐饮加盟连锁总公司与餐饮加盟店二者之间的持续契约的关系，根据契约，总公司必须提供一项独特的商业特权，并加上人员培训、组织结构、经营管理及商品供销的协助；而餐饮加盟店也需付出相对的报偿；它是一种经济而简便的经商之道，经由一种商品或服务以及行销方法，以小的危险和大的机会获得成功，...。
湖北今日解除除武汉外交通管控，武汉4月8日零时，解封，湖北省新型冠状病毒感染肺炎疫情防控指挥部发布通告，从3月25日零时起，湖北除武汉外解除交通管控；从4月8日零时起，武汉市解除离汉离鄂通道管控措施，有序恢复对外交通，离汉人员凭湖北健康码，绿码，安全有序流动，界面，安倍和国际奥委会主席通话，确定奥运会延期一年举行3月24日，据央视新...。
特斯拉盘中巨震收跌3%，盘中涨逾16%，市值一度超宝洁7月13日消息，特斯拉，TSLA.O，盘中一度涨逾16%，市值突破3200亿美元，该股股价今年以来累涨超300%，不足半个月市值狂飙1000多亿美元，但截至收盘，特斯拉创下历史新高后上演高台跳水，最终收跌3%，根据财经信息供应商FactSet的数据，在周一开盘后，特斯拉的市值增加到...。
年初，OpenAI推出文本，视频生成模型Sora，只需输入提示文本描述，或输入一张图片，Sora就能生成类似电影大片的逼真场景视频，前所未有的新奇观感，让大众直呼，现实不存在了，惊叹之余，Sora所展现出的神奇，魔法，，也让业界意识到AI视频生成在高清晰度、高保真度、高质量方面的巨大潜力与价值，此后，AI视频生成模型摇身一变成为科技...。
禾多已经成了一个饭桌上的谈资了，2023年中，随着广汽官宣第三次加注投资，禾多成为当时最风光的智驾公司之一，创始人倪凯是百度自动驾驶元老，合伙人蒋京芳是具有21年量产经验的博世高管，当外界开始认定禾多已经拿到通往新一轮竞争的船票时，禾多却在2024年初开启大裁员，仅保留180人左右的规模，并从2024年2月份开始缓发员工工资与被裁...。
