动动嘴皮即可打怪 代码教程已开源 用AI声控玩原神 (动动嘴皮子就能到手的感情)
2016年，米哈游掏空家底，all in 游戏项目《原神》，追寻转型之路。2020年全开放式冒险游戏《原神》问世引发游戏圈现象级热议，精美的制作，3A级的画质，更是让游戏在2021年一度登顶56国排行榜。
作为一款角色养成类游戏，原神游戏本身还是还是比较肝的，再加上核心玩法较为简单，游戏后期版本更新缓慢，游戏时间久了之后部分玩家难免产生无聊，却又“食之无味，弃之可惜”的感觉。
言出法随，语音玩原神
在闲着无聊的时候，总有一些大佬的脑回路与众不同，想着整点活。这不，b站硬核整活区up主“薛定谔の彩虹猫”就通过AI算法实现语音控制原神，直接将玩家变成了神奇宝贝训练家，建议游戏改名为“精灵宝可梦：原神”。
具体战斗效果，让我们一起瞅瞅下面的动图。
随着系统提示“在360秒内击败8只怪物”，4只火史莱姆来势汹汹。
原神训练家气定神闲喊出了一句“用战术三攻击中间的火史莱姆”，画面内出现像战斗机一样的绿色追踪框。
神里绫华向史莱姆跑去，随后切换钟离发动技能“元素战技·地心”打出aoe伤害同时套盾，随后凌华再一次登场，一招“神里流·霰步”，打出成吨元素伤害，在火史莱姆的爆炸中，结束战斗。
作者还预设了不同的战术方案。在应对火系深渊法师的时候。先是一句“攻击中间的火深渊法师”，角色开始自动寻怪。
来到怪物身前时，执行战术一。迪奥娜以迅雷之速使出“猫爪冰冰”技能打出伤害的同时向后方位移调整位置及套盾，再之后神里绫华登场，一招霰步欺身上前，打出combo伤害。
不过，在展示过程中，我们也发现，战术启动后的角色，其操作行云流水，非常的丝滑。但是，战术还没启动之前，却有点呆呆的，来自AI的仁慈[doge]。
那么，这种用嘴打游戏，实现言出法随，辅助玩家练就三寸不烂之舌的AI是怎样制作出来的？
三大AI工具，打造智能指令系统
视频作者“薛定谔の彩虹猫”分享了他的方法。实现AI语音玩原神，主要涉及到时下流行的“XVLM+WeNet+STARK”等三大AI主流领域。
看到这里，有的小伙伴可能会表示“说得好，这些字母拆开来我都认得，拼在一起就是我不认识的样子了。”
小伙伴们别着急额，接下来让我们一起了解下这三个工具的用处。
在以往，我们要操作游戏角色进行近战的操作逻辑是：1、看到敌方目标。2、锁定目标，向目标角色移动。3、发动攻击。
通过语音实现游戏操作，同样也是需要完成上面3个步骤。让我们一起拆解一下作者在游戏中的指令，解析这套AI的工作流。
如上图所示，当作者说出“用战术三攻击中间的火深渊法师之后”。让电脑执行了“语音指令识别——图像识别目标——角色行动”这三大步骤，整个过程有点类似于面向游戏定制了一个语音助手，就像“嘿，Siri，打开原神”。
第一步：语音指令识别
要让设备听懂我们的指令，我们就需要一个翻译官，将我们说的话转变成机器能够听得懂的计算机语言，WeNet就是我们和机器对话的翻译官。
WeNet是一个面向生产的端到端语音识别工具包，在单个模型中，它引入了统一的两次two-pass (U2) 框架和内置运行时来处理流式和非流式解码模式。其语音识别正确率、实时率和延时性都有着非常出色表现，获得了京东、网易、英伟达、喜马拉雅等公司语音识别项目的采用。
用WeNet识别咱们玩原神的语音指令，需要经过“准备训练数据”、“提取可选cmvn特征”、“生成标签令牌字典”、“准备WeNet数据格式”、“神经网格训练”、“用训练后的模型识别wav文件”、“导出模型”等6大步骤。
上面的东西用大白话讲就是，准备一些音频文件，同时标注我这些音频文件讲了啥，然后让机器去学习识别这些音频文件并生成标签。上述训练完成以后，以后我们对机器说话，WeNet就能把我们的话翻译成机器听得懂的话。
第二步：解析语音指令特征
有了WeNet的助攻之后，我们实现了说出的话让机器听得懂我们说的是啥之后，我们还要让机器将听到的东西跟画面中的东西对应上，这就轮到第二个工具“X-VLM”登场了。
X-VLM是一种基于视觉语言模型（VLM）的多粒度模型，由图像编码器、文本编码器和跨模态编码器组成，跨模态编码器在视觉特征和语言特征之间进行跨模态注意，以学习视觉语言对齐。那具体这个工具是咋实现识别对象的呢？
上图展示了X-VLM的工作流程。图片左侧为工具视觉概念的编码过程。工具包的图像编码器基于Vision Transformer实现，输入的图片会被分成patch编码。然后，给出任意一个边界框，灵活地通过取框中所有patch表示的平均值获得区域的全局表示。接着该全局表示和原本框中所有的patch表示按照原本顺序整理成序列，作为该边界框所对应的视觉概念的表示。
（字我都认识，连在一起怎么就是我不认识的样子了？)
怎么文章看着看着变成做阅读理解了，让我们再多看亿眼。
上面这段话的意思，通俗点讲就是将图片切割成方块，并且预组合这些方块。比如组合成“一个男人背着背包”的图片，或者组合成“男人背着背包过马路”的图片。
你要做的就是告诉机器这些组合和文字的对应关系，接着让设备进行机器学习。
通过这样的方式获得图片本身和图片中视觉概念（V1，V2，V3）的编码。与视觉概念对应的文本，则通过文本编码器一一编码获得，例如图片标题、区域描述、或物体标签。
这一顿操作下来，小编也被绕晕了。这玩意的作用有点像我们的眼睛，当我看到一个“书包”，虽然我没见过这个款式的，但根据特征提取，我知道这个东西就是书包，X-VLM就是这样一个工具。
X-VLM可以在接收WeNet输出的文本信息后，将图像中相关联的物件提取出来，实现语言与视觉相关联。到这里，我们可以实现让电脑知道我们说的话指的是图片里面的啥玩意了。
第三步：追踪图像
在使用了X-VLM和WeNet之后，我们成功让设备听得懂咱们说的是啥玩意了，接下来要做的就是实现“追踪目标”，听起来是不是很酷炫，有种开战斗机发射追踪导弹的感觉~
相信不少小伙伴们都猜到了，这剩下的最后一个“STARK”就是用于实现图像追踪功能的AI工具。
Stark是最新的SOTA跟踪模型，模型使用了transformer来结合空间信息以及时域信息。
模型包括一个encoder，decoder以及prediction head。其中encoder接收三个输入：当前帧图像，初始目标以及一个动态变化的模板图片。由于模板图片在追踪过程中是动态变化，不断更新的，因此encoder可以同时捕获到目标的时域和空间信息。
获取目标信息以后，工具会通过预测左上与右下角热力图的方式，在每帧图像中得到一个最优的边界框，并且可以直接在GPU端运行。
简单说就是，在我们通过X-VLM确定要追踪的目标以后，Stark就像钢铁侠Tony Stark的追踪系统一样，会记录对象在静止状态和动态状态下的样子，处理分析之后实现追踪动态对象。
那么，讲到这里，我们已经基本明白这语音玩原神三大技术的原理。那角色是怎么动起来执行战术的呢？
其实实现角色自动攻击、释放技能这一块，反而是AI语音玩原神中最容易实现的一个环节。这个功能可以通过宏指令或者代码编程来实现。小编特意到作者分享的代码文件中瞄了一眼，下面是部分代码的展示。
这一段操作代码使用python写的，逻辑也相当的简单，就是执行一串预设好的按键指令。上面图片展示的应该是对应战术一的操作。其中key跟mouse后面的数字或者字母对应了切换角色和释放技能。
代码也解释了为啥角色执行完战术之后就杵在原地发呆，因为没有了后续的指令和输入。
总的来说，如果有小伙伴想简单尝鲜一下这个AI语音玩原神，可以直接下载作者分享的代码，运行程序即可。你只需将英雄阵容及顺序设计成和作者一样，就可以达到作者视频展示的的效果了。
当然，如果小伙伴们想要玩出自己的花样，也可以直接改这段操作代码，实现不同的阵容及技能释放组合，然后记住自己改的是哪一套战术就行了。
当然，如果你想把游戏完成比较中二的，像下面这样的：
就决定是你了，神里绫华。（切换角色）
靠近敌人之后使用霰步。（释放技能）
辛苦你了，绫华，回来吧。（切换角色）
小编也帮你想好了要改哪些代码，你把对应切换角色的快捷键以及技能键替换到操作代码里面就像了，但同时你还要录一段语音到WeNet，让它进行学习，知道你在说啥。（PS：尽可能用一句话做多点事，因为AI执行比较忙，这也是为啥作者要用战术一二三的原因）
当然还有神仙大佬在视频里给出了其他的建议。比如加入SLAM工具，实现360°方位检测，让角色能够在游戏里追踪不同方位的敌人，自走地图炮了属于是。
眼睛、手势都能玩，AI玩游戏姿势还有这些
除了ai语音玩游戏外，b站还有很多大佬折腾出了别的玩游戏姿势。
【 图片来源： 哔哩哔哩 所有者：Jack-Cui 】
Jack-Cui大佬直接自制ai，用一个普通摄像头加一台电脑实现体感玩街头霸王。
【 图片来源： 哔哩哔哩 所有者：同济子豪兄 】
b站up主同济子豪兄展示的，用WebGazer.js，实现“眼神操控鼠标”，通过眼神来玩游戏，直接就是眼神杀人术。
通过Mediapipe，用手势隔空玩游戏。很有钢铁侠操控面板的感觉了！
AI技术，在不同的场合有着不同的应用。而像语音操控、眼神操控这一类技术，直接的受益人就是一些在生活中存在身体缺陷的人。
【 图片来源： 哔哩哔哩 所有者：心理咨询师朱铭骏 】
此前便有一位高位截肢的退役消防员小哥在网上分享了他用嘴巴操作手机玩原神的视频，等AI语音玩游戏成熟了，他就可以通过语音更加轻松的在原神的世界游玩。
作者在后期也打算加入“全自动刷本、传送、打怪，领奖励一条龙”的AI操作，到时候我们也将看到一个更加有趣的场景，让我们一起拭目以待。
不懂这些算法的小伙伴们也不用担心，作者目前已经将源码分享到了github上，小伙伴们前往下载安装之后，根据咱们上面说的，改改操作代码，体验一把语音玩原神。
源代码链接：
原创文章，未经授权禁止转载。详情见 转载须知 。
工业冷水机-滁州市瑞康塑胶科技有限公司
极简tab包含极简壁纸和极简插件，极简壁纸是一个高质量4K电脑桌面壁纸网站；极简插件是浏览器主页扩展插件，插件可以自定义浏览器主题和美化浏览器主页，极简插件基于Chromium内核浏览器的可扩展性，在Chrome应用商店或MicrosoftEdge扩展商店中获取，在浏览器主页中使用
4399连连看全集小游戏大全收录了国内外果蔬连连看小游戏,在线小游戏连连看,连连看小游戏下载,爱情连连看,游戏连连看3.1,阿达连连看,好玩就拉朋友们一起来玩吧！
日本料理的做法_家常日本料理的做法非常简单易学。豆果美食提供的图文日本料理的家常做法大全和日本料理的视频,用最短的时间让你学会日本料理的做法
自贡治疗癫痫病的医院,自贡较好的癫痫病专科医院,主要包括癫痫医院,癫痫治疗,癫痫常识,癫痫症状,康复情况等模块
江苏天威变压器有限公司是一家集研发与生产为一体的高新技术企业，主营12脉冲变频整流变压器，自动调容调压变压器，干式变压器，油浸式变压器，箱式变压器，美式变压器，组合式变压器，非晶合金干式变压器，非晶合金油浸式变压器。咨询热线：400-150-2508！
四川皇家蓝卡铝业有限公司位于四川省成都市邛崃羊安工业园。 皇家蓝卡拥有国际先进的生产技术设备，集挤压、氧化、粉末喷涂、木纹转印、模具开发于一体。专业生产工业铝合金型材、高档建筑门窗幕墙系统铝合金型材、装饰铝合金型材。生产的铝合金产品已获“四川名牌”称号。 皇家蓝卡秉承“共创与分享”的经营理念和“创新传承经典”的产品发展理念，以市场为导向，采用垂直集成的产品模式，为用户提供符合不同建筑要求的门窗幕墙系统整体解决方案，产品得到广泛应用。
专注于为芯片、光纤、光伏、新能源等光电行业客户提供湿法制程设备的设计和制造，如晶圆湿法清洗系统，刻蚀系统,CDS集中供、配药系统,光纤石英管清洗系统,化学清洗平台系统以及半导体超纯水系统等。
公司始终坚持“追求卓越，回报社会”的宗旨，分别在柳州市、融安县，南宁市设有经营中心，并在区内开设多家分公司。公司重视技术投入和强化质量管理，积极采用新工艺、新技术和新型材料，获得多项实用专利，力求做到高质量、高效益。
安徽新天地塑业有限公司专业生产：婴幼儿奶粉盖、奶粉勺、液态奶杯、奶制品饮料包装、湿巾纸包装、PET管胚、医疗塑料件、一次性快消品塑料包装、阻燃电工电气、调味品塑料盖等包装制品，热线：0556-677027215955569909
AVA定制乐器(厂家)电古筝电古琴电琵琶电二胡电阮电笛子电箫(竖笛\木笛)电埙(陶笛)电扬琴电独弦琴电小提琴电中提琴电大提琴手工电吉他手工电贝司电竖琴电曼陀铃电班卓电冬不拉电母指钢琴（kalimbasanza）电声鼓原声乐器---古琴唐筝（日本筝KOTO）阿瓦筝手工吉他小竖琴印第安笛尺八木埙木陶笛母指钢琴（kalimbasanza）门琴石笛、石口笛木口笛MIDI乐器---MIDI笛箫MIDI埙、陶笛MIDI古筝MIDI激光筝肩背MIDI鼓激光MIDI键盘相关设备---专用音箱无线传声器效果器
全线进口名牌化妆品,香水,彩妆,美体产品网上直销
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
人工智能机器人高新科技技术的运用与大数据的运用，使得机器可以无障碍的与人类进行交流，起到陪伴的作用，更有一些的课程项目，会给提供合格的教学服务，智伴机器人是这当中很受欢迎的加盟项目，智伴机器人是高新科技项目，它当中拥有多项功能，有诗词歌赋，加减程序，相声歌剧等，这些项目可提高孩子的学习成绩，塑造好的品牌形象，那么现在智伴机器人如何加盟...。
科技界从来不缺神话，经过2016大数据、物联网、人工智能、AR，VR等突破性的洗礼，2017年科技界精彩再续，各类黑科技大招一触即发，3月28日，在深圳，双创周，的举办地深圳软件产业基地，国家高新技术企业神画科技带来了一场盛大的，创·神话，触·梦想，主题发布，搭载基于触控技术而创新性研发出的投影电子白板技术的神画TT系列正式在发布会上...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
近日，库克频繁出现在媒体中，并且先后在深圳和日本等地亮相，而在他近期的讲话中，库克的言行举止均透露出对VR、AR、AI、汽车四个，保密，方向的重视，近日，库克在接受媒体专访时着重讲述了自己对VR和AR的看法，为何更看好AR库克的观点是，相比于虚拟现实VR，增强现实具备增强人类体验的能力，是人感知的延伸，使得它比虚拟现实技术更可能成功，...。
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
新智驾按，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交...。
在3月底的云栖大会上，阿里云总裁胡晓明在会上做出战略宣布，阿里巴巴全面进军IoT，这是继电商、金融、物流、云计算之后的一条新的主赛道，阿里巴巴希望数字化整个物理世界，并作为IoT基础设施的搭建者而存在，这样一层，新身份，也让不少人为之振奋，认为，5年内100亿设备，的未来将成为阿里云IoT事业部总经理库伟所说的，万物智联，的全新世界，...。
雷锋网按，2018全球人工智能与机器人峰会，CCF，GAIR，在深圳召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，得到了宝安区政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台，CCF，GAIR2018延续前两届的，顶尖，...。
近日，上海擎朗智能科技有限公司宣布完成2亿美元D轮融资，由软银愿景基金领投，中金甲子和Prosperity7Ventures，沙特阿美多元化风投基金，跟投，迄今为止，这是中国商用服务机器人领域单笔最大的商业融资，华兴资本担任此次融资的独家财务顾问，擎朗智能成立于2010年，是一家致力于为全球企业提供智慧无人配送解决方案的人工智能企业，...。
要闻提示1.网传某公司老板不准员工请假，放狠话，家里人死了，先臭着，2.几易其主后，福布斯、彭博实时富豪榜，中国首富，重归钟睒睒3.懂球帝创始人公开信，遭投资人和对手联合做局，商标被拍走，每天吃布洛芬缓解焦虑疼痛4.iPhone能通话录音了，双方会被，将录音，提醒，网友吵翻，谁用谁尴尬5.国庆期间连骂网友七天，雷军回应，雷军AI语音...。
生活中人们使用眼睛频率很高，所以说很多人也出现了近视眼的现象，因此也有很多的眼镜行业发展还是比较好的，所以很多想要自己创业的人也看好了眼镜店的加盟，眼镜店其实还是有很多种不同品牌的，在进行品牌眼镜加盟的时候，也应该有了解相关的排行榜，那么品牌眼镜加盟店排行榜都有哪些呢，下面就来详细的了解一下，几个比较不错的品牌，1、吴良材眼镜吴良材眼...。
[全球时报驻德国特派特约记者刘赫青木]据路透社等内媒报道，外地期间7月15日，欧盟成员国迁就针对中国电动汽车征收暂时关税的方案启动表决投票，德国联邦政府将向欧盟提交对于对中国产电动汽车加征关税的立场性文件，外部人士通知路透社，德方的正式立场还没有最终敲定，但有迹象显示或者会投弃权票，以便推进欧盟与中国继续就关税启动商量，4日，欧盟委员...。
由于如今家里宝宝要出世了，所以不得不买一辆车，原本手上预算也有限，看了合资车有些不青睐，有些超预算，最后还是选择看国产车，长劳碌动全体很好，所以在看车试驾之后就选定了这款车，这个车子我最满意的就是外观啦，往常拍照片不论是前面还是正面、前面觉得都特意难看，前脸看下来大气又时兴，正面的流线型看下来特意好很协调，尾部的灯排气管看下来也特意难...。
福特全新一代锐界——锐界L正式上市后，大家对其其实都体现出了比拟高的关注，经过咱们前后的试驾，咱们也深度体会到这款车确实相较以前或许目前的同级别车型，都更具备竞争力，无论是设计、用料、空间、能源都有着十分不错的体现，不过，如今油耗体现是大家十分关注的方面，而初次搭载2.0T油电混动系统的锐界L相比起此前2.0T燃油版的较高油耗，会不会...。
