情感计算如何解决实际场景需求 让机器学会 读心术 (情感计算算法)
没错，当你在渴望get“读心术”技能的时候，机器已经能完美的实现了。目前，国内的翼开科技、以色列公司BeyondVerbal以及美国的Affectiva和Emotient都在做这情感计算解决方案。其应用场景也非常广泛：飞行员情绪监控、呼叫中心情绪考核、学生情绪监测甚至是智能硬件都可以使用这类算法，而且精度可以达到90%以上。
简单来说，机器是根据人的心率、呼吸、语音甚至是面部表情等特征，再通过特定的模型算法就能解读出人的情绪状态，从技术角度看，数据挖掘、机器学习等都是情感计算的基础。
那么完成情感判断需要哪些模块？以及具体实现原理是怎样的呢？本期硬创公开课，雷锋网邀请到了翼开科技创始人魏清晨为大家分享情感计算的技术问题以及应用场景。
嘉宾介绍
魏清晨，翼开科技EmoKit创始人，目前全面负责EmoKit公司的战略规划、运营管理、团队建设，团队里两名核心科学家均为海归博士后。
EmoKit，即海妖情感计算引擎，包括情绪的识别、优化、表达，是人工智能的核心基础设施之一。自2015年创立半年获得600万投资，如今已经超2000万用户，今年获得近2000万元订单。Emokit先后获得美国麻省理工学院举办的“MIT-CHIEF全球创业大赛”中国区第一名，芬兰“Slush World 2014全球创业大赛”名列第一，工信部和全国科协2015全国移动互联网创业大赛“特等奖”，清华大学H+Lab“幸福科技全球挑战赛”冠军。
以下内容整理自本期公开课，雷锋网做了不改变愿意的编辑：
情感计算的模块和价值
就我们现在在做的事情来看，我们把情感计算分成3个模块：第一部分是情绪识别，通过语音、心率、表情和写字过程中压感和速率的变化来判断用户的情绪。
情绪识别
情绪的类型一共有24种，积极和消极各12种。在情感计算的发展过程中，算法也经历了六次升级。第一代我们通过量表测评，第二代加入了心率和呼吸，第三代针对个体增加了纵向的学习和训练，第四代我们对情绪做了一个细化（从原来的5中情绪增加到了24种），第五代加入了表情和笔记的情绪识别，第六代主要做两块工作：一个是判断了用户的情绪之后，基于单一的事件背景进一步识别用户的意图；第二个工作就是把语音、表情和视觉的行为、文本做一个多模态的拟合。
情绪优化模块
情绪识别只是第一步，未来需要解决的问题是调整用户的情绪。从上图可以看出，通过语音、心率表情和笔记这些信息判断用户的情绪之后，还可以通过推荐内容来缓解用户的情绪。
例如，翼开科技2011年上线的一款应用就会给用户推荐诗歌、书法、音乐等等，后来在音乐内容上做得更加深入，我们通过分析音乐的音高、节奏、旋律和音强，3分钟的歌曲会采集6000个数据点分，根据这些信息来给歌曲打情绪标签。现在已经标注过得音乐数量超过了160万首，另外，像图片、视频都是可以通过用户的情绪来做内容匹配，最终达到缓解情绪的目的。
情绪表达
情绪表达是利用情感合成技术，让一段语音、表情或者肢体动作模拟人的情感，让机器带有情感的表达出来，这样就可以提升人和机器的交互体验。
举个例子，如果送餐机器人只会识别菜和客人，这是基础服务；但要增加机器人的附加价值，需要送餐机器人读懂客人的情绪，客人情绪低落的时候，送餐机器人会以一种比较舒缓的情绪对话。
情感计算技术实现的路线
目前翼开科技和中科院心理所、清华大学心理系和美国卡内基梅隆大学语言技术研究所。
这实际上是两个流派：前面的两个机构代表的是基于理论研究的专家模型，卡内基梅隆大学是基于神经网络、深度学习的模型。
目前翼开科技在做的有一部分是基于深度学习的，也有一部分是基于专家模型。我们认为这两类的瓶颈都逐渐显现出来了，需要相互融合。
为什么会用深度学习来做表情的识别？
现在做深度学习的瓶颈在于大量标注过的数据，不过表情标注会相对比较容易，一张人脸只判断喜怒哀乐，一般情况下1秒就可以识别出一个人的表情，如果有几十万张表情图片，用众包的方式所需的时间和费用都不会很大。
不过有一些数据不太方便做标注，例如语音。
三分钟的语音，我们必须听完三分钟才能做情绪的标注，标注的工作量在无形中增加了上百倍，而且相对表情而言，语音的情绪表达更加隐性，所以也很难用深度学习的方式来实现语音的情绪识别。
还有一种是普通人很难进行标注的，如心率。即使你是一个专业的医生，看完一段心率图也无法确定测试对象心率变化的原因（开心、焦虑、愤怒）。
所以，现在表情是基于深度学习的，语音和心率基于专家模型。
不过刚才也讲到，这两类在发展到一定程度时候，会存在瓶颈。例表情面临的瓶颈有两个：1.普通人标注人脸表情的颗粒度一般是6-8种情绪，很难识别更细的（24种甚至是一百多种）；2.即便完成了情绪类型的标准，但你无法确认情绪的真伪。
在专家模型中，则有比较成熟的模型来判断情绪的真伪，因此，我们可以在深度学习的基础上，再叠加专家模型来突破这样的瓶颈。
心率和语音基于专家模型也存在瓶颈，现在的解决办法是建立一个个体用户强化训练的模型（一个用户测得越多，模型会越贴合被测用户的特征）；另外，我们还可以建立一个半监督学习算法来得到实时的反馈。
因此，表面上有两条技术路线，但实际上这二者是相互融合的。
情感计算的不同理解
不同的行业对于情感计算的理解是不一样的。罗莎琳德·皮卡德是麻省理工学院MediaLab的老师，她也是情感计算学科的奠基人。
在她《情感计算》这本书中的序言中有这么一句话：如果要让计算机实现真正的智能并适应我们，跟我们产生自然而然的人机交互，那么，它就需要具备情绪识别和表达能力，就需要具备情感。
谷歌云计算首席科学家李飞飞对情感计算是这么理解的：现在我们的AI都是用逻辑的方法来判断情感。逻辑代表IQ，而情感代表EQ。未来，从情绪到情感，是人工智能未来前进的方向。
我们认为可以从三个角度来理解情感计算：
应用场景
目前翼开科技和环信展开了合作，环信有IM沟通工具，这里面包含了语音、表情和文本等信息，我们对其开放了绑定的SDK，可以通过语音等信息来判断用户的情绪。
另外，我们现在还和科大讯飞有合作，合作的方式主要是相互交叉授权，通过绑定版的SDK，科大讯飞来识别语音，翼开科技来判断情绪；现在还在做视觉的应用，科大讯飞识别人的身份，翼开科技来识别其情绪。
另外，以下这些都是情感计算可能落地的应用场景：
当然，对于创业公司而言，要做出上述所有场景来推向市场，雷锋网了解到，翼开科技已经在教育、金融等领域做出了商业化的尝试。
精彩问答
Q：语音、图像这些不同的模块怎么在系统里面协调工作？
A：其实就是一个多模态的算法，有两种实现的方法：本身数据就是多模态的数据，然后做标注，做完玩标注就可以通过深度学习的方式来做训练；第二种，通过同一个sensor采集数据后再做多模态，例如通过麦克风可以采集到用户的语音、声纹特征，进一步分析文本，来做多模态。
Q：情感数据对准确率还是有很大的影响，这些数据是怎么搜集的？
A：在我们和卡内基梅隆大学情感计算专家交流的过程中，我们得到一个观点，通过单种信息来判断情绪，准确率是有局限性的；另外，越早做多模态越好，越多的模态拟合越好。
我们把反应情绪的信号分为两类，一类是浅层信号，如语音、表情；还有一类是深层信号，完全受交感神经和副交感神经的影响，主观意识很难控制。
浅层信号更容易采集，但权重不高；深层信号权重高，但采集难度比较大。两种信号做综合的多模态分析可以提升情感判断的准确度。
Q：目前的准确率有多高？多模态的模型有相关的paper吗？
A：语音和心率是基于专家模型的，这个精度会低一点，在85%左右，表情在90%左右（但是表情只有7中情绪）。
Q：情感识别目前有判断准确率的行业标准吗？没有标准的话，从哪些维度来提升识别率？
A：现在判断情绪标准的类型比较多，常见的如果用深度学习方法实现的模型，再重新另一套标注的数据来跑一下这个模型，来判断它的精度；另外，可以根据用户反馈来判断，把系统测试的结果反馈给用户，让用户来给出最终验证。
如何优化？可以通过半监督学习的方式，来进行自我训练自我校正。
Q：有采用脑电波的模态数据吗？
A：国外做这一块的研究有很多，我们现在认为脑电sensor还不是消费终端的标配，采集脑电要专门的sensor，目前只用在特殊的行业，还没有做通用算法的开放。
公开课视频
PS：翼开科技正在招聘：机器学习，机器视觉，情感计算，多模态，NLP等相关职位，如有意向欢迎投简历到：way@emokit.com
原创文章，未经授权禁止转载。详情见 转载须知 。
平安银行致力于为客户提供全方位的银行服务。您可以了解投资理财、贷款、个人通知存款、银行缴费、公司业务等平安银行业务，可以方便快捷的登录网上银行，办理转账汇款、账务查询等业务。
创大钢铁网是中国优秀的钢铁商务平台，提供最新的钢材市场价格查询，分析判断钢材行情走势，免费发布钢材供求信息，登记钢铁企业黄页、钢材现货资源信息，钢材批发就上创大钢铁平台，钢材价格信息首选创大钢铁商务网站！
读书报告提供读书报告怎么写，读书报告格式读书报告模板PPT下载，分享实用的读书报告范文，读书报告作文，大学读书报告，是专业的读书报告网站。
浙江科洪电器有限公司位于温州乐清市柳市镇，主要经营配电开关控制设备、高低压电器及成套设备等产业，始终为客户提供高质量的产品、专业的技术支持以及健全的售后服务。
杭州振卫包装科技有限公司是一家集科研开发,生产于一体的软塑彩印包装企业,有液体包装膜,高温蒸煮袋,冷冻袋,水煮袋,休闲食品袋,铝箔袋等塑料包装袋及卷材。
天坛号提供全球经济、股票、科技、创业、互联网等领域数据更新和实时解读。我们追求及时、全面、专业、准确的资讯与数据，为您保驾护航。
艺考网，与你一起走进艺术的世界。与你分享艺考路上的经验技巧，助你实现艺术梦。欣赏艺术大师作品，沉醉于艺术的海洋。
湖北迎扬新材料技术有限公司专注塑木材料的应用与推广，面向湖北武汉.孝感.襄樊.荆州.宜昌.十堰.荆门.鄂州.黄冈.咸宁.随州.汉川.仙桃.潜江.天门.恩施等地销售塑木制品。
深圳市极水实业有限公司是集产品研发、生产销售、工程设计施工以及系统运维一站式服务的企业，是专业经营温泉设计、温泉工程设计、音乐喷泉工程、水乐园工程、水处理工程、污水处理、游泳馆水处理、游泳池设备的生产供应商。
贵州贵在有礼酒业有限公司成立于茅台镇，是一家酱香型白酒销售公司，公司围绕新时代发展理念，顺应新时代发展潮流，公司以儒家五常之精髓“仁、义、礼、智、信”为主题，融合五行之文化。创新推出个性化，多样化，专业化的文化主题礼塾酒。
资源狐网站(www.ziyuanhu.com)收集了世界各国的精品主流网站，包括国外新闻网站，国外视频网站，国外音乐网站，国外社交网站，国外中文网站，国外购物网站等，力求做到最新、最精、最全面，免费为广大网民提供最方便快捷的服务。
24小时上门开锁/换锁芯/修锁电话:400-8588-110,公司专注开房门锁,保险柜维修,汽车开锁,匹配汽车钥匙,安装指纹锁,售后服务好,安排附近师傅,同城急速开锁!
12月9日，2022年iDASH国际隐私计算大赛结果正式公布，腾讯AngelPowerFL联队凭借最优的模型效果和较快的推理速度获得最高综合得分，斩获同态加密赛道冠军，从两年前首次参赛到现在，腾讯已经连续获得2020年可信计算赛道冠军和2021年联邦学习赛道冠军，赢得了iDASH隐私计算大赛，三连冠，，这在国内尚属首次！同时，在多方安...。
作者，董子博，王永昂编辑，林觉民，大家去年开始说元宇宙，我才发现，我做了很多年的事就是其中一部分，这群科学家创业者对如是说，一、梅铁铮·深耕十一年2018年的夏天，梅铁铮参加了当时在温哥华举办的SIGGRAPH会议——这是全世界规模最大、影响力最广、权威度最高的图形学大会，在此之前很多年，SIGGRAPH几乎只在美国举行，原因...。
找服饰项目商机，迎女人心内衣投资惊喜，神州加盟网领先服饰品牌代理加盟领域，第一时间与您共享女人心内衣招商最新投资信息[更多]...。
武汉化工学院现在的名字是武汉工程大学，学校创建于1972年6月，原名湖北化工石油学院，隶属湖北省人民政府，1980年3月更名为武汉化工学院，改由原化工部主管，1998年7月，学校划归湖北省人民政府管理，实行中央与地方共建，2006年2月，更名为武汉工程大学，武汉工程大学是湖北省重点建设高校、湖北省国内一流学科建设高校，入选卓越工程师教...。
增长模型必备——十大数据分析模型播报文章人人都是产品经理关注作者获得积分关注2024，11，1417，14来自广东不同的业务场景，往往需要不同的数据分析模型应用，熟练掌握常见的数据分析模型，不仅是数据分析的基础，也是PPT报告的必备，日后数据分析和增长规划的真诚必杀技~十大数据分析模型包含，事件分析、漏斗分析、热图分析、留存分析、事件...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
adj.不好的，严重的，有风险的，需仔细思索的，严肃的，关键的，须注重的，当真的，强调少量，英，ˈsɪəriəs，美，ˈsɪriəs，serious造句1、InNA，youwillseetheseriouskilleronceforafewmonths在北美，每隔几个月便会产生一个连环杀手，2、Hisresignationwillh...。
顽劣天气给搜救伊朗总统直升机带来艰巨降级，据伊朗国度电视台报道，伊朗总统莱希乘坐的直升机5月19日，产生硬着陆意外，据伊朗官网通信社信息，目前数十支搜救队已赶赴事发区域，不过大雾等顽劣天气及外地复杂的地形给搜救上班带来很大艰巨，且不可启动地面搜索，伊朗武装力气总顾问长巴盖里示意，已需要伊朗军队、伊朗伊斯兰反派卫队及警察投入所有设备和...。
松鼠变声器是一款十分不错的变声软件，软件还支持玩家自定义快捷键，让操作更为简便，功能非常实用，提供的的变声角色非常的多，少女音、萝莉音、老爷爷等，内置多或只能怪VST插件，有兴趣的朋友欢迎前来下载哦。
唐人街多人视频一个多功能的大型综合娱乐视频聊天平台。为广大用户提供了一个文明、真实、便捷的在线免费交友软件。有喜欢的小伙伴快来下载吧！功能介绍百人共室有容乃
腾讯软件中心提供2023年最新2.0.0.1官方正式版PDF猫压缩高速下载，本正式版PDF猫压缩软件安全认证，免费无插件。
暴风影音下载-暴风影音手机版是一款手机播放软件，说起暴风影音播放器安卓版想必很多朋友都了解过，就算没使用过手机版的，电脑版的至少听说过，是个老牌子了。除了海量的资源，在视频观看上也做了不少优化，您可以免费下载安卓手机暴风影音。
在，汽车芯片荒，的境况下，一场行业性的车企自救行动，正在展开，据第一财经报道，2月22日，上汽集团下属企业上汽乘用车已与智能芯片产业，独角兽，地平线敲定全面战略合作协议，或以上汽乘用车为载体入局芯片产业，缓解产能危机，值得注意的是，上汽集团并非唯一一家有意自主造芯的车企，长城汽车、五菱等车企也有意为之，全球性芯片短缺汽车芯片短缺的局面...。
消息，2022年9月21日，百奥几何宣布完成千万美元天使轮融资，投资方为高榕资本，团队也发布了首个针对大分子药物研发的开源机器学习平台TorchProtein，致力于通过AI加速药物研发的进程，图表示学习领域顶级科学家唐建创办，下一代AI技术加速药物研发进程百奥几何由加拿大蒙特利尔大学算法研究所，Mila，的副教授、终身教授唐建...。
发表在峰米投影仪2022，7，2423，16峰米激光电视怎么连接功放音箱，其可通过线材，HDMI线、光纤线，连接外置音箱，功放后，只需要简单的设置即可把声音输出到连接的外置音箱和功放中，下面是具体的图文连接教程！峰米激光电视怎么连接功放音箱，1、将HDMI线接到峰米激光电视和功放的对应接口上，背面连接到HDMI3ARC接口，注意，一...。
酒水一词主要应用于餐饮界，酒水，是指酒类和水类的统称，可指酒、水、饮料等液体可饮用的用来招待客人的液体，酒的种类包括白酒，啤酒，葡萄酒，黄酒等，饮用水包括干净的天然泉水、井水、河水和湖水，也包括经过处理的矿泉水、纯净水等，加工过的饮用水有瓶装水、桶装水、管道直饮水等形式，饮料是指以水为基本原料，由不同的配方和制造工艺生产出来，供人们直...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
