cosFormer ICLR 重新思考注意力机制中的Softmax 2022 (cosforge)
导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，Softmax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法来近似Softmax算子，从而降低时间空间复杂度。但是，由于误差的存在，效果往往不尽如人意。
我们（商汤多模态研究组）认为，近似操作本身存在的误差使得其效果很难超越Softmax Attention。我们的观点是，与其近似Softmax，不如设计一种方式代替Softmax，并且同时降低时间空间复杂度。因此，本文提出了名为cosFormer的方法，在时间空间复杂度关于序列长度为线性复杂度的同时，其性能接近或者超越Softmax Attention，并在LRA benchMark上取得SOTA结果。我们的设计核心理念基于两点，首先是注意力矩阵的非负性，其次是对局部注意力的放大（非极大值抑制）。
本文主要介绍已收录于ICLR 2022的一篇文章 cosFormer : RethinkingSoftmaxinAttention。
论文地址：
部分开源代码：
图片表示各种transformer在LRA benchmark上的表现，其中y轴表示性能，x轴表示速度，圆圈大小表示内存，我们提出的cosFormer取得了明显的优势。
一、背景
3、Softmax的两大性质
我们经过分析以及实验，归纳出Softmax Attention中比较重要的性质，这两个性质可以指导我们的模型设计：
1.注意力矩阵的非负性
2.局部注意力的放大（非极大值抑制）
所以我们的方法需要在加了reweighting操作后也更加集中在对角线附近。注意并非所有的有类似权重的函数均适用，这个reweighting的函数需要跟前面的QK一样可以拆分成两个矩阵的乘法的形式。
至此，就可以引入我们的cosFormer了。
二、cosFormer
1、方法
我们的方法基于线性Attention，首先给出符号定义：
2、实验结果
我们在单向模型，双向模型以及LRA benchmark上测试了我们的方法，均取得了非常不错的效果。
单向语言模型，指标表示困惑度（越低越好）：
论文地址：
版权文章，未经授权禁止转载。详情见 转载须知 。
第一PPT模板网提供各类PPT模板免费下载，PPT背景图，PPT素材，PPT背景，免费PPT模板下载，PPT图表，精美PPT下载，PPT课件下载，PPT背景图片免费下载；
心米科技股份有限公司（简称心米科技）是中国北京师范大学心身健康研究所专家专注于成果转化临床心理运营管理和患者康复的专业机构。心米愿景：成为中国最优秀的临床心理服务机构，让每一位需要心理支持的医院和患者都能得到专业的服务，早日康复！公司创始人于2008年50万人民币创办北京心米科技有限公司，十年时间，先后引入西门子等三轮风险投资1亿多美元，将心米发展成为国内临床心理诊断行业领军企业。
江门市国晖印刷设备维修有限公司拥有多年的进口及国产胶印印刷设备机械电器维修和进口二手印刷机中介销售经验，国产印刷机厂房搬迁，安装，调试，维修等项目，保证令贵公司的印刷设备发挥出好的印刷效果。
顺洪网为您提供优质的内容
河北万晴环保设备有限公司----中国大型玻璃钢供应商，是从事玻璃钢标示牌里程碑、玻璃钢储罐、玻璃钢电缆沟盖板、玻璃钢电缆桥架、玻璃钢电缆支架、玻璃钢防眩板等玻璃钢产品制造、销售、安装及服务于一体的现代化企业。
天津镀锌加工厂咨询热线:138-2188-4447是一家多年经营镀锌厂家,热镀锌厂家,热镀锌加工厂家,挂镀加工厂家,吹镀加工厂家为一体的现代化高新技术企业,规格型号齐全!欢迎来电咨询!
这里有程序猿日常工作中使用的一些开发工具,优质编程学习资源,提高编程学习效率,在线工具,程序员,java,golang,工具,下载链接转换,转繁体字,16进制,时间戳转换工具,程序猿,压缩,加密,解密,下载链接转换,站长工具,转繁体,数字转大写,汇率换算等,其中包括代码生成器,编码解码,加密解密,各种在线工具,以及最新框架源码解读!
增缘分网八字合婚免费测试，助您探索与伴侣的姻缘契合度，通过细致分析双方生辰八字算命婚姻配对合八字，在线评估婚姻配对的适宜性，姻缘测算查询命理中隐藏的姻缘秘密，在线八字配对为您的美满婚姻保驾护航。
卷板机,三辊卷板机,海安恒益机械厂,四辊卷板机
邯郸市温州商会
阁下您好，我们是服务深圳的深圳软件开发公司，提供专业的企业管理软件、APP、网站、物联网系统、硬件监测软件、智慧控制管理软件定制开发服务，可提供整体系统外包服务或模块定制开发
联创物流是提倡优质服务理念的专线物流公司，专注于广东物流领域，以深圳物流、东莞物流、惠州物流、广州物流、佛山物流、中山物流、江门物流、珠海物流、汕头物流为核心，致力于为客户提供优质高效的货物运输服务。
苹果第一财季营收突破1000亿美元，iPhone收入同比增长17%北京时间1月28日凌晨消息，苹果今天发布了2021财年第一财季业绩，报告显示，苹果公司第一财季净营收为1114.39亿美元，比去年同期的918.19亿美元增长21%，创下纪录新高；净利润为287.55亿美元，比去年同期的222.36亿美元增长29%，其中，苹果第一财季i...。
经历了2017年和2018年的人工智能热潮后，如果有一家新公司出来说自己的核心技术能力是人脸识别，那么它一定会被问到一个问题，在已经有BAT、商汤、旷视等大小巨头的情况下，市场真的还需要新的人脸识别技术公司吗，新公司的机会在场景化AI爱莫科技CEO杨恒也曾被问到过这个问题，他在2018年6月开始了自己的第二次创业，主打人脸，人体识别和...。
三年深耕，雷锋网AI掘金志有幸重新定义了安防报道形态，并打造了中国最具影响力的，AI，安防，行业峰会，2018年3月，深圳，雷锋网AI掘金志举办中国首个以，动态人脸与车辆识别，点击查看内容详情，为主题的AI安防峰会，这是业内第一次将五大安防企业，海大宇天网，及商汤等AI独角兽的首席技术高管，聚于一堂的行业盛会，峰会之上，CCF前理事...。
安防江湖三十年鏖战，多方势力涌入让这个世界重新异彩纷呈，新时代下，AI安防承载了社会数字化转型的期盼，而身处其中的佼佼者们又能交出怎样的答卷，6月20日，雷锋网AI掘金志将在杭州举办第三届，中国人工智能安防峰会，，竭力告诉你答案，一年一度的安防盛会，已经成为提供产学研思想碰撞、融合应用的前沿阵地，政企各界专业人士交流互动的专业平台，前...。
2018年3月，深圳，雷锋网AI掘金志举办中国首个以，动态人脸与车辆识别，点击查看内容详情，为主题的AI安防峰会，参会之后，某业内人士如此评价，这是业内第一次将五大安防企业，海大宇天网，及商汤等AI独角兽的首席技术高管，聚于一堂的行业盛会，峰会之上，CCF前理事长高文院士、中国人脸识别教父李子青教授、阿里巴巴集团副总裁华先胜、海康威...。
一年一度的AI产业盛会——世界人工智能大会刚刚落下帷幕，据不完全统计，三天会期间，有10余场围绕AI伦理、可持续发展相关的主题论坛，其中，近半数，都涉及可信AI，如何落实为AI立信、为技术立规，成为既原则与政策之后，新的伦理热点话题，本届WAIC上，商汤正式发布，平衡发展，的人工智能治理白皮书——商汤人工智能伦理与治理年度报告，20...。
疲劳驾驶、分心驾驶致使交通事故已屡见不鲜，一旦在高速上长时间驾车，疲劳与分心难以避免，其所造成的后果又十分严重，如何减少这类交通事故的发生，已经困扰汽车行业多年，最近，商汤绝影所推出的DMC驾驶员状态感知系统给出了一个参考答案，近日，本田中国全新纯电动品牌，e，N，系列两款首发车型东风本田e，NS1与广汽本田e，NP1相继发布，两款车...。
当地时间12月10日，美国商务部发布公告将中国人工智能公司商汤科技，SenseTime，列入，涉军企业，名单，拜登政府禁止美国人投资商汤集团，彭博社援引知情人士消息称，港交所监管机构将重新做出调整，商汤不会按预期进行IPO，商汤科技原定于12月17日，下周五，通过IPO在香港联合交易所主板上市，此次IPO以每股3.85港元至3.99港...。
7月6日，2023世界人工智能大会在上海正式开幕，主题为，智联世界生成未来，会场上，数百家AI公司携产品亮相展台，涵盖大模型、芯片、机器人、智能驾驶等领域，其中最火热的当属大模型和机器人，华为、百度、商汤、云天励飞等公司公布了自研大模型的最新进展，特斯拉人形机器人、美团无人机、擎朗机器人等悉数亮相，从ChatGPT到，群模共舞，WA...。
属于他们的黄金时代仍在继续，作者，郭思陈彩娴编辑，岑峰那时他们觉得自己会永远生猛下去，未来也还给了他们一个黄金时代，1、AI大潮来临之前的先行者贾佳亚2004年，完全算不上人工智能发展史的大年，却是计算机视觉先行者贾佳亚和他带领的学生们开创的黄金时代的开端，他们起身、行走，以好奇心为导航，在人工智能的茫茫星野中进行无穷尽的探索，有时发...。
2021年12月10日，由&，新智驾主办的第四届，全球智能驾驶峰会，在深圳正式召开，这一次，新智驾以，智能驾驶鏖战时刻，为主题，将话筒递给业内19家标杆企业，辐射13大技术，场景，覆盖智能驾驶算法、芯片、感知、落地等多个维度，每个领域只筛选最具代表性的一家企业，遵循，基础理论技术创新，和，行业解决方案落地，两项黄金标...。
你有没有在路上开着车，突然出现堵塞，想着，前方一定有道路施工、事故或者交警查车，，但当你越过漫长等待，到达另一端时，却发现马路一片平静、并无意外发生的经历，这就是著名的，幽灵堵车，现象——仅仅是因为一些司机的微小，坏习惯，，比如急刹车、不必要的频繁更换车道等，使后车减速，渐渐地就像浪潮一样一波一波向后传递，造成了，莫名其妙，的道路拥堵...。
绘画可以让每个孩子富有更多的想象力，尤其是现在的父母们都会希望自己的孩子有更好的学习空间，让他们快快乐乐的就能够学习更多的知识，萌卡纳儿童绘本教育馆自从与更多的小朋友们进行接触之后，让许多家长们对这里也是充满了信赖，但是还不太了解又想要进行创业的人员，在加盟之前当然也就会想要详细的了解，萌卡纳儿童绘本教育馆加盟怎么样，值得加盟吗，现如...。
雷锋网AI科技评论按，CVPR2017的获奖论文已经在大会的第一天中公布，共有6篇论文获得四项荣誉，雷锋网AI科技评论对6篇获奖论文做了简要介绍如下，本届CVPR共有两篇最佳论文，其中就有一篇来自苹果，论文作者，康奈尔大学GaoHuang，清华大学ZhuangLiu，康奈尔大学KilianQ.Weinberger，Facebook人工...。
工业互联网概念由来已久，其中，尤以近年来暗潮涌动，包括德国的工业4.0、美国的工业互联网和中国的智能制造，辅以物联网这波浪潮，国家也对工业互联网推出了诸多引导性政策，各地方政府也推出了相应补贴政策，在2018年、2019年年初的几轮工业互联网大型推进会议后，千家工业互联网企业浮出水面，工业互联网平台超过300家，其中不乏中控、徐工、海...。
11月12日，华为Mate70系列真机图现身↓，余承东已经预告过是11月发布，虽然还在保密壳里，但只此一家的三挖孔屏幕，有3D人脸识别，过于有辨识度，想认错都难，这一代索性把短焦指纹换成侧边指纹，指纹电源键比音量键矮、面积更宽，，有流行的小立边中框，根据现有爆料，，Mate70标准版，是6.69英寸1.5K直屏，侧边指纹，1，1.5...。
小吃是一类在口味上具有特定风格特色的食品的总称，可以作为宴席间的点缀或者早点、夜宵的主要食品，世界各地都有各种各样的风味小吃，因当地风俗而异，特色鲜明，风味独特，小吃就地取材，能够突出反映当地的物质文化及社会生活风貌，是一个地区不可或缺的重要特色，更是离乡游子们对家乡思念的主要对象，...。
