cosFormer ICLR 重新思考注意力机制中的Softmax 2022 (cosforge)
导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，Softmax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法来近似Softmax算子，从而降低时间空间复杂度。但是，由于误差的存在，效果往往不尽如人意。
我们（商汤多模态研究组）认为，近似操作本身存在的误差使得其效果很难超越Softmax Attention。我们的观点是，与其近似Softmax，不如设计一种方式代替Softmax，并且同时降低时间空间复杂度。因此，本文提出了名为cosFormer的方法，在时间空间复杂度关于序列长度为线性复杂度的同时，其性能接近或者超越Softmax Attention，并在LRA benchmark上取得SOTA结果。我们的设计核心理念基于两点，首先是注意力矩阵的非负性，其次是对局部注意力的放大（非极大值抑制）。
本文主要介绍已收录于ICLR 2022的一篇文章 cosFormer : RethinkingSoftmaxinAttention。
论文地址：
部分开源代码：
图片表示各种transformer在LRA benchmark上的表现，其中y轴表示性能，x轴表示速度，圆圈大小表示内存，我们提出的cosFormer取得了明显的优势。
一、背景
3、Softmax的两大性质
我们经过分析以及实验，归纳出Softmax Attention中比较重要的性质，这两个性质可以指导我们的模型设计：
1.注意力矩阵的非负性
2.局部注意力的放大（非极大值抑制）
所以我们的方法需要在加了reweighting操作后也更加集中在对角线附近。注意并非所有的有类似权重的函数均适用，这个reweighting的函数需要跟前面的QK一样可以拆分成两个矩阵的乘法的形式。
至此，就可以引入我们的cosFormer了。
二、cosFormer
1、方法
我们的方法基于线性Attention，首先给出符号定义：
2、实验结果
我们在单向模型，双向模型以及LRA benchmark上测试了我们的方法，均取得了非常不错的效果。
单向语言模型，指标表示困惑度（越低越好）：
论文地址：
通过接入商可查询该域名是否有备案及相关的备案信息。
傲梅科技为您提供好用的数据、系统备份软件，保障您和您的企业电脑、服务器、NAS上的重要数据备份数据安全
爱普科学仪器（江苏）有限公司-公司一直专注于临床疼痛治疗，立足于临床需求，借助集团公司在疼痛领域的优势，利用国内、外前沿技术，运用自身技术开发力量与国内众多三甲医院及科研院校建立了密切的合作关系。
北京泰安盛世办公家具公司是集生产,设计,批发销售,定制办公家具,办公桌椅,铁皮柜,文件柜,更衣柜,办公屏风工位隔断,上下床,货架,密集柜等家具的厂家,为您提供办公家具价格,设计,定做,维修等服务.
本文目录f1总共都在哪些国家和城市举办过2020f1赛程各站具体时间是什么F1各国赛道的名字和图片f1历届都在…
56114物流查询网,是中国专业的物流查询平台,该物流网专注于物流公司，物流专线,货车配货,物流单号,货运信息,快递查询的研发和服务。
苏交科集团股份有限公司从事公路、市政、水工、铁路、城市轨道、环境、航空和建筑等行业的规划咨询、勘察设计、科研检测、安全评价、节能环保、监理、工程总承包、PPP投融资、智慧城市及互联网+的信息化业务
中国天气网官方权威发布天气预报,逐三小时天气预报,提供天气预报查询一周,天气预报15天查询,空气质量,生活指数,旅游出行,交通天气等查询服务
杭州振和实业有限公司始创于1998年，总部设立在环境优美的旅游圣地“杭州”公司是德国曼恩卡车中国浙江省品牌经销商，杭州振和现成为标准的德国曼恩4S店。公司拥有标准的销售展厅，专业的维修场地，配套的维修工具，充足的配件库存，集整车销售、零配件供应、售后服务于一体的有限实业公司
凯华机械多年来一直专注于：无纺布面粉袋封口机,面粉袋超声波封口机,面粉袋封口机、缝边机等设备的生产研发和销售以及完善的售后系统。热线：13655875103
本站为诡秘之主，宿命之环的官方站点，《诡秘之主》、《宿命之环》是爱潜水的乌贼在起点中文网连载的知名小说。本站提供诡秘之主系列IP的基本介绍、研究手册、活动资讯、卷毛狒狒研究会等资讯
上海隆佑通信科技有限公司
微软，中国，成被执行人标的仅95万中国执行信息公开网显示，近日，微软，中国，有限公司新增一条被执行人记录，执行法院为北京市第一中级人民法院，执行标的952215，案号为，2020，京01执571号，据公开信息，微软，中国，有限公司成立于1995年11月，注册资本约1.19亿美元，法定代表人为柯睿杰，AlainGillesJosephC...。
在今天，狂热追捧ChatGPT，仿佛已经成为了一种，政治正确，ChatGPT一出，学界、工业界无不惊为天人，一位研究机构的资深研究员就对AI科技评论说过，ChatGPT出来，直接给我们整不会了——生成做的比我们好就不说了，NLP，自然语言处理，能力还比我们强不少，微软注资百亿美元，谷歌则如临大敌，ChatGPT在科技圈里掀起的巨...。
区块链、大数据等技术将为跨境电商行业带来革新，由于国与国之前存在汇率差，支付方式的不同等原因，跨境电商在物流、支付、产品质量把关等方面面临着一系列问题，所以技术的发展非常必要，技术将为跨境电商行业带来革新，区块链的可追溯性、不可篡改性、时间戳技术、点对点传输技术、智能合约技术，将帮助解决跨境物流监测难题、跨境支付难题和跨境电商产品质量...。
最近很多人都在聊，这个能聊天，能通过谷歌程序员面试，能给总统写发言稿，能写论文并拿奖的人工智能，大火，十年寒窗无人问，一举成名天下知，很多人都在说，openAI爆火，它的创始人Sam估计要发财了，那你可能就低估了Sam的境界了，我们写过一篇文章，叫，直播是很多人的梦想，但只是老罗通往梦想的盘缠，这个句式用在这里，发财是很多人的梦想，...。
黄埔军校一期毕业生将帅录站长王坚整理姓名字号籍贯生卒年最高军政任职军衔党派丁炳权御伯湖北云梦1897，1940第八军第一九七师长兼长沙警备司令少将国民党丁德隆冠洲湖南攸县1904，第三十七集团军总司令，国民党第六届候补中央监察委员中将国民党万全策广西苍梧1902，1937中央军校教导总队第一旅参谋长少将国民党马师恭子敬陕西绥德190...。
外地期间11月11日，日外国会众议院及参议院将举办首相指名选举，因为自民党及公明党组成的执政联盟在此前的众议院选举中未取得过半数席位，这给本次首相指名选举带来变数，依照规定和流程，首相指名选举依照先众议院后参议院的顺序启动，在第一轮投票中取得半数以上有效选票的人获胜，日本多家媒体预测，在众议院首轮投票中，或者不可间接决出输赢，决胜轮投...。
你先看看左上角那信号格有没有GPRS信号，是一个蓝色的小块，笼罩了GSM网络的，没有的话那就是压服务没开；若上不了，你再看看网络的接入点是不是删掉了，差不多应该是waponGPRS这个选项；要还不行，你找找网络经营商吧，到移动或联通营业点去问问怎样回事中国安康车险接济电话是多少1.中国安康车险是许多生产者选用的一种保险产品，2.假设您...。
道奇是美国的汽车品牌，其总部设在美国，这个品牌由一对出世在美国密歇根州的兄弟创立，道奇的车型种类丰盛，包含轿车型号如Viper，蝰蛇，、challenger，应战者，、Caliber，酷搏，、Avenger，锋哲，、Charger，冲锋者，等，SUV车型重要有Durango和Nitro，皮卡车型包含Dakota、Ram，Truck、R...。
网络手机助手ipad版是之前的91手机助手，网络手机助手ipad版专为苹果用户打造，提供好的运行，网络手机助手ipad版允许一切iPad用户无需越狱就可以收费下载装置正版运行程序，海量运行、主题、壁纸、小说等外容下载，资源丰盛而完全，网络手机助手ipad版还允许IOS平台，智能更新，更新运行更省流量更省期间，节俭流量最多可达90%以上...。
丰田佳美2.42362，11L，智能112，560033.68万丰田佳美2.01998，11L，智能106，500033.90万丰田佳美2.4跟2.0能源有差吗你好你是说能源差距吗，必需是有的，家用的话2.0足矣，毕竟油耗低点谁能引见一下丰田佳美这款车的特点，由于上一代佳美在中国还有很大的保有量，所以咱们还是习气称这一代的佳美...。
Shams：阿尔瓦拉多遭遇脚踝扭伤能否参加训练营存疑,脚踝扭伤,足球竞赛,日本足球,shams,国际足球赛事,奥林匹克运动会,罗伯托·阿尔瓦拉多
微顶跑腿点外卖找跑腿帮送帮买寻帮助一个APP高效生活
未来的金融中心，一定是科技中心，2020年9月25日上海外滩大会上，蚂蚁集团CEO胡晓明向雷锋网说到，17世纪到18世纪，伦敦凭借着航海和贸易的优势成为了最早的国际金融中心；19世纪，华尔街因为资本的力量成为了全球新的金融中心，胡晓明认为，在21世纪，下一个全球金融中心一定是因为科技的力量而成为全球金融中心，而具备有哪些技术才能支...。
从2020到2022短短3年间，阿里云汽车线的营收从几个亿猛增到二十几个亿，简直像坐上了火箭，仅2022年一年，他们汽车云的营收增速就有70%多，赚麻了，多位云厂BD在向描述时难掩羡慕之情，据几位接近阿里云的业内人回忆，当年阿里云内部对汽车线极为重视，高层如逍遥子张勇更是曾披挂上阵，多次出现在吉利李书福、上汽陈虹等车企巨头董...。
下面为大家分享创舟盒子Z1怎么安装软件看电视直播教程，具体方法如下，准备工具，、U盘、电脑1、首先从电脑里下载好当贝市场apk，点击立即下载，和影视快搜，点击立即下载，并拷贝到U盘，然后把U盘连接的USB接口，这时，系统会自动检测到外接移动存储设备；2、也可以打开[移动磁盘]，选择[全部文件]或者安装包，找到之前下载好的当贝市场apk...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为迅盟移动广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在迅盟移动广告联盟网站首页底部或友...。
华为手机内屏由于密封性无余造成我屡次损坏培修不肯三包服务他们内屏带磁吸会吸入带磁性的物品让后内屏上面密封性无余造成异物刮花屏幕内屏玻璃包全不到位造成的拿去检测永远是人为损坏必定自己花钱培修华为培修店店长说手机都曾经回升到朴素品得包全好不然就是得培修首先我手机没砸没掉地上放口袋由于吸入磁性物导......。
