祭出100亿参数的 参数量翻了10倍！Meta AI 新SEER 为元宇宙铺路 (祭献亿万回报)
去年3月提出的10亿参数自监督模型 SEER （SElf-supERvised）又取得了新突破：新的 SEER 参数量翻了10倍，达到了100亿参数，可以取得更优秀、更公平的性能表现！
以下我们暂且称新的 SEER 模型为“SEER 10B”（一个牛逼不足以形容 Meta AI 在行动上落实自监督的野心，手动狗头）。
根据 Meta AI 的团队介绍，他们将 SEER 10B 模型在50+个基准与多个不同未标记数据集上进行了测试。其中，SEER 10B 不仅在 ImageNet 上取得了高达 85.8% 的准确率（排名第一），与原先只有 10 亿参数量的 SEER （84.2%）相比性能提升了 1.6%。
此外，SEER 10B 在性别、肤色、年龄等三个公平基准上获得了更出色的识别效果，明显优于监督模型。
留意 Meta AI 的朋友不难发现：最近，Meta AI 首席科学家 yann LeCun 与 Meta 创始人扎克伯格在公开发言中坚持强调自监督学习的优越性。上周， LeCun还提到自监督与世界模型 ，将 AI 最终能学会像人类一样学习与推理的希望寄托在这两个方法上。
所谓“自监督学习”，就是 AI 系统可以直接从文本、图像或其他类型的无标记数据中直接学习，主要针对解决监督学习所需的海量标记数据问题，因为在现实研究中，要获取大量的标记数据难度极高。
LeCun一直认为，自监督学习是构建具有背景知识或“常识”的机器、以解决远远超出当今 AI 任务的最有前景的方法之一。
但同时，也有读者评价 Meta 倡导的自监督本质上不过是强化学习。不久前，“怼王”Jürgen Schmidhuber 也发表文章，称“All You Need Is Supervised Learning”，重申监督学习在突破 AI 瓶颈中扮演的重要角色。
勿论其他，那么，Meta AI 在自监督学习上有哪些研究实践？参数量翻了10倍的 SEER 模型又有哪些新花样？一起来看看~
去年3月初，Meta AI（原 Facebook AI）发布了10亿参数自监督模型 SEER，曾在 AI 领域引起广泛关注。
据 Meta 介绍，这是他们在计算机视觉领域所取得的第一个基于自监督学习方法的成果：它可以直接从互联网的任一随机图像集合中学习，无需详细的数据管理和标记，随后直接输出图像嵌入。
经过一年的提升，如今 Meta 的研究团队将 SEER 的参数量扩大了10倍，在原有的基础上取得了更出色的性能表现：
除了可以在无标记数据上直接学习，SEER 还可以提取更高质量的视觉特征，以及发现现实世界大规模图像数据集中的显著信息，方式与人类分析所观察事物之间的关系的方式来了解世界般相似。
注意：这些数据集的覆盖范围是全球数万亿张随机、未经处理的图像。
据悉，扩大了10倍密集参数后的 SEER 是当前规模最大的密集计算机视觉模型。
他们在 50 多个基准上检验了 SEER 模型的性能，包括公平性、鲁棒性、细粒度识别，还在医学成像、卫星图像和光学字符识别 (OCR) 等领域的多个图像分类数据集上进行了实验。
不难想象，参数量翻倍后的 SEER 10B模型在一些挑战性较高的任务上也取得了更优秀的表现。
首先，100亿 SEER 在 ImageNet 上获得了高达 85.8% 的准确率，排名第一！
除了在标准计算机视觉基准上的优秀表现外，SEER还擅长处理高难度任务，并提高了对域外泛化的鲁棒性。
例如，它可以正确识别素描图和艺术画中的动物，还可以搞定常见的图像问题，例如掩装、模糊、遮挡、运动和怪异视角拍摄等。
SEER 10B 模型还能够捕获大量随机的、未经过滤的互联网图像中存在的显着信息，甚至跨越不同的地理和语言概念。
例如，即使该模型仅在没有位置信息或其他元数据的图像上进行训练，它也能够将全球多种语言的相同概念组合在一起。例如，将来自世界各地的“婚礼”概念嵌入到模型的特征空间中。
除了性能的突破，Meta AI 还称：SEER 10B 模型能取得更公平的效果。
他们使用 Meta 新开源的 Casual Conversations 数据集以及他们最近为CV模型提出的新公平基准对 SEER 进行测试，发现与较小的 SEER 模型以及 ImageNet 训练的监督和自监督模型相比，SEER 10B 模型能更准确地识别这些社会成员属性，适用于不同性别、肤色和年龄的人。
图注：该图使用 Casual Conversations 数据集显示了性别检索的准确性
此外，他们使用 Casual Conversations 数据集评估了模型标签的错误率，例如在给定特定的人像中预测“非人类”或“犯罪”等标签。研究表明，SEER 10B 问题不大，但在 ImageNet 上训练的监督模型却产生了大量的错误关联。
图注：该图显示了 SEER 模型对不同人群的关联预测错误率
SEER 10B模型还不仅适用于欧美国家的图像示例，还适用于全球各地收入水平中下的地区，以前所未有的精度对图像进行地理定位。
通过在 Gapminder 的 Dollar Street 数据集（该数据集收集了世界各地家庭中的物体图像及家庭收入信息）上实验，他们还发现，SEER 10B模型对识别全球中低收入家庭与非西方地区家庭的性能有了大幅提升，且明显优于10亿参数的 SEER 与其他监督方法。
图注：在 Meta AI 于 2020 年创建的数据集 Hateful Memes 上检测多模态（图像 + 文本）仇恨言论时，SEER 10B 的表现也优于受监督的 ImageNet 训练模型 2 个百分点。
Meta AI 的研究团队表示，秉着“负责任地开发 AI 系统”的原则，他们还对 SEER 10B模型进行了对抗性攻击，以保护训练数据的隐私安全。
他们在 Meta 的开源工具 Privacy Linter 上进行了测试，发现攻击的准确度（50.02%）仅略高于完全随机猜测，而随机攻击的准确度对于相同大小的训练集，准确度为 50%。
此外，他们计算了不同召回级别的精度，以确保没有训练图像在低召回级别中暴露——这种情况可能发生在所有得分最高的样本都属于训练集时；同时，精度低于 50.15% 适用于所有级别的召回（包括最低级别）。
图注：由于 SEER 不依赖于标记数据集，所以它能够在一组比 ImageNet 的地理多样性更优的示例上训练模型
为了测试模型在对抗性攻击中的鲁棒性，他们将模型用于识别模糊、插入、已被裁剪或经过其他编辑的扭曲图像。其中，SEER 10B在 CopyDays 基准测试中实现了 90.6% 的平均精度，提高了 5.1%，超越了之前的最佳结果。
此外，SEER 在域外鲁棒性基准上优于在 ImageNet 上训练的最先进的自监督模型，并且随着规模的增大，鲁棒性也不断提高。
目前，SEER 10B 的模型权重、实现细节与技术文档都已开放：
项目地址：
自监督学习是 Meta AI 首席科学家 Yann LeCun 近年来一直力推的研究方向。早在2018年Lecun就表示，人工智能的下一个发展方向可能是放弃深度学习的所有概率技巧，转而掌握一系列转移能量值的方法。与“常规”的深度学习标记训练方法相比，这一方式无需创建大量带标签的数据集，其基本设想是通过获取一些丰富的原始数据（如大量Facebook Live视频或Instagram照片）并“喂”给机器进行训练，训练的目标是达到能量值越小越好（即预测更为准确，与现实之间实现更好的兼容性）。
基于能量的学习早就有之。在AI研究中，“能量函数”是一个上世纪80年代一度流行的“上古”概念，由美国生物物理学家霍普菲尔德（John Hopfield）发明的“霍普菲尔德神经网络”（HNN）引入并普及。Lecun认为，监督学习无法获得像人类一样可以泛化的智能，当 AI 系统不再需要监督学习时，下一次 AI 革命就会到来，而基于能量的学习正是“减少监督”的有效实现方式。
Lecun的这一思路，在他上周接受 IEEE Spectrum 的访谈中也可见一斑。他认为AI想要突破现在的瓶颈，必须让机器学习世界模型，从而能够填补缺失的信息，预测将要发生的事情，并预测行动的影响。这种学习范式与预测架构的不同，或许也是不久前Lecun对OpenAI创始人Ilya Sutskever提出的“大型神经网络可能有意识”坚决说不的原因。
ecun的力推下，META围绕自监督模型取得了一系列的研究成果（例如最近推出的多模态自监督学习新架构deta2vec等）。 这种通过自监督学习“观察世界并学习”、最终实现像人类一样泛化的智能的学习方式，一方面可以最大程度利用META丰富的数据资源，同时也是META抢先打造元宇宙世界、加速数字世界与现实世界融合的重要技术手段。
Meta AI Research 团队也表示，计算机视觉的发展是构建元宇宙的重要步骤，而自监督视觉模型 SEER 的增强无疑为元宇宙的更上一层楼作了铺垫。
举例来说，如果要打造一幅能够帮你导航寻找钥匙或教你如何做饭的 AR 眼镜，那么就需要机器能够像人类一样理解视觉世界。这些机器不单单要能在堪萨斯州和日本京都的厨房中工作，还要在吉隆坡、北京、纽约等等世界各地的厨房中工作，这就需要机器能识别常见物体的多种模样。而 SEER 10B 在多种不同数据集中的强大性能为实现突破提供了可能。
原创文章，未经授权禁止转载。详情见 转载须知 。
4399锚点降临安卓游戏为您提供锚点降临游戏下载,锚点降临安卓游戏攻略,锚点降临安卓免费游戏,更多锚点降临手机游戏下载尽在4399手机游戏。
赛尔主要从事抗体与相关产品研发及生物医学技术服务,已通过抗体生产ISO9001体系认证，从2008年开始一直被评为国家高新技术企业，并获得“开发区科技创新奖”荣誉称号。
竖琴游戏基地-好玩的单机游戏-安卓、苹果版手机游戏下载基地
重庆申欧通讯科技有限公司成立于1998年，是申瓯通信设备有限公司销售企业也重庆总代理及重庆办事处，其前身是重庆本地早期从事程控电话交换机的企业，主营产品：申瓯集团电话交换机,数字程控交换机,煤矿井下通讯系统，数字矿山通讯电话系统，数字程控调度机,融合通信软交换设备,AG/GW/IAD接入设备，IMS/UC/IPPBX程控交换机,语音专网,电话录音系统,光端机,综合复用设备,工业级光纤环网交换机，办公及酒店电话机，SIP电话机等；典型用于重庆电信移动联通营运商、公检法部、医院、学校、酒店、金融、管道、石化、煤矿及矿山...
沈阳软件开发公司鸿翔科技-为企业提供专业的软件开发外包解决方案，涵盖多种应用与技术平台，拥有成熟的信息系统和行业软件开发外包解决方案，我们的专业团队将作为您的IT部门来开展长期紧密的合作，立足于您的业务和信息化目标，开发符合您业务目标和商业价值的软件，沈阳软件开发公司,软件开发公司,沈阳软件公司,沈阳软件开发,沈阳手机软件开发公司,沈阳app开发公司
临海市众瑞机电设备制造有限公司
5988创业商机网，专业的招商加盟平台，搜罗了各行各业优质加盟项目的招商政策、加盟费用明细、加盟店遍布网络等，助力加盟商全方面掌握加盟项目的详细信息，安全、快捷、放心的查询加盟品牌，快人一步开一家赚钱的加盟店！
鲤家智能鱼缸解决了传统鱼缸饲养及照料的困难,并将所有的功能实现全自动化供给；通过手机APP可以检测水质、自动感应水温、自动加热、自动供氧、自动照明、自动喂食、远程监控、自动换水、云服务等，也可以开启一键养鱼模式，针对自己养鱼的品种设置自动化。
高峰小筑，记录网站建设技术中的点点滴滴，献给所有志同道合的朋友！
playbyone.com百玩游戏网专注分享下载好玩的手机游戏、功能强大的手机软件资源，编辑每天都会入库上百款应用资源，同时将当前比较热门游戏、软件工具以榜单排名形式推荐给大家。百玩游戏网力争做用户喜欢的下载站。
“i许昌”APP是许昌市政府便民服务移动端统一平台，旨在为许昌市居民、企业提供全天候、一站式政务民生服务。
随着社会的经济发展，人口的流动不断的增加，人们外出旅游或者是外出工作以及出差，在外的话，很多人都会选择酒店，酒店入住方便，而且拥有优越的生活条件，并且很多的孩子都会有常常去住酒店的想法，市面上的酒店品牌很多，而莹润酒店就是一家具有很高的商业价值的酒店，酒店的环境好，服务的质量高，并受到消费者的认可，一些创业者也想要加入酒店行业，以获得...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
很多人在周末的时候就会出门逛超市，购买自己日常生活需要的东西，现在大多数的人群都会选择智能超市，智能超市不需要排队，而且都是扫码付款，比较方便，因此也就出现了各种系列的智能超市品牌，E21智能超市一直都是有很强的实力，会为顾客提供贴心的服务，所售卖的产品种类很齐全，性价比很高，顾客都很喜欢去这个品牌超市购买东西，所以众多创业者发展了品...。
手机已经是生活必需品，人手一台，由于手机的快速发展也促使了手游行业迎来了迅速的扩展，现在多数人手机上都安装各类的手机游戏，休闲的时间玩玩手游打发时间，随着手游的广受欢迎，很多人开始加盟其中，龙创手游就是一个比较好的加盟项目，于是，大家都在问龙创手游加盟费，谁加盟过，接下来，跟着小编一起来看看吧！龙创手游本着玩家充值，你就收效的经营理念...。
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
人靠衣装，美靠靓妆，很多女性朋友为了永葆美丽肌肤，焕发无穷魅力，就会时常光顾美容院，正是因为有这样旺盛的需求，国内美容行业也就取得了突破性的发展，不少创业者都想开一家美容院加盟店，那么，2016容院加盟什么牌子好，小编在此为大家推荐百莲凯美容院，百莲凯美容院成立于2001年，是美容连锁经营的先驱，百莲凯拥有独立的科研、生产及人才培训基...。
水果捞是一种制作简单、原材料易得的甜品，尽管价格不菲，却因其健康美味而受到消费者的喜爱，水果捞主要由各种新鲜水果、酸奶、冰沙、冰淇淋和干果仁等组合而成，尤其在夏季备受欢迎，常见的水果有西瓜、芒果、桃子、草莓、奇异果、哈密瓜、圣女果、火龙果等，制作方法简单快捷，即切即食，既新鲜又解暑，那么，现在开一家水果捞店前景如何?水果捞店因其健康美...。
餐饮行业一直都是很不错的行业，会因为一个网红或者一个网站，带动了一个品牌的发展，美食一直都是离不开消费者生活的，经过网络时代的传播，会有很多人知道这种品牌，就像鲜贝恋贝壳粉品牌，网络时代给这个项目带来了很多的销售额，现在成为了一种网红项目，有些智慧之选商关注了这个项目，在消费者的眼中的爆品，鲜贝恋贝壳粉加盟费多少，鲜贝恋贝壳粉的由来就...。
马上就到十一国庆了，假期里想好怎么穿搭了吗，在这个秋意浓浓的日子里，姑娘们也是时候为自己准备几件内搭单品了，那么女生秋季内搭怎么穿好看呢，今天丹比奴女装为大家献上时尚的五款内搭单品，怎么穿都不会出错哦！秋季内搭单品1，针织衫寒冷的秋季入手一件针织衫是必须的，作为经典色调的白色是内搭受欢迎的色彩之一，一款修身版型的高领针织衫，简约大气的...。
孩子的教育问题始终都是社会热门话题，在双减政策的加持下，推动素质教育行业的快速发展，AI技术得到很多家长的认可，为孩子们带去更好素质教育，北四网校AI智领学习平板历经二十多年发展，创意运营模式，先进教学理念，使其成为教育领域中的实力品牌，那么北四网校AI智领学习平板好加盟吗，售后服务如何，北四网校AI智领学习平板从品牌创建到现在已经有...。
现在的人都十分重视饮食营养，吃东西讲究营养，其实每一种食物都有自身的营养价值，都有它存在的意义，但是不同的烹制方法会使食物的营养价值流失，失去了食物本身的营养价值，在众多烹制方法中，清蒸或是蒸焖是一种很好的烹制方法，因为这种烹制方法不会造成食物的营养流失，小火老师焖锅是一家生意不错的餐饮店品牌，该餐饮店所销售的食物都是以焖为主，食物健...。
创业哪个项目好，近年来儿童阅读加盟行业持续保持增长状态，主要在于以下几点，·全民阅读、文化自信是大背景，阅读是一个比较好的创业切入口；·9月份新的中小学新教材上线，整本书阅读对孩子的阅读量、阅读能力提出了更高的要求；·AI时代，培养孩子的综合能力成为大趋势，而阅读是其中的重要途径……在这种背景下，以借阅，读书会，研学活动为运营模式的书...。
前乐视网CEO梁军参观FF会面贾跃亭，不后悔在乐视的六年7月25日，前乐视网CEO梁军今日发布微博称，，时隔两年，再次有机会去参观FF，，并与贾跃亭会面，他表示不后悔在乐视的六年，从乐视和贾跃亭身上学到了很多东西，并祝愿FF能成功，贾跃亭能够东山再起，梁军微博信息显示，其现为新视家科技CEO，据一财报道，在乐视内部，乐视创始人贾跃亭曾...。
近，我身边的很多朋友都刚刚升级做了爸妈，他们经常会跑过来问我很多问题，比如，怎么催奶，如何给宝宝换纸尿裤，纸尿裤怎么使用才不伤宝宝，红pp怎么办，有没有什么方法可以提升睡眠质量.....为此，小编特意从网上找了很多这方面的资料，并做了一个简单的整理，现在，宝宝的纸尿裤已经变了颜色，由原来的黄色变成了蓝色，那就说明宝宝已经尿尿了，接下来...。
2013年，两位联合创始人创立比特大陆，应该少有人能预料到凭借比特币的火爆，总部位于北京的比特大陆迅速成为了全球最大的矿机公司和仅位于海思排名第二的中国IC设计设计公司，然而，2017年比特币的分叉以及政策的影响让比特币经历了多轮的暴涨暴跌，危机也同时靠近依赖比特币的比特大陆，今天，比特大陆宣布王海超担任公司CEO，去年9月提交的IP...。
中铁作为中国铁路建设的领军企业，旗下众多子公司在国内外项目中扮演着关键角色，实力各有千秋，本文将为您揭示几个代表性的中铁子公司在铁路建设领域的重要地位和前景，中铁建工集团作为主力，中铁建工集团囊括铁路、公路等多元业务，子公司各有特色，中铁建工一公司以优厚待遇著称，尤其是对新入职者的薪酬福利；中铁建工二公司则提供稳定发展平台，尤其吸引技...。
发表在知麻投影仪2023，3，3116，02知麻Z1Plus是知麻Z1的升级迭代产品，在性能配置方面有所升级，具体知麻Z1Plus投影仪怎么样呢，下面就通过详细参数配置进行分析，看看知麻Z1Plus投影仪的参数配置究竟如何，是否值得用户入手，知麻Z1Plus投影仪怎么样，1.光学参数在亮度方面，知麻Z1Plus的亮度达到1200ANS...。
