祭出100亿参数的 参数量翻了10倍！Meta AI 新SEER 为元宇宙铺路 (祭献亿万回报)
去年3月提出的10亿参数自监督模型 SEER （SElf-supERvised）又取得了新突破：新的 SEER 参数量翻了10倍，达到了100亿参数，可以取得更优秀、更公平的性能表现！
以下我们暂且称新的 SEER 模型为“SEER 10B”（一个牛逼不足以形容 Meta AI 在行动上落实自监督的野心，手动狗头）。
根据 Meta AI 的团队介绍，他们将 SEER 10B 模型在50+个基准与多个不同未标记数据集上进行了测试。其中，SEER 10B 不仅在 ImageNet 上取得了高达 85.8% 的准确率（排名第一），与原先只有 10 亿参数量的 SEER （84.2%）相比性能提升了 1.6%。
此外，SEER 10B 在性别、肤色、年龄等三个公平基准上获得了更出色的识别效果，明显优于监督模型。
留意 Meta AI 的朋友不难发现：最近，Meta AI 首席科学家 Yann LeCun 与 Meta 创始人扎克伯格在公开发言中坚持强调自监督学习的优越性。上周， LeCun还提到自监督与世界模型 ，将 AI 最终能学会像人类一样学习与推理的希望寄托在这两个方法上。
所谓“自监督学习”，就是 AI 系统可以直接从文本、图像或其他类型的无标记数据中直接学习，主要针对解决监督学习所需的海量标记数据问题，因为在现实研究中，要获取大量的标记数据难度极高。
LeCun一直认为，自监督学习是构建具有背景知识或“常识”的机器、以解决远远超出当今 AI 任务的最有前景的方法之一。
但同时，也有读者评价 Meta 倡导的自监督本质上不过是强化学习。不久前，“怼王”Jürgen Schmidhuber 也发表文章，称“All You Need Is Supervised Learning”，重申监督学习在突破 AI 瓶颈中扮演的重要角色。
勿论其他，那么，Meta AI 在自监督学习上有哪些研究实践？参数量翻了10倍的 SEER 模型又有哪些新花样？一起来看看~
去年3月初，Meta AI（原 Facebook AI）发布了10亿参数自监督模型 SEER，曾在 AI 领域引起广泛关注。
据 Meta 介绍，这是他们在计算机视觉领域所取得的第一个基于自监督学习方法的成果：它可以直接从互联网的任一随机图像集合中学习，无需详细的数据管理和标记，随后直接输出图像嵌入。
经过一年的提升，如今 Meta 的研究团队将 SEER 的参数量扩大了10倍，在原有的基础上取得了更出色的性能表现：
除了可以在无标记数据上直接学习，SEER 还可以提取更高质量的视觉特征，以及发现现实世界大规模图像数据集中的显著信息，方式与人类分析所观察事物之间的关系的方式来了解世界般相似。
注意：这些数据集的覆盖范围是全球数万亿张随机、未经处理的图像。
据悉，扩大了10倍密集参数后的 SEER 是当前规模最大的密集计算机视觉模型。
他们在 50 多个基准上检验了 SEER 模型的性能，包括公平性、鲁棒性、细粒度识别，还在医学成像、卫星图像和光学字符识别 (OCR) 等领域的多个图像分类数据集上进行了实验。
不难想象，参数量翻倍后的 SEER 10B模型在一些挑战性较高的任务上也取得了更优秀的表现。
首先，100亿 SEER 在 ImageNet 上获得了高达 85.8% 的准确率，排名第一！
除了在标准计算机视觉基准上的优秀表现外，SEER还擅长处理高难度任务，并提高了对域外泛化的鲁棒性。
例如，它可以正确识别素描图和艺术画中的动物，还可以搞定常见的图像问题，例如掩装、模糊、遮挡、运动和怪异视角拍摄等。
SEER 10B 模型还能够捕获大量随机的、未经过滤的互联网图像中存在的显着信息，甚至跨越不同的地理和语言概念。
例如，即使该模型仅在没有位置信息或其他元数据的图像上进行训练，它也能够将全球多种语言的相同概念组合在一起。例如，将来自世界各地的“婚礼”概念嵌入到模型的特征空间中。
除了性能的突破，Meta AI 还称：SEER 10B 模型能取得更公平的效果。
他们使用 Meta 新开源的 Casual Conversations 数据集以及他们最近为CV模型提出的新公平基准对 SEER 进行测试，发现与较小的 SEER 模型以及 ImageNet 训练的监督和自监督模型相比，SEER 10B 模型能更准确地识别这些社会成员属性，适用于不同性别、肤色和年龄的人。
图注：该图使用 Casual Conversations 数据集显示了性别检索的准确性
此外，他们使用 Casual Conversations 数据集评估了模型标签的错误率，例如在给定特定的人像中预测“非人类”或“犯罪”等标签。研究表明，SEER 10B 问题不大，但在 ImageNet 上训练的监督模型却产生了大量的错误关联。
图注：该图显示了 SEER 模型对不同人群的关联预测错误率
SEER 10B模型还不仅适用于欧美国家的图像示例，还适用于全球各地收入水平中下的地区，以前所未有的精度对图像进行地理定位。
通过在 Gapminder 的 Dollar Street 数据集（该数据集收集了世界各地家庭中的物体图像及家庭收入信息）上实验，他们还发现，SEER 10B模型对识别全球中低收入家庭与非西方地区家庭的性能有了大幅提升，且明显优于10亿参数的 SEER 与其他监督方法。
图注：在 Meta AI 于 2020 年创建的数据集 Hateful Memes 上检测多模态（图像 + 文本）仇恨言论时，SEER 10B 的表现也优于受监督的 ImageNet 训练模型 2 个百分点。
Meta AI 的研究团队表示，秉着“负责任地开发 AI 系统”的原则，他们还对 SEER 10B模型进行了对抗性攻击，以保护训练数据的隐私安全。
他们在 Meta 的开源工具 Privacy Linter 上进行了测试，发现攻击的准确度（50.02%）仅略高于完全随机猜测，而随机攻击的准确度对于相同大小的训练集，准确度为 50%。
此外，他们计算了不同召回级别的精度，以确保没有训练图像在低召回级别中暴露——这种情况可能发生在所有得分最高的样本都属于训练集时；同时，精度低于 50.15% 适用于所有级别的召回（包括最低级别）。
图注：由于 SEER 不依赖于标记数据集，所以它能够在一组比 ImageNet 的地理多样性更优的示例上训练模型
为了测试模型在对抗性攻击中的鲁棒性，他们将模型用于识别模糊、插入、已被裁剪或经过其他编辑的扭曲图像。其中，SEER 10B在 CopyDays 基准测试中实现了 90.6% 的平均精度，提高了 5.1%，超越了之前的最佳结果。
此外，SEER 在域外鲁棒性基准上优于在 ImageNet 上训练的最先进的自监督模型，并且随着规模的增大，鲁棒性也不断提高。
目前，SEER 10B 的模型权重、实现细节与技术文档都已开放：
项目地址：
自监督学习是 Meta AI 首席科学家 Yann LeCun 近年来一直力推的研究方向。早在2018年Lecun就表示，人工智能的下一个发展方向可能是放弃深度学习的所有概率技巧，转而掌握一系列转移能量值的方法。与“常规”的深度学习标记训练方法相比，这一方式无需创建大量带标签的数据集，其基本设想是通过获取一些丰富的原始数据（如大量Facebook Live视频或Instagram照片）并“喂”给机器进行训练，训练的目标是达到能量值越小越好（即预测更为准确，与现实之间实现更好的兼容性）。
基于能量的学习早就有之。在AI研究中，“能量函数”是一个上世纪80年代一度流行的“上古”概念，由美国生物物理学家霍普菲尔德（John Hopfield）发明的“霍普菲尔德神经网络”（HNN）引入并普及。Lecun认为，监督学习无法获得像人类一样可以泛化的智能，当 AI 系统不再需要监督学习时，下一次 AI 革命就会到来，而基于能量的学习正是“减少监督”的有效实现方式。
Lecun的这一思路，在他上周接受 IEEE Spectrum 的访谈中也可见一斑。他认为AI想要突破现在的瓶颈，必须让机器学习世界模型，从而能够填补缺失的信息，预测将要发生的事情，并预测行动的影响。这种学习范式与预测架构的不同，或许也是不久前Lecun对OpenAI创始人Ilya Sutskever提出的“大型神经网络可能有意识”坚决说不的原因。
ecun的力推下，META围绕自监督模型取得了一系列的研究成果（例如最近推出的多模态自监督学习新架构deta2vec等）。 这种通过自监督学习“观察世界并学习”、最终实现像人类一样泛化的智能的学习方式，一方面可以最大程度利用META丰富的数据资源，同时也是META抢先打造元宇宙世界、加速数字世界与现实世界融合的重要技术手段。
Meta AI Research 团队也表示，计算机视觉的发展是构建元宇宙的重要步骤，而自监督视觉模型 SEER 的增强无疑为元宇宙的更上一层楼作了铺垫。
举例来说，如果要打造一幅能够帮你导航寻找钥匙或教你如何做饭的 AR 眼镜，那么就需要机器能够像人类一样理解视觉世界。这些机器不单单要能在堪萨斯州和日本京都的厨房中工作，还要在吉隆坡、北京、纽约等等世界各地的厨房中工作，这就需要机器能识别常见物体的多种模样。而 SEER 10B 在多种不同数据集中的强大性能为实现突破提供了可能。
原创文章，未经授权禁止转载。详情见 转载须知 。
北通BEITONG品牌成立于1997年，一直致力于深耕游戏外设和游戏辅助软件领域。用北通，娱乐更轻松！
base64图片转换工具，是一款可以在线任意图片格式转Base64DataUrl编码工具,可以让你很方便地在没有上传文件的条件下将图片插入其它的网页、编辑器中。
美丽交友，打造全国本地化的婚恋交友平台.通过众多的线下活动,让男女双方在团体活动中自然认识、轻松交往.美丽交友只通过口碑进行宣传,因此是一个诚信聚集的平台.
PHPYUN人才招聘系统（http://shiyan.net）大品牌的招聘网站，规模大信息真实的专业招聘网站，最新招聘信息，找工作，上PHPYUN人才招聘系统!
石家庄市鑫风风机制造有限公司专业生产石家庄风机,高压离心通风机,中低离心通风机等,技术先进,为客户提供各种通风需求,产品热销全国!电话:13832385569.
浙江永康物流网是以全面、易用为宗旨的永康同城物流信息搜索引擎。提供永康物流中心的专线查询、公司查询、运单查询、车辆查询、网点查询，永康物流园含零担专线、整车货运、物流调度。
温州中网24年专业温州网站建设、网站制作、网站设计、网站优化和小程序开发设计的温州网络公司,温州seo带来网络营销的2.5产业的先驱者,我们为乐清、瑞安、苍南、平阳、永嘉、洞头等温州本土的上万家客户服务,服务稳定,合作放心,免费网络营销咨询!TEL：400-809-5859
上海蓝潮餐饮管理有限公司致力于食堂承包,食堂托管,食堂管理,团餐,团膳,食堂外包,上海食堂承包,承包食堂,有企业,工厂员工食堂,写字楼,园区,医院食堂,学校食堂,工地食堂,是团餐一体化的综合服务商.服务上海,江苏,浙江,福建,广东,安徽,湖北等.
广州奥韵汇商业空间设计公司，致力于家居品牌商业空间软装个性化设计定制。广州商业空间设计专线：4008-796-798，我们的服务项目涵盖家具、厨柜、衣柜、陶卫、木门、门窗、整体家居、整木家居等家居终端商业空间的形象设计全案服务。
蚌埠禹投集团有限公司
汤臣倍健秉承“科学营养”的品牌主张,致力为家人和朋友生产全球高品质的营养品,多方位解决人们的健康问题,实现生命质量的提升。
汇率网为您提供最新、最准确的货币汇率查询服务。我们24小时不间断更新,让您随时掌握市场脉搏,轻松进行汇率换算和追踪。无论是个人旅行还是企业金融决策,全球实时汇率网都是...
如今有不少的上班族、大学生等群体萌生了进军创业的队伍中，想要轻轻松松的创业，选择合适的开店项目是成功的前提，我国自古以来就是一个讲究礼尚往来的国度，人们在过节的时候经常会购买一些礼品摆放亲朋好友，因此选择开一家礼品公司是一个不错的创业选择，今天就和小编一起了解一下，礼品公司怎么加盟，礼品公司怎么加盟，一、创业者对当地消费者的消费水平、...。
北京时间2023年1月15日11时14分，我国在太原卫星发射中心使用长征二号丁运载火箭，以，一箭十四星，发射方式，成功将卫星送入预定轨道，影石创新科技股份有限公司，简称，影石创新，研发的全景相机搭载在其中一颗距地面500公里的近地轨道卫星上，11月28日，影石创新发布了全景相机拍下的地球与银河同框浪漫影像，通过全景镜头回望地球，沉浸...。
消息，在第五届图像计算与数字医学国际研讨会，ISICDM2021，的主论坛成功举办后，医学图像分析分论坛于2021年12月19日顺利开启，线上吸引了1.62万人次观看，本论坛主要关注医学图像分析领域的主要研究趋势和挑战，围绕图像分割、配准、计算机辅助诊断、图像融合、图像分类和识别、引导治疗和检索等方面，介绍了国际的前沿研究和医学...。
ChatGPT引人瞩目，其庞大的训练数据量也备受关注，公开资料显示，ChatGPT，3的参数高达1750亿，预训练数据集高达45TB，虽然OpenAI并未公布ChatGPT，4的训练数据集，但由于ChatGPT，4属于多模态，业内估计其数据很可能是ChatGPT，3的数倍，除了ChatGPT以外，智慧城市、数字孪生、AR、云服务等亦离...。
发表在当贝投影仪2022，12，2211，06当贝OS操作系统随着版本的不断更替，目前版本已经进化为当贝OS3.0，这是号称大屏端的iOS系统，相比其他千篇一律的操作系统，整体界面UI不同，凭借轻、快、自由的理念广受用户好评，那么如今的当贝OS系统有什么特点呢，下面就来详细了解一下，当贝投影2023系统亮点功能盘点，1.自研氛围感神器...。
发表在专业问答2024，10，1414，07展示机型信息，品牌型号，极米H6系统版本，GMUI6.0极米投影仪亮度可以在设置中找到亮度设置来调节亮度，总共可以分为三步，下面为极米投影仪亮度怎么调的详细步骤具体说明，极米投影仪亮度怎么调1.打开投影设置在极米投影仪主界面找到设置并点击打开投影设置；2.选择画面设置在投影设置界面找到画面设...。
18k金，通常指的是金含量占首饰总重量75%的合金，与G750金的概念一致，金饰价格的构成主要受加工工艺和品牌影响，目前，市场上标准的18k黄金每克价格大约是350元，以此为基础计算，一克18k金的价格为350元乘以0.75，即262.5元，然而，值得注意的是，由于18k金具有极好的延展性，这使得它在工艺设计上更为灵活，因此在实际销售...。
猫咪2022终身地区网名有哪些?1、哆啦a梦动漫角色哆啦a梦的原型神似英国短毛蓝猫，从毛色到体型简直都有相似的中央，给蓝猫取一个不凡的名字，哆啦a梦为当属最佳，既有共鸣性，又相当共同，在是一个可恶且标新立异的猫咪名字，2、汤姆猫新地区网名2022有吃秋刀鱼的大脸猫、暖暖地大脸猫、旭日与猫、喵星人、喵不二ゅ、晚风与猫、猫腻少女、鲜花与猫...。
作为一家电脑公司，取一个大气、顺口、难听的名字是十分关键的，它能更好地展现企业的运营范围和主题，同时，咱们还可以将装璜设计和艺术格调融入公司称号中，可以更好地推行和服务公司，从而优化品牌影响力，下文是第一星座精选的电脑公司名字，电脑公司起名字大全，合盛电脑、欣惠电脑、兴邦电脑、雅尚电脑、思客电脑、云盛电脑、品创电脑、联宇电脑、思格电脑...。
日前，咱们从上汽通用别克官网渠道得知，新一代君越25T越行版针对性能启动了调整，新增了一些便利性性能，但售价坚持不变，照旧为17.99万元，25T越行版属于新一代君越的入门版车型，搭载的是1.5T发起机，目前新车已陆续运往全国各地经销商处开局交付，详细来看，新一代君越25T越行版性能调整之后，新增了车辆变道预警、车侧盲区预警、前方车辆...。
S55分两种机械增压版和个别版机械增压版大概售价是200万个别版售价是170万左右大概飞驰S55加什么汽油源源始终的弱小能源输入是保障S55AMG领有媲美跑车的出色能源功能的主要，但这所有都要归功于暗藏在引擎盖下的高功能5.5升AMGV8机械增压发起机，其最大输入功率为368kW，500HP，最大扭矩为700Nm，其实这款装配在S55...。
[全球时报驻俄罗斯特派记者肖新新]外地时期2日，俄罗斯北边舰队的一支舰艇编队达到委内瑞拉北部拉瓜伊拉港，委内瑞拉方面为其举办了欢迎仪式，据俄新社报道，俄罗斯驻委内瑞拉大使梅利克，巴格达萨罗夫、委内瑞拉国防部国际军事协作总局局长马塔、委内瑞拉海军副司令马斯等参与了舰艇编队欢迎仪式，停靠该港的舰艇包含，戈尔什科夫海军元帅，号护卫舰、，帕申...。
说起特色美食，人们首先想到就是火锅串串，而提到串串人们就选择的是签王之王，不仅好吃而且价格还非常的实惠，在市场上精心挑选新鲜优势的食材，既确保了口感，还非常的有营养，各种不等口味的锅底，适合不同年龄阶段不同消费的口味需求，同时也赢得了无数的创业者们的青睐，大家都想要加入进来，那么，签王之王串串加盟电话是多少呢，下面，大家就随着小编一起...。
发表在综合交流大区2018，12，1922，12激光电视是一个系统，投影是一个产品家用大屏幕显示系统，按照每平米显示面积的成本计算，投影技术的优势几乎是其他各种显示技术的10倍以上，越大越便宜——这是对投影产品在家用市场的，钱途，最精妙的描述，科普，我们为何叫激光电视，而不是投影但是，传统家用投影机也有两个让消费者很烦心的地方，第一是...。
发表在极米投影仪2020，4，1416，44大福利，大福利你们千呼万唤的极米投影仪精简固件来了本固件免费下载极米投影仪官改第三方固件介绍，该固件基于极米官方固件修改制作1、去开机广告推送；2、去系统自升级；3、去极米原桌面改为多功能的氧气桌面极速版，首次刷入可能需要手动更新到最新版本；4、去掉无用的内置应用，极米广告推送、芒果TV、...。
中国声音的代表人物之一是武文胜，他以笔名唐风知名，身份兼具财经作家和资深图书策划人，他拥有深厚的文化背景，毕业于鲁迅文学院，出生于1966年，是江苏邳州的汉族人士，至今，他已经策划并创作了众多影响力广泛的图书，其中包括，一根稻草的重量，、，新货币战争，、，新粮食战争，、，新能源战争，等，总计超过100本，部分作品的版权甚至被台港澳地区...。
手擀面称之为手工面，是以手工擀制的面条，从营养价值来说，手擀面更具有营养价值，更能便于吸收原材料的营养，而且手擀面的口感更加劲道，手擀面也逐渐应用于各个种类面条中，比如拉面等，当传统的饮食的文化逐渐被推崇时，手擀面这种传统的手工形式的面条也将会越来越受欢迎，那么现在开手擀面馆有市场吗，可随着小编一起来了解下，开手擀面馆有市场吗，面条作...。
