开放代码又如何 资源集中 成本昂贵 大规模语言模型的民主化越来越难 (开放原代码许可)
5月初，Meta发布了一个可以执行多个不同任务的大型语言模型：Open pretraining Transformer (OPT-175B)。在过去几年里，大型语言模型（large language model，LLM）已经成为人工智能研究的热点之一。
在OpenAI发布包含1750亿参数的深度神经网络GPT-3之后，就引发了一场LLM的「军备竞赛」，OPT-175B是这场竞赛的一个最新参与者。GPT-3已经表明，LLM可以无需额外训练就能执行许多任务。后来，微软将GPT-3集成到它的几个产品中，不仅展示了LLM在科学研究上的前景，也展示了LLM在商业上的应用潜力。
而OPT-175B的独一无二性在于Meta对「开放」的承诺， 正如这个模型的名字（OpenXX）所暗示的那样。Meta已经向公众提供了这个模型，并且公布了训练和发展过程中的大量细节。在Meta AI博客上发表的一篇文章中，Meta将OPT-175B的发布描述为「大规模语言模型的民主化访问」（DEMOcratizing access to large-scale language models）。
Meta这种朝着透明化方向的发展是值得称赞的。 然而，在大型语言模型的激烈竞争下，民主化已经变得难以实现。
1750亿参数的OPT
Meta发布的OPT-175B有一些关键特征。它包括了预训练的模型以及需要训练和使用LLM的代码。训练神经网络比运行神经网络要消耗更多的计算资源，所以，对于没有计算资源来训练模型的组织来说，预训练模型特别有用。通过减少训练大型神经网络所需的计算资源，它还会有助于避免造成巨大的碳足迹。
与GPT-3一样，OPT也有不同的规模，参数从1.25亿到1750亿不等，参数越多的模型学习能力越强。目前，所有300亿参数及以下的版本都可以直接下载。完整的1750亿参数版本的模型将提供给部分研究人员和机构，只需要填写一张申请表。
除了模型，Meta还发布了一个完整的日志，提供了大型语言模型开发和训练过程的详细技术时间表。通常来说，经发表论文只包含关于最终版本模型的信息。Meta表示，该日志提供了一些有价值的信息，包括「用于训练OPT-175B的计算量，以及当底层基础设施或训练过程本身在规模上变得不稳定时所需的人力开销」。
Meta：GPT-3不够透明
Meta在其博客文章中还表示，大型语言模型大多可以通过「付费API」来访问，对LLM的访问进行约束「限制了研究人员去理解这些大型语言模型如何工作以及为什么能工作，阻碍进一步提高模型的鲁棒性和减少模型的偏见和有害性等已知问题」。
这是对OpenAI的一种抨击，OpenAI发布GPT-3只是提供了一种黑箱API服务，而不是将其模型的权重和源代码公开。OpenAI宣称没有公开GPT-3的原因之一，是为了控制有害应用程序的滥用和开发。
而Meta认为，通过将模型提供给更广泛的受众，会有利于研究和预防它们可能造成的任何伤害。
Meta这样描述他们所做的工作：
大型语言模型的成本
然而，需要注意的是，大型语言模型的 「透明和开放」并不等同于「民主化」。 训练、配置和运行大型语言模型的 而且未来可能还会继续增加。
根据Meta的博客文章，研究人员已经成功地大大降低了训练大型语言模型的成本。他们表示，该模型的碳足迹已减少到GPT-3的七分之一。之前也有专家估计，GPT-3的培训成本高达2760万美元。
这说明，OPT-175B的培训成本仍然高达数百万美元。幸运的是，预训练的模型将避免训练模型的需要，并且Meta表示，将提供「只用16块NVIDIA V100 gpu」来进行训练和部署完整模型的代码库。这相当于一台Nvidia DGX-2，成本约为40万美元，对于资金紧张的研究实验室或单个的研究人员来说，这仍不是一笔小数目。根据一篇提供了更多关于OPT-175B细节的论文显示，Meta使用了992块 80GB A100 gpu训练了自己的模型，比V100明显更快。
Meta AI的日志进一步证实，训练大型语言模型是一项非常复杂的任务。OPT-175B的开发时间表上，充斥了诸如服务器崩溃、硬件故障和其他需要高级技术人员来解决的并发症。研究人员还不得不多次重启训练过程，调整超参数，改变损失函数。所有这些产生的额外费用，都是小型实验室所无法承担的。
民主化的阻碍：权力集中在少数公司手中
语言模型如OPT和GPT都是基于transformer架构。transformer的关键特性之一，是它能够并行和大规模地处理大型顺序数据(如文本)。
近年来，研究人员已经证明，通过在transformer架构中添加更多的层和参数，可以提高语言任务的表现。一些研究人员认为，达到更高的智力水平只是一个规模问题。因此，资金充裕的研究实验室，如Meta AI、DeepMind （Alphabet旗下)和OpenAI（微软赞助)，都在致力于创建越来越大的神经网络，比如DeepMind最新推出了多模态AI系统Gato。
去年，微软和英伟达创建了一个价值5300亿参数的语言模型，名为Megatron-Turing (MT-NLG)。上个月，谷歌引入了语言模型 Pathways Language Model (PaLM)，这是一个包含了5400亿参数的大规模语言模型。更有传言称，OpenAI将在未来几个月发布GPT-4。
然而，更大的神经网络也需要更多的财政和技术资源。虽然更大的语言模型会有更多新花哨（和新的失败），但它们也会不可避免地把 权力集中在少数富有的公司手中， 较小的研究实验室和独立的研究人员在大型语言模型的研究上更加艰难。
在商业方面，大型科技公司将拥有更大的优势。运行大型语言模型是非常昂贵和具有挑战性的。像谷歌和微软这样的公司都有专门的服务器和处理器，所以他们能大规模运行这些模型并盈利。对于较小的公司来说，搞出一个自家版本的LLM（如GPT-3）的开销太大了。正如大多数企业都使用云托管服务而不是建立自己的服务器和数据中心一样，随着大型语言模型变得越来越流行，像GPT-3 API这样的开箱即用系统将会更具有吸引力。
而这反过来又会进一步地将AI集中在大型科技公司手中。更多的人工智能研究实验室将不得不与大型科技公司合作，以获得研究资金。这将赋予大型科技公司更大的权力来决定AI未来的研究方向（与他们的经济利益相一致的方向）。那些没有短期投资回报的研究领域，可能就会成为这其中的代价。
一个底线是，当我们庆祝Meta为LLM带来透明度的时候不要忘记，大型语言模型的本质仍是不民主的，它们只是更多地对宣传它们的公司有利。
版权文章，未经授权禁止转载。详情见 转载须知 。
北京东方华文
电影港网(dyg5.com)提供高清电影电视剧BT种子下载，并且支持手机直接在线观看，电影港——你懂得可以直接在线观看视频的网站，您的BT电影天堂
重庆域名是基于云计算的网站域名注册商，办理域名注册与域名查询业务，为十万网站建设用户提供虚拟主机与云服务器租用。几十种域名查询与域名注册,排行3强重庆域名注册商，
上海开陌实验器材有限公司(www.kemo-sci.com)是专业的热电ThermoOrion奥立龙,热电Thermo纯水机,美的生物低温冰箱的供应商,拥有充满活力的销售团队、具有丰富仪器技术和应用知识的技术支持团队和技术全面、经验丰富的售后服务团队
上海林频仪器股份有限公司(www.gaods.com)主营高低温试验箱,高低温测试箱,高低温实验箱厂家为您提供高低温试验箱原理,高低温试验箱价格服务咨询。公司不仅具有国内外精湛的技术水平，更有良好的售后服务和解决方案,欢迎来电洽谈！
石家庄奋进科技有限公司石家庄奋进科技有限公司主要经营工业炉窑技术开发、工程设计、工程总包、炉窑配件销售、技术服务等。公司拥有梁式石灰窑专利、梁式石灰窑核心部件专利等多项专利，具有梁式窑完整的知识产权。
深圳康柏新材料科技有限公司
2020河南·民权第六届制冷装备博览会民权制冷展2020-10-28开幕2020河南民权制冷装备博览会欢迎您4006-098-298
上海酉尼科线缆有限公司,拖链,机器人上海酉尼科线缆有限公司专注于拖链、机器人运动及集成的线缆设计与服务。我们深耕行业十余年，拥有专业的产品知识和丰富的应用经验。从设计源头帮助客户出具方案。
河北捷泰建筑工程有限公司--塔吊出租服务我们致力于为您提供、安全的塔吊出租服务。无论您是进行房屋建筑、桥梁修建还是其他工业项目，我们都能提供高质量的塔吊设备，确保您的施工进度顺利进行。欢迎客户来电咨询：15530120111我们期待与您的合作！
网络游戏攻略分享
OpenAI前首席科学家、联合创始人IlyaSutskever曾在多个场合表达观点，只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能，AGI，虽然，下一token预测已在大语言模型领域实现了ChatGPT等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型，如StableDiffusion，和组合方...。
上周三，OpenAI发布了对话语言模型ChatGPT，并开放了免费试用，据OpenAI的CEOSamAltman称，在短短5天的时间里，ChatGPT就有了100万用户，而之前的GPT，3花了将近24个月才达到这个用户量，在OpenAI给出的描述中，ChatGPT是一个，可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求，...。
消息，12月24日，T，Mobile、Meta、Twitter、Pinterest和iHeartRadio等公司宣布，将不会参加2022年度拉斯维加斯博览会，其主要技术也不会在展览会出现，据了解，国际消费类电子产品展览会，简称CES，由美国电子消费品制造商协会，简称CTA，主办，旨在促进尖端电子技术和现代生活的紧密结合，该展始于...。
炼大模型，已成为人工智能领域的主流研发趋势，从GPT，3的1750亿，到如今悟道2.0的1.75万亿，超大语言模型在NLP基准任务中不断刷新SOTA，而，参数和数据集的快速增长让GPU算力开始捉襟见肘，单个GPU内存已经远远不能满足大模型的需求，如，阿里用480块GPU训练千亿模型；英伟达用3072块GPU训练万亿模型；谷歌用204...。
特斯拉将裁员1万人、暂停全球招聘，马斯克回应，裁员不涉及实际生产人员，还将增加小时工据路透社援引知情人士称，马斯克分别在周四和周五的内部电子邮件中表示，特斯拉在某些领域人手过剩，马斯克告诉公司高管，需要削减特斯拉10%的工作岗位，且将暂停全球招聘，因为他对美国经济有，超级糟糕的感觉，特斯拉的年度财务报表显示，截至2021年底，其全球...。
腾讯回应与MetaVR头显合作传闻近日，有媒体报道，Meta正在与腾讯进行洽谈，计划将其VR头显Quest推向中国市场，Meta希望将其设备产品引入中国市场，以重振其在中国的业务，报道称，Meta公司与几家中国科技企业进行了洽谈，并与一家中企洽谈取得了进展，如果合作成功，可能对双方都有利，值得注意的是，早在去年年底就有腾讯与Meta合...。
过去的几年里，苹果的芯片设计团队一直在架构设计和制造工艺两条路线上稳居业界最前沿，此番随新一代iPhoneXS一齐亮相的A12处理器同样保持了这份优良传统，它是业界第一个实现量产应用的7nm移动SoC芯片，此前在雷锋网，详细解读7nm制程，一文中我们曾介绍过，一般来说制程的数字越小，晶体管的MetalPitch和GatePitch等特...。
编者按，人们可以训练人工智能，AI，和机器人完成任务，但整个过程在黑箱中运作，我们并不知道AI和机器人是如何决策的，一家名为OptimizingMind的初创公司想要解决这个问题，这篇文章将讲述该公司对建立透明AI决策过程的愿景和大胆尝试，本文发表于TechRepublic，作者HopeReese，原标题，Transparentmac...。
2月8日，福布斯发布2023年全球区块链50强榜单，蚂蚁、百度、建行等6家中国公司系数上榜，其中也不乏Alphabet、Meta、NBA、甲骨文、三星等明星公司，全球区块链50强，是由福布斯评选的年度重磅榜单，已经连续推出5年，在行业内有着较高的知名度和权威性，从今年的评选结果来看，全球有6家公司连续5年入选，美国证券存托与清算公司...。
去年3月提出的10亿参数自监督模型SEER，SElf，supERvised，又取得了新突破，新的SEER参数量翻了10倍，达到了100亿参数，可以取得更优秀、更公平的性能表现！以下我们暂且称新的SEER模型为，SEER10B，一个牛逼不足以形容MetaAI在行动上落实自监督的野心，手动狗头，根据MetaAI的团队介绍，他们将SEE...。
大家还记得去年1月OpenAI发布的只要，阅读，文本，DALL·E就能根据文本的内容，自动，生成栩栩如生的大师级画像，因此，当时一经发布，DALL·E就火遍了AI圈，吸粉无数，也让Language，Vision，文本，视觉，方向又火了一把，就在今天！时隔一年后，OpenAI结合CLIP，又发布了DALL·E的第二个版本——相比DALL...。
今日融资快报AI编程Anysphere获得A16z新一轮投资，估值达4亿美元AI编程初创公司Anysphere发布AI代码编辑器Cursor，并成功从知名风险投资公司A16z获得新一轮融资，估值至少达到4亿美元，Cursor被多个大型科技公司使用，包括OpenAI和Perplexity，Anysphere的目标是通过AI编辑器帮助开发...。
春节将至，人们纷纷踏上回乡路，疫情防控仍不能放松，新年伊始安坐家中，你不用觉得无聊，只用动动手指，迈开脚步，就可以通过各种方式行善，和全国亿万网友一块做好事，2022年春节期间，腾讯公益将开放多场小红花活动，和亿万爱心网友一块做好事，主题日捐款的爱心网友，可以获得官方配捐；积了小红花的用户，可以用小红花领取限量数字藏品，或者领取不同款...。
孩子阅读兴趣的培养相当重要，如果阅读兴趣、阅读方法能够养成，对于孩子今后的课程学习也很重要，快乐书童在行业有很多年的时间，能够以儿童阅读兴趣培养为主，快乐书童有宣传推广吗，主要宣传渠道是什么，快乐书童经过很多人的努力研究，能够在孩子阅读兴趣培养方面做的更出色，让更多孩子在公司的指导下养成会阅读、喜欢阅读的习惯和兴趣，公司也有自己的宣传...。
10月29日，胡润钻研院发布，2024衡昌烧坊·胡润百富榜，1094位团体财产50亿元人民币以上的企业家登上往年胡润百富榜，比去年增加12%，147位，上榜企业家总财产21万亿元，比去年降低10%，2.4万亿，千亿级企业家比去年增加4位，至26位，十亿美金企业家比去年增加142位，至753位，上榜企业家平均年龄61岁，比去年年长...。
外地期间11月10日，以色列新任国防部长卡茨在吉迪恩·萨尔就职外交部长的仪式上宣布讲话，他示意，处置被扣押人员疑问是首要指标，宿愿经过对巴勒斯坦伊斯兰抵制静止，哈马斯，施加压力，让被扣押人员回家，外地期间5日晚，以色列总理内塔尼亚胡宣布解除国防部长加兰特的职务，理由是两人之间存在，信赖危机，内塔尼亚胡的办公室随后宣布申明称，内塔尼亚...。
下载地址，类型，安卓游戏，破解游戏版本，oppo游戏核心官方最新版本v12.5.1大小，57.16M言语，中文平台，安卓APK介绍星级，评分，★★★★★游戏标签，oppo游戏核心游戏核心app2023oppo手机游戏核心运行商店大厅是一款由oppo官方打造的手机游戏平台，相当于手游盒子软件，外面领有海量精品游戏，详尽的分类找游戏更轻...。