越大越好 OpenAI正在寻求训练模型的新方法 的门路走不通 (越大越好过越小越难过越短越好过越长越难过)

文章编号:27136 国内电影 2024-11-13 AI聚焦AI
AI

财联社11月12日(编辑 牛占林) 很多人工智能(AI)迷信家和初创公司以为,经过参与更少数据和算力来扩展以后模型,以继续改良AI模型的方法正在走到止境。因此,像OpenAI这样的AI公司正在寻求经过开发新的训练技术来克制以前面临的应战,这些技术更像人类的思索形式。

自风行环球的聊天机器人ChatGPT颁布以来,科技公司都是经过参与更少数据和算力来扩展并改善AI模型。但如今,一些最卓越的AI迷信家正在指出这种“越大越好”的局限性。

人工智能试验室Safe Superintelligence和OpenAI的联结开创人Ilya Sutskever近日示意,扩展预训练(训练AI模型的阶段,该模型经常使用少量未标志的数据来了解言语形式和结构)所取得的成绩曾经到达了一个颠簸期,对优化模型功能的协助有限。

Sutskever早期主张经过在预训练中经常使用更少数据和算力来成功生成式AI的渺小飞跃,这最终发明了ChatGPT。他往年早些时刻分开OpenAI,创立了Safe Superintelligence。

Sutskever示意:“以前是规模扩张的时代,如今咱们又回到了奇观和发现的时代。每团体都在寻觅下一个物品,这比以往任何时刻都更关键。”

此外,Sutskever还抵赖他的公司正在钻研一种扩展预训练规模的代替方法,但未泄漏更多细节。

新技术比赛

大模型的所谓“训练”须要同时运转数百个芯片,老本或者高达数千万美元。思索到系统的复杂性,它们更有或者发生配件造成的缺点;在测试完结之前,钻研人员或者不可知道这些模型的最终功能,这或者须要几个月的时期。

另一个疑问是,大言语模型吞噬了少量数据,而AI模型曾经耗尽了环球上一切容易失掉的数据。电力充足也阻碍了训练运转,由于这个环节须要少量的动力。

为了克制这些应战,钻研人员正在探求测试时计算(test-time compute),这是一种在所谓的推理阶段或经常使用模型时增强现有AI模型的技术。例如,模型可以实时生成和评价多种或者性,最终选用最佳行进门路,而不是立刻选用一个答案。

这种方法使模型能够将更多的处置才干投入到具备应战性的义务中,比如数学或编码疑问或须要相似人类的推理和决策的复杂操作。

OpenAI钻研员Noam Brown此前示意:“理想证实,让一个机器人在一盘扑克牌中思索20秒,与将模型加大10万倍、训练时期延伸10万倍的效果相反。”

OpenAI 在其新颁布的模型“o1”中驳回了这项技术,与此同时,来自Anthropic、xAI和DeepMind等其余顶尖AI试验室的钻研人员也在努力于开发自己的技术版本。

OpenAI首席产品Kevin Weil示意:“咱们看到了很多高扬的果实,摘上去让这些模型变得更好。等到人们迎头赶上的时刻,咱们会努力开发新的技术。”

多位迷信家、钻研人员和投资者以为,这种新技术或者会重塑AI军备比赛,并对AI公司所需求的各类资源发生影响。

点击进入专题: 聚焦AI

AI大模型标注:你看不上的数据标注正在成为高薪工作

大模型的出现,催生了众多新兴岗位,其中数据标注工作尤为引人关注。 对于想要了解数据标注和大模型标注的同学,这篇文章或许能提供一些有益的信息。 2022年底,ChatGPT的问世引爆了大语言模型的浪潮,全球科技巨头纷纷加入其中。 从自然语言技术扩展到文生图、文生音频、文生视频、图生视频等多模态技术,大模型的应用已经达到了新的高度。 近期,大模型生成的兵马俑甚至能跳起“科目三”的热舞。 大模型的热潮为人工智能开启了新的篇章。 作为大模型数据能力链条上的关键环节,数据标注受到了前所未有的关注。 数据是人工智能的基础,也是大模型的养分来源。 数据标注的质量直接决定了大模型的智能程度。 OpenAI公司在全球大模型领域处于领先地位,他们在数据标注上也有一套独特的方法。 他们的数据标注方式是先进行预训练模型的制作,然后通过强化学习和人工反馈来调优,即RLHF(Reinforcement Learning from Human Feedback)。 OpenAI公司找来多家数据公司共同完成数据标注,并组建了一个由几十名哲学博士组成的质检团队对数据进行检查。 他们不是以对错来评估数据,而是为每个问题选择多个匹配的结果,经过多人多轮的结果排序,直至模型数据符合常人思维,甚至某些专业领域的结果要达到中等以上知识水平。 OpenAI成立8年,花费10亿美元用于模型训练,可见其对数据的重视程度。 大模型标注的特点包括:非结构化、知识密集型、学历要求高。 这要求标注师具备较强的主观能动性、解决问题的能力以及广泛的知识面。 在岗位情况方面,大模型标注的薪资水平较高,多数在10-15k之间,甚至某些专业领域的标注人员薪资水平接近两万。 岗位要求也较高,学历要求一般为本科,部分还会要求一本或211/985院校,对专业能力和综合能力也有较高的要求。 大模型标注的发展前景广阔,未来将有更多细分岗位出现,如模型评估师、指令工程师、视频音频标注师、专业领域标注师等。 预计未来五年,数据标注相关专业人才缺口将达到百万量级。

OpenAI微软被起诉!《纽约时报》指控AI侵权,要求销毁侵权模型和训练数据

OpenAI和微软被《纽约时报》起诉:AI侵权案件的深度剖析

最近,科技巨头OpenAI和微软陷入了一场前所未有的版权纠纷。 《纽约时报》在地方法院提交了一份详实的起诉书,指控两家公司侵犯了其新闻内容的版权。 附带的页证据中,列举了ChatGPT与《纽约时报》大量报道惊人相似的输出,引发了广泛关注。

面对如此强大的指控,OpenAI和微软显得措手不及。 OpenAI承认了事实,表示寻求和解以保护双方利益,类似于他们之前与出版商的处理方式,但这次可能不再容易解决。 《纽约时报》的诉求不仅仅是赔偿,还包括销毁包含侵权材料的模型和训练数据,以及对数十亿美元的损失承担责任,这涉及到了创新性和原创作品的价值。

《纽约时报》作为此案的起诉方,以其丰富的资源和法律团队,使其成为史上可能对生成式AI侵权指控最有力的出版机构。 案件的关键点在于,版权保护的是创新内容而非创作过程,像对出租车贷款深度调查报道的报道方式,而非采访次数,成为了法律判断的焦点。 此外,模型幻觉的引入也使得案件复杂化,比如Bing中虚构的橙汁淋巴瘤文章。

尽管OpenAI可能期望以较低金额和解,但《纽约时报》可能寻求的是长期版税收入,这可能导致双方陷入持久的法律斗争。 苹果公司则采取了不同的策略,与出版商达成协议,允许其使用内容数据训练AI,展示了数据在AI领域的价值。

这场诉讼将对AI行业的版权法和伦理标准产生深远影响,引发了关于创新、责任和商业利益的讨论。 未来,类似案件的结果可能会影响整个行业的发展方向。

——量子位,关注AI动态——

终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

扩散模型的时代已然落幕,AI画图领域迎来了一场革命性变革。 近期,OpenAI所发布的全新生成模型——Consistency Models,以其独特优势迅速吸引了业界关注。 此次研究由多位重量级学者共同参与,包括毕业于清华大学数理基础科学班并现于OpenAI担任研究员的宋飏,以及OpenAI联合创始人兼首席科学家Ilya Sutskever。 研究重点在于图像生成领域,旨在克服扩散模型依赖于迭代生成过程的局限,提出无需对抗训练即可快速生成高质量样本的新型生成模型。 Consistency Models 采用一种创新策略,支持快速one-step生成,并允许few-step采样,平衡计算量与样本质量。 这一模型还支持零样本数据编辑,如图像修复、着色和超分辨率,无需针对特定任务进行具体训练。 通过蒸馏预训练扩散模型或作为独立生成模型训练,Consistency Models展现了在多个基准测试中的卓越表现,超越了现有扩散模型蒸馏方法。 研究团队通过实验证明,Consistency Models在one-step和few-step生成中表现出色,尤其是在CIFAR-10和ImageNet 64x64等标准基准上,达到了新的SOTA FID分数。 此外,Consistency Models还展示了在生成速度上的显著优势,能够在3.5秒内生成64张分辨率为256x256的图片,平均一秒生成18张。 Consistency Models在零样本图像编辑能力上也表现出色,能够对灰度图像着色、生成高分辨率图像以及根据人类要求生成图像。 此外,模型还具备强大的图像修复功能和高分辨率图像生成能力,展现出在细节处理上的卓越性能。 在模型介绍部分,Consistency Models基于连续时间扩散模型中的概率流常微分方程,允许通过单个网络评估转换随机噪声向量生成数据样本。 通过在多个时间步链接模型输出,该方法能够提高样本质量,执行零样本数据编辑,类似于扩散模型的迭代优化。 训练方法包括基于自洽性的两种策略:依赖于使用数值ODE求解器和预训练扩散模型生成PF ODE轨迹,以及独立训练Consistency Models。 这两种方法都无需对抗训练,允许模型灵活采用神经网络架构。 实验结果显示,Consistency Models在CIFAR-10、ImageNet 64x64、LSUN Bedroom 256x256等数据集上表现优异,优于现有扩散模型蒸馏方法。 在CIFAR-10上,Consistency Models在不依赖蒸馏的情况下获得与PD相当的质量,用于single-step生成。 综上所述,Consistency Models在图像生成领域展现出了显著优势,有望成为扩散模型有力的竞争者,重新定义AI画图的未来。

全局中部横幅
手机游戏,上hao123,游戏网址

玩好游戏,上hao123,游戏网址。

泰科龙阀门科技(江苏)有限公司

泰科龙阀门科技(江苏)有限公司是一家专业设计研发、生产制造各类流体控制阀门的现代化企业,公司主要生产水利水务阀门,消防暖通阀门,化工防腐阀门,产品以各种球阀、衬氟衬胶防腐阀门为主,泰科龙阀门公司公司为江苏泰科流体控制阀门有限公司投资控股的企业,位于江苏省无锡市新吴区,产品远销青岛,贵阳,昆明,广州,重庆,上海等国内外城市。

一起备考网

一起备考网给广大考生提供职业、建筑、财会、外语、考研等专业考试资讯、报名时间、真题答案等考试服务,是各类考生顺利通过考试的好帮手,为广大考生免费提供职业资格考试信息。

十堰京中实验学校

十堰京中实验学校是一所坐落在中心城区的十二年一贯制寄宿学校,位于林荫大道一号线与文华路交汇处,学校坚持高起点规划、高标准建设、高质量育人的总思路。

常州装修公司

江苏北亚装饰工程有限公司常州装修公司常州北亚装饰,常州别墅设计,常州别墅装修,常州装修公司哪家好,服务热线:0519-86302890

妙搜网2024版

妙搜网提供最新2024版全国北京公交、上海公交、深圳公交、重庆公交等332城市35000条公交线路查询,手机版m.miaoso.com,城市公交运营时刻表查询,公交常用行程,IP号码查询,邮政编码及电话区号查询,手机号归属地查询,生日密码查询。

浙江广播电视集团官网

浙江广播电视集团成立于2001年11月8日,是一家以广播电视为主业,兼营相关产业的综合媒体集团,是国内最具影响力的省级媒体之一。2016年,连续第六年荣获“中国500最具价值品牌”,位居全国媒体第五、浙江媒体第一。

郑州网站制作

郑州网站制作网专注于郑州网站制作、郑州网页设计与制作、公司制作网站与维护、小程序制作开发等各种行业、企业、公司网站制作方案。电话:4000-998-335

兰州装修公司

[城市人家|装修专家]甘肃城市人家美居装饰有限公司是集基础装修、主材选购、全屋定制、住商规划、售后服务为一体的专业家装公司。公司主营:新房装修和旧房翻新,全屋定制的家庭装修!自公司于2003年成立落地生根20年以来,强大的规模、雄厚的实力和深厚的资历,为客户提供服务和质量的双重保障。更因其专业的设计能力、过硬的施工质量、完善的售后保障,得到同行和金城百姓的肯定。服务热线:0931-8723111

全局底部横幅