越大越好 OpenAI正在寻求训练模型的新方法 的门路走不通 (越大越好过越小越难过越短越好过越长越难过)

文章编号:27136 国内电影 2024-11-13 AI聚焦AI
AI

财联社11月12日(编辑 牛占林) 很多人工智能(AI)迷信家和初创公司以为,经过参与更少数据和算力来扩展以后模型,以继续改良AI模型的方法正在走到止境。因此,像OpenAI这样的AI公司正在寻求经过开发新的训练技术来克制以前面临的应战,这些技术更像人类的思索形式。

自风行环球的聊天机器人ChatGPT颁布以来,科技公司都是经过参与更少数据和算力来扩展并改善AI模型。但如今,一些最卓越的AI迷信家正在指出这种“越大越好”的局限性。

人工智能试验室Safe Superintelligence和OpenAI的联结开创人Ilya Sutskever近日示意,扩展预训练(训练AI模型的阶段,该模型经常使用少量未标志的数据来了解言语形式和结构)所取得的成绩曾经到达了一个颠簸期,对优化模型功能的协助有限。

Sutskever早期主张经过在预训练中经常使用更少数据和算力来成功生成式AI的渺小飞跃,这最终发明了ChatGPT。他往年早些时刻分开OpenAI,创立了Safe Superintelligence。

Sutskever示意:“以前是规模扩张的时代,如今咱们又回到了奇观和发现的时代。每团体都在寻觅下一个物品,这比以往任何时刻都更关键。”

此外,Sutskever还抵赖他的公司正在钻研一种扩展预训练规模的代替方法,但未泄漏更多细节。

新技术比赛

大模型的所谓“训练”须要同时运转数百个芯片,老本或者高达数千万美元。思索到系统的复杂性,它们更有或者发生配件造成的缺点;在测试完结之前,钻研人员或者不可知道这些模型的最终功能,这或者须要几个月的时期。

另一个疑问是,大言语模型吞噬了少量数据,而AI模型曾经耗尽了环球上一切容易失掉的数据。电力充足也阻碍了训练运转,由于这个环节须要少量的动力。

为了克制这些应战,钻研人员正在探求测试时计算(test-time compute),这是一种在所谓的推理阶段或经常使用模型时增强现有AI模型的技术。例如,模型可以实时生成和评价多种或者性,最终选用最佳行进门路,而不是立刻选用一个答案。

这种方法使模型能够将更多的处置才干投入到具备应战性的义务中,比如数学或编码疑问或须要相似人类的推理和决策的复杂操作。

OpenAI钻研员Noam Brown此前示意:“理想证实,让一个机器人在一盘扑克牌中思索20秒,与将模型加大10万倍、训练时期延伸10万倍的效果相反。”

OpenAI 在其新颁布的模型“o1”中驳回了这项技术,与此同时,来自Anthropic、xAI和DeepMind等其余顶尖AI试验室的钻研人员也在努力于开发自己的技术版本。

OpenAI首席产品Kevin Weil示意:“咱们看到了很多高扬的果实,摘上去让这些模型变得更好。等到人们迎头赶上的时刻,咱们会努力开发新的技术。”

多位迷信家、钻研人员和投资者以为,这种新技术或者会重塑AI军备比赛,并对AI公司所需求的各类资源发生影响。

点击进入专题: 聚焦AI

AI大模型标注:你看不上的数据标注正在成为高薪工作

大模型的出现,催生了众多新兴岗位,其中数据标注工作尤为引人关注。 对于想要了解数据标注和大模型标注的同学,这篇文章或许能提供一些有益的信息。 2022年底,ChatGPT的问世引爆了大语言模型的浪潮,全球科技巨头纷纷加入其中。 从自然语言技术扩展到文生图、文生音频、文生视频、图生视频等多模态技术,大模型的应用已经达到了新的高度。 近期,大模型生成的兵马俑甚至能跳起“科目三”的热舞。 大模型的热潮为人工智能开启了新的篇章。 作为大模型数据能力链条上的关键环节,数据标注受到了前所未有的关注。 数据是人工智能的基础,也是大模型的养分来源。 数据标注的质量直接决定了大模型的智能程度。 OpenAI公司在全球大模型领域处于领先地位,他们在数据标注上也有一套独特的方法。 他们的数据标注方式是先进行预训练模型的制作,然后通过强化学习和人工反馈来调优,即RLHF(Reinforcement Learning from Human Feedback)。 OpenAI公司找来多家数据公司共同完成数据标注,并组建了一个由几十名哲学博士组成的质检团队对数据进行检查。 他们不是以对错来评估数据,而是为每个问题选择多个匹配的结果,经过多人多轮的结果排序,直至模型数据符合常人思维,甚至某些专业领域的结果要达到中等以上知识水平。 OpenAI成立8年,花费10亿美元用于模型训练,可见其对数据的重视程度。 大模型标注的特点包括:非结构化、知识密集型、学历要求高。 这要求标注师具备较强的主观能动性、解决问题的能力以及广泛的知识面。 在岗位情况方面,大模型标注的薪资水平较高,多数在10-15k之间,甚至某些专业领域的标注人员薪资水平接近两万。 岗位要求也较高,学历要求一般为本科,部分还会要求一本或211/985院校,对专业能力和综合能力也有较高的要求。 大模型标注的发展前景广阔,未来将有更多细分岗位出现,如模型评估师、指令工程师、视频音频标注师、专业领域标注师等。 预计未来五年,数据标注相关专业人才缺口将达到百万量级。

OpenAI微软被起诉!《纽约时报》指控AI侵权,要求销毁侵权模型和训练数据

OpenAI和微软被《纽约时报》起诉:AI侵权案件的深度剖析

最近,科技巨头OpenAI和微软陷入了一场前所未有的版权纠纷。 《纽约时报》在地方法院提交了一份详实的起诉书,指控两家公司侵犯了其新闻内容的版权。 附带的页证据中,列举了ChatGPT与《纽约时报》大量报道惊人相似的输出,引发了广泛关注。

面对如此强大的指控,OpenAI和微软显得措手不及。 OpenAI承认了事实,表示寻求和解以保护双方利益,类似于他们之前与出版商的处理方式,但这次可能不再容易解决。 《纽约时报》的诉求不仅仅是赔偿,还包括销毁包含侵权材料的模型和训练数据,以及对数十亿美元的损失承担责任,这涉及到了创新性和原创作品的价值。

《纽约时报》作为此案的起诉方,以其丰富的资源和法律团队,使其成为史上可能对生成式AI侵权指控最有力的出版机构。 案件的关键点在于,版权保护的是创新内容而非创作过程,像对出租车贷款深度调查报道的报道方式,而非采访次数,成为了法律判断的焦点。 此外,模型幻觉的引入也使得案件复杂化,比如Bing中虚构的橙汁淋巴瘤文章。

尽管OpenAI可能期望以较低金额和解,但《纽约时报》可能寻求的是长期版税收入,这可能导致双方陷入持久的法律斗争。 苹果公司则采取了不同的策略,与出版商达成协议,允许其使用内容数据训练AI,展示了数据在AI领域的价值。

这场诉讼将对AI行业的版权法和伦理标准产生深远影响,引发了关于创新、责任和商业利益的讨论。 未来,类似案件的结果可能会影响整个行业的发展方向。

——量子位,关注AI动态——

终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

扩散模型的时代已然落幕,AI画图领域迎来了一场革命性变革。 近期,OpenAI所发布的全新生成模型——Consistency Models,以其独特优势迅速吸引了业界关注。 此次研究由多位重量级学者共同参与,包括毕业于清华大学数理基础科学班并现于OpenAI担任研究员的宋飏,以及OpenAI联合创始人兼首席科学家Ilya Sutskever。 研究重点在于图像生成领域,旨在克服扩散模型依赖于迭代生成过程的局限,提出无需对抗训练即可快速生成高质量样本的新型生成模型。 Consistency Models 采用一种创新策略,支持快速one-step生成,并允许few-step采样,平衡计算量与样本质量。 这一模型还支持零样本数据编辑,如图像修复、着色和超分辨率,无需针对特定任务进行具体训练。 通过蒸馏预训练扩散模型或作为独立生成模型训练,Consistency Models展现了在多个基准测试中的卓越表现,超越了现有扩散模型蒸馏方法。 研究团队通过实验证明,Consistency Models在one-step和few-step生成中表现出色,尤其是在CIFAR-10和ImageNet 64x64等标准基准上,达到了新的SOTA FID分数。 此外,Consistency Models还展示了在生成速度上的显著优势,能够在3.5秒内生成64张分辨率为256x256的图片,平均一秒生成18张。 Consistency Models在零样本图像编辑能力上也表现出色,能够对灰度图像着色、生成高分辨率图像以及根据人类要求生成图像。 此外,模型还具备强大的图像修复功能和高分辨率图像生成能力,展现出在细节处理上的卓越性能。 在模型介绍部分,Consistency Models基于连续时间扩散模型中的概率流常微分方程,允许通过单个网络评估转换随机噪声向量生成数据样本。 通过在多个时间步链接模型输出,该方法能够提高样本质量,执行零样本数据编辑,类似于扩散模型的迭代优化。 训练方法包括基于自洽性的两种策略:依赖于使用数值ODE求解器和预训练扩散模型生成PF ODE轨迹,以及独立训练Consistency Models。 这两种方法都无需对抗训练,允许模型灵活采用神经网络架构。 实验结果显示,Consistency Models在CIFAR-10、ImageNet 64x64、LSUN Bedroom 256x256等数据集上表现优异,优于现有扩散模型蒸馏方法。 在CIFAR-10上,Consistency Models在不依赖蒸馏的情况下获得与PD相当的质量,用于single-step生成。 综上所述,Consistency Models在图像生成领域展现出了显著优势,有望成为扩散模型有力的竞争者,重新定义AI画图的未来。

全局中部横幅
仙桃市万田米业有限责任公司

湖北仙桃香米厂家仙桃市万田米业有限责任公司集种、收、储、加、销为一体的农业产业化重点企业。主要经营:福门源,中古,贩蒸爽,万田系列油粘仙桃香米系列。湖北仙桃香米批发、仙桃香米购买就找我们万田米业。

CHENYI

Blogger,Webtechnologist,Webdesigner

新一站保险

2010年新一站保险由中国银保监会批准设立,对接100多家保险公司的3000余款产品,为家庭和企业提供保险咨询、风险评估、保险规划、投保核保、理赔等一站式新管家保险服务。

星火网校

星火网校是晓教育集团旗下在线教育直播品牌,采用授课老师+辅导老师并行的教学模式,为学生提供专业教学服务。

酷自然

酷自然(kuziran.com)是一个自然百科网站,内容涵盖了植物、动物、微生物、地质、气候、水环境、天文等。

广州茅台酒回收

广州茅台酒回收,广州回收茅台酒,哪里回收茅台酒,黄埔_天河_白云_海珠_荔湾_越秀_增城_番禺茅台酒回收价格,飞天茅台酒回收,上门高价回收茅台酒,生肖茅台酒回收

大学路

为高中生和家长提供大学相关的,报考招录,志愿填报,学习生活,深造就业相关的信息资讯,有理有据上大学。

全自动蛋白免疫印迹分析仪

中瑞互信是一家集硏发,生产,销售和售后服务为一体的医疗设备高新技术企业。服务于医院,血站,疾控,检验检疫等单位,产品有全自动蛋白免疫印迹分析仪等医用仪器和耗材,可为实验室提供专业化的整体解决方案!

广州救护车租赁,高危转运接送

广州安捷救护车出租专业高危病人长途跨省转运护送,提供全国及跨国包机,专业接送其他公司不敢接不能接的重患,设备齐全,安全及时送达到目的地,一家方便、快捷、舒适的正规救护车租赁

网站首页

网站首页-上海量久再生资源回收有限公司

全局底部横幅