越大越好 OpenAI正在寻求训练模型的新方法 的门路走不通 (越大越好过越小越难过越短越好过越长越难过)
财联社11月12日(编辑 牛占林) 很多人工智能(AI)迷信家和初创公司以为,经过参与更少数据和算力来扩展以后模型,以继续改良AI模型的方法正在走到止境。因此,像OpenAI这样的AI公司正在寻求经过开发新的训练技术来克制以前面临的应战,这些技术更像人类的思索形式。
自风行环球的聊天机器人ChatGPT颁布以来,科技公司都是经过参与更少数据和算力来扩展并改善AI模型。但如今,一些最卓越的AI迷信家正在指出这种“越大越好”的局限性。
人工智能试验室Safe Superintelligence和OpenAI的联结开创人Ilya Sutskever近日示意,扩展预训练(训练AI模型的阶段,该模型经常使用少量未标志的数据来了解言语形式和结构)所取得的成绩曾经到达了一个颠簸期,对优化模型功能的协助有限。
Sutskever早期主张经过在预训练中经常使用更少数据和算力来成功生成式AI的渺小飞跃,这最终发明了ChatGPT。他往年早些时刻分开OpenAI,创立了Safe Superintelligence。
Sutskever示意:“以前是规模扩张的时代,如今咱们又回到了奇观和发现的时代。每团体都在寻觅下一个物品,这比以往任何时刻都更关键。”
此外,Sutskever还抵赖他的公司正在钻研一种扩展预训练规模的代替方法,但未泄漏更多细节。
新技术比赛
大模型的所谓“训练”须要同时运转数百个芯片,老本或者高达数千万美元。思索到系统的复杂性,它们更有或者发生配件造成的缺点;在测试完结之前,钻研人员或者不可知道这些模型的最终功能,这或者须要几个月的时期。
另一个疑问是,大言语模型吞噬了少量数据,而AI模型曾经耗尽了环球上一切容易失掉的数据。电力充足也阻碍了训练运转,由于这个环节须要少量的动力。
为了克制这些应战,钻研人员正在探求测试时计算(test-time compute),这是一种在所谓的推理阶段或经常使用模型时增强现有AI模型的技术。例如,模型可以实时生成和评价多种或者性,最终选用最佳行进门路,而不是立刻选用一个答案。
这种方法使模型能够将更多的处置才干投入到具备应战性的义务中,比如数学或编码疑问或须要相似人类的推理和决策的复杂操作。
OpenAI钻研员Noam Brown此前示意:“理想证实,让一个机器人在一盘扑克牌中思索20秒,与将模型加大10万倍、训练时期延伸10万倍的效果相反。”
OpenAI 在其新颁布的模型“o1”中驳回了这项技术,与此同时,来自Anthropic、xAI和DeepMind等其余顶尖AI试验室的钻研人员也在努力于开发自己的技术版本。
OpenAI首席产品Kevin Weil示意:“咱们看到了很多高扬的果实,摘上去让这些模型变得更好。等到人们迎头赶上的时刻,咱们会努力开发新的技术。”
多位迷信家、钻研人员和投资者以为,这种新技术或者会重塑AI军备比赛,并对AI公司所需求的各类资源发生影响。
点击进入专题: 聚焦AIAI大模型标注:你看不上的数据标注正在成为高薪工作
大模型的出现,催生了众多新兴岗位,其中数据标注工作尤为引人关注。 对于想要了解数据标注和大模型标注的同学,这篇文章或许能提供一些有益的信息。 2022年底,ChatGPT的问世引爆了大语言模型的浪潮,全球科技巨头纷纷加入其中。 从自然语言技术扩展到文生图、文生音频、文生视频、图生视频等多模态技术,大模型的应用已经达到了新的高度。 近期,大模型生成的兵马俑甚至能跳起“科目三”的热舞。 大模型的热潮为人工智能开启了新的篇章。 作为大模型数据能力链条上的关键环节,数据标注受到了前所未有的关注。 数据是人工智能的基础,也是大模型的养分来源。 数据标注的质量直接决定了大模型的智能程度。 OpenAI公司在全球大模型领域处于领先地位,他们在数据标注上也有一套独特的方法。 他们的数据标注方式是先进行预训练模型的制作,然后通过强化学习和人工反馈来调优,即RLHF(Reinforcement Learning from Human Feedback)。 OpenAI公司找来多家数据公司共同完成数据标注,并组建了一个由几十名哲学博士组成的质检团队对数据进行检查。 他们不是以对错来评估数据,而是为每个问题选择多个匹配的结果,经过多人多轮的结果排序,直至模型数据符合常人思维,甚至某些专业领域的结果要达到中等以上知识水平。 OpenAI成立8年,花费10亿美元用于模型训练,可见其对数据的重视程度。 大模型标注的特点包括:非结构化、知识密集型、学历要求高。 这要求标注师具备较强的主观能动性、解决问题的能力以及广泛的知识面。 在岗位情况方面,大模型标注的薪资水平较高,多数在10-15k之间,甚至某些专业领域的标注人员薪资水平接近两万。 岗位要求也较高,学历要求一般为本科,部分还会要求一本或211/985院校,对专业能力和综合能力也有较高的要求。 大模型标注的发展前景广阔,未来将有更多细分岗位出现,如模型评估师、指令工程师、视频音频标注师、专业领域标注师等。 预计未来五年,数据标注相关专业人才缺口将达到百万量级。
OpenAI微软被起诉!《纽约时报》指控AI侵权,要求销毁侵权模型和训练数据
OpenAI和微软被《纽约时报》起诉:AI侵权案件的深度剖析
最近,科技巨头OpenAI和微软陷入了一场前所未有的版权纠纷。 《纽约时报》在地方法院提交了一份详实的起诉书,指控两家公司侵犯了其新闻内容的版权。 附带的页证据中,列举了ChatGPT与《纽约时报》大量报道惊人相似的输出,引发了广泛关注。
面对如此强大的指控,OpenAI和微软显得措手不及。 OpenAI承认了事实,表示寻求和解以保护双方利益,类似于他们之前与出版商的处理方式,但这次可能不再容易解决。 《纽约时报》的诉求不仅仅是赔偿,还包括销毁包含侵权材料的模型和训练数据,以及对数十亿美元的损失承担责任,这涉及到了创新性和原创作品的价值。
《纽约时报》作为此案的起诉方,以其丰富的资源和法律团队,使其成为史上可能对生成式AI侵权指控最有力的出版机构。 案件的关键点在于,版权保护的是创新内容而非创作过程,像对出租车贷款深度调查报道的报道方式,而非采访次数,成为了法律判断的焦点。 此外,模型幻觉的引入也使得案件复杂化,比如Bing中虚构的橙汁淋巴瘤文章。
尽管OpenAI可能期望以较低金额和解,但《纽约时报》可能寻求的是长期版税收入,这可能导致双方陷入持久的法律斗争。 苹果公司则采取了不同的策略,与出版商达成协议,允许其使用内容数据训练AI,展示了数据在AI领域的价值。
这场诉讼将对AI行业的版权法和伦理标准产生深远影响,引发了关于创新、责任和商业利益的讨论。 未来,类似案件的结果可能会影响整个行业的发展方向。
——量子位,关注AI动态——
终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张
扩散模型的时代已然落幕,AI画图领域迎来了一场革命性变革。 近期,OpenAI所发布的全新生成模型——Consistency Models,以其独特优势迅速吸引了业界关注。 此次研究由多位重量级学者共同参与,包括毕业于清华大学数理基础科学班并现于OpenAI担任研究员的宋飏,以及OpenAI联合创始人兼首席科学家Ilya Sutskever。 研究重点在于图像生成领域,旨在克服扩散模型依赖于迭代生成过程的局限,提出无需对抗训练即可快速生成高质量样本的新型生成模型。 Consistency Models 采用一种创新策略,支持快速one-step生成,并允许few-step采样,平衡计算量与样本质量。 这一模型还支持零样本数据编辑,如图像修复、着色和超分辨率,无需针对特定任务进行具体训练。 通过蒸馏预训练扩散模型或作为独立生成模型训练,Consistency Models展现了在多个基准测试中的卓越表现,超越了现有扩散模型蒸馏方法。 研究团队通过实验证明,Consistency Models在one-step和few-step生成中表现出色,尤其是在CIFAR-10和ImageNet 64x64等标准基准上,达到了新的SOTA FID分数。 此外,Consistency Models还展示了在生成速度上的显著优势,能够在3.5秒内生成64张分辨率为256x256的图片,平均一秒生成18张。 Consistency Models在零样本图像编辑能力上也表现出色,能够对灰度图像着色、生成高分辨率图像以及根据人类要求生成图像。 此外,模型还具备强大的图像修复功能和高分辨率图像生成能力,展现出在细节处理上的卓越性能。 在模型介绍部分,Consistency Models基于连续时间扩散模型中的概率流常微分方程,允许通过单个网络评估转换随机噪声向量生成数据样本。 通过在多个时间步链接模型输出,该方法能够提高样本质量,执行零样本数据编辑,类似于扩散模型的迭代优化。 训练方法包括基于自洽性的两种策略:依赖于使用数值ODE求解器和预训练扩散模型生成PF ODE轨迹,以及独立训练Consistency Models。 这两种方法都无需对抗训练,允许模型灵活采用神经网络架构。 实验结果显示,Consistency Models在CIFAR-10、ImageNet 64x64、LSUN Bedroom 256x256等数据集上表现优异,优于现有扩散模型蒸馏方法。 在CIFAR-10上,Consistency Models在不依赖蒸馏的情况下获得与PD相当的质量,用于single-step生成。 综上所述,Consistency Models在图像生成领域展现出了显著优势,有望成为扩散模型有力的竞争者,重新定义AI画图的未来。