越大越好 OpenAI正在寻求训练模型的新方法 的门路走不通 (越大越好英文)
财联社11月12日（编辑 牛占林） 很多人工智能（AI）迷信家和初创公司以为，经过参与更少数据和算力来扩展以后模型，以继续改良AI模型的方法正在走到止境。因此，像OpenAI这样的AI公司正在寻求经过开发新的训练技术来克制以前面临的应战，这些技术更像人类的思索形式。
自风行环球的聊天机器人ChatGPT颁布以来，科技公司都是经过参与更少数据和算力来扩展并改善AI模型。但如今，一些最卓越的AI迷信家正在指出这种“越大越好”的局限性。
人工智能试验室Safe Superintelligence和OpenAI的联结开创人Ilya Sutskever近日示意，扩展预训练（训练AI模型的阶段，该模型经常使用少量未标志的数据来了解言语形式和结构）所取得的成绩曾经到达了一个颠簸期，对优化模型功能的协助有限。
Sutskever早期主张经过在预训练中经常使用更少数据和算力来成功生成式AI的渺小飞跃，这最终发明了ChatGPT。他往年早些时刻分开OpenAI，创立了Safe Superintelligence。
Sutskever示意：“以前是规模扩张的时代，如今咱们又回到了奇观和发现的时代。每团体都在寻觅下一个物品，这比以往任何时刻都更关键。”
此外，Sutskever还抵赖他的公司正在钻研一种扩展预训练规模的代替方法，但未泄漏更多细节。
新技术比赛
大模型的所谓“训练”须要同时运转数百个芯片，老本或者高达数千万美元。思索到系统的复杂性，它们更有或者发生配件造成的缺点；在测试完结之前，钻研人员或者不可知道这些模型的最终功能，这或者须要几个月的期间。
另一个疑问是，大言语模型吞噬了少量数据，而AI模型曾经耗尽了环球上一切容易失掉的数据。电力充足也阻碍了训练运转，由于这个环节须要少量的动力。
为了克制这些应战，钻研人员正在探求测试时计算（test-time compute），这是一种在所谓的推理阶段或经常使用模型时增强现有AI模型的技术。例如，模型可以实时生成和评价多种或者性，最终选用最佳行进门路，而不是立刻选用一个答案。
这种方法使模型能够将更多的处置才干投入到具备应战性的义务中，比如数学或编码疑问或须要相似人类的推理和决策的复杂操作。
OpenAI钻研员Noam Brown此前示意：“理想证实，让一个机器人在一盘扑克牌中思索20秒，与将模型加大10万倍、训练期间延伸10万倍的效果相反。”
OpenAI 在其新颁布的模型“o1”中驳回了这项技术，与此同时，来自Anthropic、xAI和DeepMind等其余顶尖AI试验室的钻研人员也在努力于开发自己的技术版本。
OpenAI首席产品Kevin Weil示意：“咱们看到了很多高扬的果实，摘上去让这些模型变得更好。等到人们迎头赶上的时刻，咱们会努力开发新的技术。”
多位迷信家、钻研人员和投资者以为，这种新技术或者会重塑AI军备比赛，并对AI公司所需求的各类资源发生影响。
点击进入专题： 聚焦AIOpenAI微软被起诉！《纽约时报》指控AI侵权，要求销毁侵权模型和训练数据
OpenAI和微软被《纽约时报》起诉：AI侵权案件的深度剖析
最近，科技巨头OpenAI和微软陷入了一场前所未有的版权纠纷。 《纽约时报》在地方法院提交了一份详实的起诉书，指控两家公司侵犯了其新闻内容的版权。 附带的页证据中，列举了ChatGPT与《纽约时报》大量报道惊人相似的输出，引发了广泛关注。
面对如此强大的指控，OpenAI和微软显得措手不及。 OpenAI承认了事实，表示寻求和解以保护双方利益，类似于他们之前与出版商的处理方式，但这次可能不再容易解决。 《纽约时报》的诉求不仅仅是赔偿，还包括销毁包含侵权材料的模型和训练数据，以及对数十亿美元的损失承担责任，这涉及到了创新性和原创作品的价值。
《纽约时报》作为此案的起诉方，以其丰富的资源和法律团队，使其成为史上可能对生成式AI侵权指控最有力的出版机构。 案件的关键点在于，版权保护的是创新内容而非创作过程，像对出租车贷款深度调查报道的报道方式，而非采访次数，成为了法律判断的焦点。 此外，模型幻觉的引入也使得案件复杂化，比如Bing中虚构的橙汁淋巴瘤文章。
尽管OpenAI可能期望以较低金额和解，但《纽约时报》可能寻求的是长期版税收入，这可能导致双方陷入持久的法律斗争。 苹果公司则采取了不同的策略，与出版商达成协议，允许其使用内容数据训练AI，展示了数据在AI领域的价值。
这场诉讼将对AI行业的版权法和伦理标准产生深远影响，引发了关于创新、责任和商业利益的讨论。 未来，类似案件的结果可能会影响整个行业的发展方向。
——量子位，关注AI动态——
OpenAI超级对齐团队遗作：两个大模型博弈一番，输出更好懂了
机器之心报道。 随着机器学习系统在更重要的领域得到应用，证明为什么我们可以信任它们的输出，并明确何时不应信任它们，变得越来越重要。 获得对复杂系统输出结果信任的一个可行方法是，要求系统对其输出产生一种解释，这种解释对人类或另一个受信任的系统来说是可读的，即可以完全理解以至于任何可能的错误都可以被发现。 对于大型语言模型来说，我们也可以采用类似的方法。 不过，在采用这种方法时，确保语言模型生成的是易于理解的文本，这件事非常重要，尤其是在处理数学、编码这样的复杂任务时。 如下图所示，你让 AI 写一个快速排序算法，AI 很快就写出来了，而且答案很简洁。 但不会写代码的你要怎么判断 AI 写得对不对呢？OpenAI 在一篇最新的论文中研究了这个问题。 他们发现，如果以「得到正确答案」为目标，要求大语言模型生成答案，它们给出的答案可能会很难懂。 人类评估员在判断这些答案时，犯错的可能性会加倍。 所以他们的目标是在训练高级语言模型的过程中，让它们生成那些较简单的模型也能够轻松验证的文本。 他们发现，这样的文本不仅对简单模型友好，对于人类来说也更可读。 那么，具体是怎么实现的呢？这还要提到 2021 年的一篇论文 ——「Learning to Give Checkable Answers with Prover-Verifier Games」。 在这篇论文中，Cem Anil 等人提出了一个名为「Prover-Verifier Games（证明者 - 验证者博弈）」的博弈论框架。 OpenAI 在这项新研究中借鉴了这个框架，让两个大模型（较强的为证明者，较弱的为验证者）互相博弈，直到二者达到一种平衡。 此时，证明者给出的答案既有一定的可读性，又保持了合理的正确性。 OpenAI 表示，通过提高模型输出的可读性，可以使人工智能的应用更加有效和可信，这对于需要精确沟通的各个领域都是有益的。 值得一提的是，这篇论文来自 OpenAI 的超级对齐团队，其中几位作者在今年早些时候已经离开 OpenAI，团队也已经分崩离析。 其中一位作者透露，这是该团队的最后一篇论文。 为了提高模型输出的可读性，OpenAI 优化了一些小学数学问题的思维链（CoT），让它能够被较弱的模型理解。 举例如下：问题：肖娜（Shawna）的父亲的年龄是肖娜的五倍。 肖娜现在的年龄是阿莉娅（Aliya）的三倍。 如果阿莉娅 3 岁，那么肖娜的父亲多少岁？这么做的目的是为了验证经过这种训练的模型，它的输出是否更加直接易懂。 这种方法在只对训练集做了一些优化的情况下，让模型的性能提升了 50%。 同时，模型输出的答案也更好懂了，这也帮助需要评估这些答案正确性的人类用户更准确地做出判断。 OpenAI 认为，进一步缩小可读性强的模型和能力强的模型之间的性能差距，是未来对齐研究中一个关键的目标。 为了激励强力模型（证明者）生成可读性更强的文本，研究者采用了一种训练方案，要求强力模型生成的答案能够被较弱的模型（验证者）轻松验证。 具体来说，他们使用了 GPT-4 系列中的大模型和小模型。 它们在预训练数据量上相差约三个数量级。 它们都接受了一些基于人工标注的数学推导训练，但未经过广泛的后训练。 首先，研究团队让证明者模型尝试解决一系列数学问题。 由于证明者模型自身可能出错，它生成的一些答案可能不正确。 接下来，他们将这些答案交由验证者模型进行检验，并在以下两个阶段之间进行多轮的交替验证：研究团队发现，最初，狡猾的「证明者」能够轻松生成让「验证者」信服的错误答案。 然而，这些错误答案将会进入下一轮的「验证者」训练中，相同的漏洞在下一轮中，将不再具有说服力。 因此，「证明者」将被迫在每一轮中探索不同的策略。 当狡猾的「证明者」再也无法生成让「验证者」信服的错误解决方案时，训练宣告结束。 研究者都发现了什么？性能与可读性权衡：三种有用的模型：研究团队使用了同样的测试问题，来展示狡猾证明者（Sneaky Prover）的生成内容和训练过程。 问题：肖娜（Shawna）的父亲的年龄是肖娜的五倍。 肖娜现在的年龄是阿莉娅（Aliya）的三倍。 如果阿莉娅 3 岁，那么肖娜的父亲多少岁？结论随着大语言模型（LLMs）在关键领域和复杂应用中的使用日益增加，了解其所生成的内容是否值得信赖变得至关重要。 通过要求模型生成清晰且可验证的理由，可以增强对其生成内容的信任。 此方法的一个显著优势是它减少了对人类示范或可读性判断的依赖。 这种自主性对于未来超智能 AI 系统的对齐尤为重要，其最终目标是在没有人类进行直接监督的情况下，可靠地将 AI 系统与人类的价值观和期望对齐。 尽管这项工作仅在一个数据集上进行了实验，并且仍然需要真值标签（ground truth labels），但研究团队仍预计在开发正确、透明及可验证的 AI 系统中，此类方法会起到关键作用，并增强其在现实应用中的可信任性和安全性。 更多详情，请参考原论文。 参考链接： /index/prover...
大模型风向变了，OpenAI苹果掉头布阵
生成式AI领域似乎遵循着一种隐秘规律，每隔一段时间就会爆发一场引人注目的大型“碰撞”事件。 仅在今年，就已有多次显著的模型发布与推出，如谷歌Gemini 1.5 Pro与OpenAI的视频生成模型Sora的发布、OpenAI的GPT-4与谷歌I/O开发者大会的同期举行，这些都使得全球观众对AI大模型的竞争态势充满好奇。 过去，有人质疑OpenAI是否存在故意截击谷歌的嫌疑，而上周，Hugging Face、OpenAI、Mistral、苹果等公司在短短四天内相继发布自家最强轻量级模型，这一系列事件无疑揭示了AI产业的最新动态。 现在，AI大模型的发展不再仅仅追求“做大做强”，而是更加注重“做小做精”。 大模型的竞争目标已经超越了单纯追求性能的极限，进入了市场博弈的关键阶段。 为了打动用户，模型开发者不仅要展示其技术实力，还要证明其在性价比上的优势——在同等性能下，模型体积更小，在同等参数下，性能更高且成本更低。 最新发布的轻量级模型，如GPT-4o mini、Mistral NeMo，在性价比上具有明显优势。 实际上，AI小型化趋势从去年下半年就已经显现。 这股技术风向的改变，得益于Mistral AI和面壁智能两家公司在开发者社区中的突出表现。 Mistral AI在去年9月以一款参数量为70亿的大模型击败了参数量高达130亿的Llama 2，而面壁智能则在今年2月推出了仅24亿参数却能实现超过Llama 2 13B性能的端侧模型MiniCPM。 这些模型的推出，在开源社区引起了广泛关注，面壁智能更是因其多模态模型被美国顶级高校团队采用而引起轰动，其原创性工作在国内外学术界均得到认可，使得国产开源AI模型在国际上赢得了赞誉。 苹果公司也从去年开始研究如何更好地适应手机端的模型，而OpenAI的轻量级模型GPT-4o mini的发布，标志着大模型领军人物主动调整战略，试图通过更加经济实惠的模型来拓展更广泛的市场。 展望未来，2024年将是大模型小型化的关键一年，随着轻量级模型的持续涌现，AI产业将展现出更加多样化和经济性的趋势。 面对这场技术变革，大语言模型的规模不再成为决定性能的唯一因素，而是在知识密度、模型效率与应用成本之间寻找最佳平衡。 当前，AI大模型研发正面临一种“摩尔定律”式的转变，即随着数据、算力与算法的协同发展，大模型的知识密度将持续增强，平均每8个月翻一番。 这种趋势不仅推动着大模型在性能与成本之间寻求最优解，也促使着AI产业内部进行更加精细和经济化的设计。 面对这场技术竞赛，各类玩家正从不同角度投入竞争。 闭源与开源模型的阵营正形成多路兵分之势，而轻量级模型作为旗舰模型的精简版，正以其更高的性价比和更低的成本，成为市场上的新宠。 无论是OpenAI、谷歌、Anthropic等科技巨头的旗舰模型，还是Mistral AI、面壁智能等创业团队的轻量级模型，都在以各自的方式推动着大模型小型化的进程。 在开源领域，中美欧的玩家正在形成三足鼎立的局面。 国内的阿里、面壁智能、商汤等企业已开放一些轻量级模型，而Hugging Face、Meta、微软、谷歌、苹果等国际巨头也在持续投入，推动轻量级开源模型的发展。 苹果公司更是以其强大的技术实力和开放精神，相继发布了多款轻量级模型，展示了在AI领域的前瞻布局。 在大模型小型化的进程中，面壁智能等创业团队展现出了强劲的创新能力。 从2020年开始探索高效微调技术，到去年发布千亿多模态大模型，再到今年密集推出多款高效、低能耗的端侧模型，面壁智能在大模型小型化领域不断取得突破。 其高效稀疏架构设计不仅实现了更高的知识密度，还大幅降低了推理成本，为大模型在实际应用中的落地提供了更多可能性。 在AI普惠的大趋势下，大模型小型化的应用潜力正在逐步展现。 Hugging Face的联合创始人兼CEO Clem Delangue预测，更小、更便宜、更快、更个性化的模型将覆盖99%的用例，这标志着AI产业正在逐渐实现更加经济、高效和广泛的应用。 为了实现大模型小型化的目标，不同玩家采取了多样化的策略和技术路径。 在训练数据方面，Meta、微软、苹果等公司通过优化训练数据集和数据方法，实现了在保证性能的同时降低训练成本。 架构创新也是关键，通过模型分层精调设计，提高端侧的运行效率，或通过高效稀疏模型实现更高的知识密度和计算效率。 技术的迭代与创新，正在推动大模型在资源利用、训练效率、模型性能等方面实现优化。 面壁智能等团队通过模型沙盒机制、高效的工具套件平台和模型训练策略，加速了模型能力的形成与应用。 而随着端侧AI应用的爆发，面壁智能等企业还开放了业内首个端侧大模型工具集“MobileCPM”，为开发者提供了便捷的集成方式，推动了轻量级模型在广泛终端设备中的落地。 在科技发展与市场需求的共同驱动下，AI大模型的竞赛正从追求性能极致转向关注现实应用的细致需求。 这一转变标志着AI产业的重大变革，中国开源力量在其中扮演着越来越重要的角色。 面壁智能等团队通过一系列技术创新，验证了大模型知识密度定律，为大模型在实际应用场景中的落地提供了技术支持，最终推动了大模型在企业及消费环境中的广泛使用。
站长之家Alexa排名查询工具提供pcauto.com.cn网站alexa排名查询，特别是能够对网站预估收入以及网站价值进行评估的功能，帮助用户更好的提升alexa排名。
阜阳职业技术学院-图文信息中心
Worktile深度整合项目与任务管理、OKR、网盘、在线沟通等应用，支持丰富的自定义功能，满足各行业各场景的个性化工作需求，助力企业提高管理效能。
西南农资会，云南农资会，昆明农资会，西南农资展，云南农资展，昆明农资展，云南农药，云南肥料，西南农资博览会
家长赋能学习交流平台
小梅书法网为用户提供各种免费手机应用下载，各种类别的软件和游戏应有尽有，还附带软件和游戏的使用教程和攻略，感兴趣的用户赶紧下载吧！
财新网（caixin.com）与《财新周刊》、《中国改革》、《比较》同属财新传媒。财新网定位于原创财经新媒体，整合资讯、观点、多媒体、互动等信息时代形态丰富的媒体产品，以客观、专业的视角，实时输出高品质原创内容，为中国政界、学界和产业界精英提供每日经济活动必需的财经新闻和资讯评论
和逸创展专注于房地产、科创文创园区、城市更新三个方向的投资机遇，为合作企业带来丰富的全国资源和宝贵的实战经验，用行业前沿视角，赋予城市土地崭新价值，为城市面貌更新和人们的理想生活提供更多的可能。
沈阳肤康医院是沈阳胎记医院中较好的胎记医院.电话：185-4002-8435沈阳肤康胎记医院采用国际好的的胎记去除,祛除胎记选择沈阳肤康,沈阳较好的胎记医院.去除青色胎记，红色胎记，黑色胎记，蒙古痣，血管瘤，红血丝等等。
房车座椅厂家，床车座椅工厂，床车座椅定制，房车座椅改装工厂，西安欧特流马汽车科技有限公司转账床车、房车座椅改装定制生产加工，电话13759969054
江西优能技术发展有限公司成立于1996年10月，原为江西省电力系统下属企业。公司主要经营业务范围为：电力设施工程、消防设施工程、机电设备安装工程、送变电工程、建筑智能化工程安装、维修、调试等。
11月1日，一份，对于湖南衡南县茅市镇坪山村违规建房状况说明，文件显示，该村一村民违规建造一屋宇主体修建面积近2000平方米，影响极坏，该镇党委书记、镇长罢职调离，17名相关镇村干部被奖励，11月2日，澎湃资讯，www.thepaper.cn，从衡南县威望人士处得知，上述，状况说明，内容失实，目前，外地无关部门正全力解决此事，状况说...。
深圳市公安局南山分局9月18日通报，当日8时许，南山区招商街道辖内出现一同持刀损伤路人警情，致未成年人沈某受伤，接报警后，该局迅速组织力气到场处理，现场抓获嫌疑人钟某，男，44岁，，并第一时期帮忙120将受伤人员送医院，目前，案件侦办和伤员救治上班正在启动中，...。
[全球时报赴珠海特派记者郭媛丹樊巍杨升吕璐甄翔]，中国蓬勃开展的航空工业和军理想力于本周展现，法新社12日评论称，第十五届中国国际航空航天博览会今日在珠海正式揭幕，我国新型隐身战机歼，35A初次亮相，并在金湾机场上空启动航行展现，外媒抓住这一时机，采访专家启动剖析，本次航展的看点有炫酷的航行扮演、先进的武器装备，中俄三款隐身战机歼，...。
咱们和新郎是发小，全程都护着新娘，无法能让她遭到损伤，9月24日下午，就，新娘被众人绑在电线杆上，视频引发的争议，山西阳泉的杨先生通知华商报微风资讯记者，他们的行为并非婚闹，事前给新娘新郎打过招呼，征得两位新人赞同，阳泉民政局回应新娘被绑电线杆，提倡文化婚礼，会布置社区增强宣传力度网传视频，婚礼今日新娘被众人绑在电线杆上9月23日...。
财联社11月12日，编辑牛占林，很多人工智能，AI，迷信家和初创公司以为，经过参与更少数据和算力来扩展以后模型，以继续改良AI模型的方法正在走到止境，因此，像OpenAI这样的AI公司正在寻求经过开发新的训练技术来克制以前面临的应战，这些技术更像人类的思索形式，自风行环球的聊天机器人ChatGPT颁布以来，科技公司都是经过参与更少数据...。
央视记者外地期间11月12日得知，一架美国航空，AmericanAirlines，航班在实现美国至海地太子港的航程后，在随后的审核中被发现机身上有被子弹穿透的痕迹，这曾经是第三架在海地遭枪击的美国客机，据悉，代表美国航空公司航行员的美国联结航行员协会，AlliedPilotsAssociation，简称APA，12日在一份外局部享的备...。
央视记者外地期间11月12日得知，一架美国航空，AmericanAirlines，航班在实现美国至海地太子港的航程后，在随后的审核中被发现机身上有被子弹穿透的痕迹，这曾经是第三架在海地遭枪击的美国客机，据悉，代表美国航空公司航行员的美国联结航行员协会，AlliedPilotsAssociation，简称APA，12日在一份外局部享的备...。
央视记者外地期间11月12日得知，一架美国航空，AmericanAirlines，航班在实现美国至海地太子港的航程后，在随后的审核中被发现机身上有被子弹穿透的痕迹，这曾经是第三架在海地遭枪击的美国客机，据悉，代表美国航空公司航行员的美国联结航行员协会，AlliedPilotsAssociation，简称APA，12日在一份外局部享的备...。
北京期间7月28日，在巴黎奥运会击剑男性团体重剑金牌赛中，中国香港选手江旻憓取得金牌，这是本届巴黎奥运会中国香港代表团取得的首枚金牌，...。
外地期间周三，在年度开发者大会上，美国科技巨头Meta发布了最新款虚构事实，VR，头显设施Quest3S，起售价为299美元，此外，Meta还发布了多模态大言语模型和AR眼镜原型，在信息发布后，Meta股价短线走高，并创下历史新高，在加州门洛帕克举办年度MetaConnect大会上，Meta正式推出了Quest3S，这款头显设施将于1...。
经中共江西省委同意，江西省纪委监委对上饶市万年县委原书记毛奇严重违纪违法疑问启动了立案审查考查，经查，毛奇身为党员指导干部，丢失现实决计，背弃初心使命，对党不忠实不诚恳，搞两面派、做两面人；违犯中央八项规则精气，接受或者影响公正口头公务的宴请、旅行优惠布置；违犯组织纪律，在组织函询时不照实说明疑问，在干部人事上班中违规为他人谋取利益；...。
11月11日，在日本众议院首相指名选举决胜轮投票中，自民党总裁石破茂获胜，再次入选日本首相，有国内疑问钻研专家向南都记者剖析称，石破茂只管可以续任首相，但由于此前执政联盟在国会众议院选举中的惨败，执政根基曾经极端不稳，未来须要接待党内和在朝党接踵而来的各种应战，在变数中再次入选南都此前报道，往年10月1日，石破茂入选日本第102任首相...。
奥美医疗业绩双增股价涨停境外收入增18%占比八成,敷料,奥美医疗,境外收入
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
一些收费下载单机游戏的网站包含Steam、Origin、GOG和EpicGames，这些网站提供了宽泛的游戏选用，包含各种类型的单机游戏，如举措、冒险、战略、角色表演等，这些平台的长处在于它们提供了安保牢靠的下载，保障了游戏的完整性和安保性，此外，这些网站还经常举办促销优惠，让玩家能够以更低的多少钱或收费失掉到一些游戏，详细来说，St...。
[全球网报道记者姜蔼玲]外地期间13日，前美国总统特朗普在美国宾夕法尼亚州举办的竞选集会上宣布演讲时，现场突然响起枪声，特朗普被特勤局人员护送分开，美联邦考查局随后发申明称，确认枪击特朗普的枪手身份为20岁宾夕法尼亚州女子托马斯·马修·克鲁克斯，事发时其经常使用一支AR，15型步枪，后被当场击毙，无关克鲁克斯更多信息，成为美媒关注焦点...。
飓风，贝丽尔，外地期间7月8日登陆美国南部，已形成至少8人死亡、近300万用户断电，据美国媒体报道，，贝丽尔，8日在得克萨斯州休斯敦西南约140公里的马塔戈达地域登陆，强度为一级飓风，最高风速约为每小时130公里，目前已形成得克萨斯州大休斯敦地域7人死亡、路易斯安那州1人死亡，美国航班跟踪网站信息显示，休斯敦重要机场8日敞开了1100...。
