Codex 神经网络 推开高等数学世界大门 PNAS最新研究 81%解题率
近日，一项新研究发布于PNAS，再次刷新了神经网络的能力。这次神经网络被用来解决了高等数学题，而且还是麻省理工数学课程难度的数学题！
在这项新研究中，研究团队证明了 OpenAI 的 Codex 模型可以进行程序合成从而解决大规模的数学问题，并通过小样本学习自动解决数据集中 81%的数学课程问题，并且 Codex 在这些任务的表现上达到了人类水平。
这项研究的出现，颠覆了人们普遍认为神经网络无法解决高等数学问题的共识。研究团队指出，Codex 之所以能做到实现这样的能力，正是因为团队进行了一大创新，过去那些不成功的研究只使用了基于文本的预训练，而此次现身的 Codex 神经网络不仅要基于文本进行预训练，并且还对代码进行了微调。
研究的问题数据集选用来自 MIT 的六门数学课程和哥伦比亚大学的一门数学课程，从七门课程中随机抽取 25 个问题：MIT的单变量微积分、多变量微积分、微分方程、概率与统计概论、线性代数和 计算机科学数学和哥伦比亚大学的 COMS3251 计算线性代数。
同时，研究团队使用了一个用于评估数学推理的最新高级数学问题基准 MATH，用 MATH 来检测OpenAI Codex 的能力，MATH 从6大数学板块：初级代数，代数，计数和概率，中级代数，数论，和初级微积分中各抽取15个问题。
研究显示，Codex 解决了问题数据集和 MATH 数据集中的 265 个问题，其中有 213 个是自动解决的。
在 Transformer 发布后，基于 Transformer 的语言模型在各种自然语言处理 (NLP) 任务，包括在零样本和少样本语言任务中取得了巨大成功。但是因为 Transformer 仅在文本上进行了预训练，所以这些模型基本上不能解决数学问题，GPT-3就是一个典型例子。
后来，通过小样本学习（few-shot learning）和思维链 (Chain-of-thought， CoT) 提示，GPT-3 的数学推理能力得到了提高；然而，在没有代码的情况下，即便有小样本学习和 CoT 提示， GPT-3 在大学水平数学问题和 MATH 基准测试中仍然无能为力。
过去关于解数学题的研究，可能在相对简单的数学水平上有一定成绩。举个例子，基于协同训练输出来验证或预测表达式树的技术，比如MAWPS 和 Math23k，能够以超过 81% 的准确率解决小学级别的数学问题，但是其不能解决高中、奥林匹克数学或大学难度的课程。协同训练与图神经网络 (GNN) 相结合以预测算术表达式树，能够以高达 95% 的准确率解决机器学习中的大学水平问题。但是这项工作也仅限于数字答案，并且产生了过拟合，不能推广到其他课程。
就是，不仅对Codex 这种Transformer 模型进行了文本上的预训练，还在代码上进行了微调，使得其可以生成大规模解决数学问题的程序。
研究团队从数据集中随机选择不需要输入图像或证明的问题样本来进行测试。其中，仅对文本进行预训练的语言模型 (GPT-3 text-davinci-002) 仅自动解决了课程问题中的18%和 MATH基准测试问题中的25.5%。
相比之下，使用零样本学习和对文本进行预训练并在代码上进行微调的神经网络（OpenAI Codex code-davinci-002）合成的程序可以自动解决课程问题中的 71%和 MATH 基准测试问题中的72.2%。
而使用相同的神经网络 Codex 再加上少样本学习，便可自动解决课程中81%的问题和 MATH 基准测试中81.1%的问题。而其余模型无法自动解决的19%的课程问题和18.9%的MATH基准问题，最后通过手动提示解决。
小样本学习方式的补充，则是这项研究的 。从上图中可以看出，当零样本学习无法解答问题时，便会使用（问题，代码）对（pAIR）执行小样本学习：
1） 使用 OpenAI 的 text-similarity-babbage-001 嵌入引擎嵌入所有问题；
2） 使用嵌入的余弦相似度从其课程中计算与未解决问题最相似的已解决问题；
3） 将最相似的问题及其相应的代码作为小样本问题的示例。
图注：4种方式的自动解题率对比
上图分别是Codex的零样本学习、小样本学习和GPT-3的零样本学习、小样本学习4种方式的自动解题率对比。图上可以看出，橙色条状所代表的小样本学习 Codex 在自动解题率上的优秀表现，基本上在每个数学领域上的表现都强于其他3种方式。
，便是提供了一条解决数学问题和解释为何如此解答的管道，下图展示了MIT 5门数学课程中管道的执行流程。
以 18.01 单变量微积分问题为例，给定一个问题和自动生成的前缀“使用 SymPy”，Codex 被提示并输出一个程序。运行程序会产生正确答案的方程式。然后，程序会自动提示再次输入 Codex，从而生成生成的代码解释。
除了解决数学问题和解释答案，Codex 也被用于为每门课程生成新问题。
为了评估生成的问题水平，团队在参加过这些课程或者同水平课程的MIT学生中做了调查，主要是比较机器生成的问题和人工编写问题的质量和难度。
在MIT的6门课程中，每门选择5个人工编写问题和5个模型生成问题混合起来并且随机呈现。对于 60 个问题中的每一个问题，参与调查的学生都需要回答 3 个调查问题：
1）你认为这个问题是人工编写的还是机器生成的？
2）你认为这个问题适合还是不适合特定课程？
3 ) 在 1（最简单）和 5（最难）之间，你认为这个问题的难度级别是多少？
在收回的问卷中，学生调查结果总结如下：
机器生成的问题已经能让学生无法辨别，说明Codex 在生成新内容方面已达到了人类的表现水平。
但是，该模型也有无法解决的问题，比如，如果问题以图像或其他非文本形式出现，它就无法回答；带有需要证明的解决方案的问题，或者计算上难以解决的问题，比如分解非常大的素数，该模型也无法解决。不过，最后一种问题也不应出现在任何数学课程作业中，因为就算是真人学生也没法回答。
版权文章，未经授权禁止转载。详情见 转载须知 。
重庆昶斗源科技有限公司,以数字多媒体及智能控制为基础,智慧教室及智慧校园为发展方向,以多媒体中控,互动教室,智能物联,集控云平台,微课,录播及远程互动系统,资源云平台等产品,专业为客户提供结构化布线系统,网络技术工程,程控交换机系统安装,监控安防系统,一卡通系统,音视频系统,远程互动,机房建设等系统方案设计,施工及维护的服务,打造行业领跑者形象,以市场为导向,以客户为中心
用科学的健康管理模式，造福慢性病患者
深圳创腾翔专业研发生产工业显示器,工控一体机,工业一体机,工业电脑,安卓工业一体机,工控电脑,工业平板电脑多个型号自主研发、深圳工业显示器厂家自主创新，从硬件、软件及相关产品设计到制造一体化，产品技术拥有自主知识产权，保证品质稳定。
览众科技是自动焊机,自动焊接设备,自动焊接机,管道自动焊接机,筒体焊接机,环缝自动焊机,管道自动焊机,储罐自动焊等产品的生产厂家,可定制化研发,欢迎咨询,实地考察。
长江云是湖北广播电视台打造的湖北广播电视台官方门户APP，湖北广电APP汇聚平台，湖北广电媒体融合基础和功能性产品，是湖北官方政务信息汇聚平台。
郑州玉都环保设备有限公司坐落于中国的交通枢纽中心郑州，是中原地区一家大规模的塑料容器生产厂家销售企业。 公司主要产品有：塑料水箱、PE水箱、加药箱、化工防腐储罐、塑胶水塔、周转箱、食品级储罐、塑料桶、腌制桶、锥形储罐、塑料水塔、酸洗槽、大型立式储罐、加药装置、外加剂复配设备、聚羧酸合成设备、酸碱化工储罐、PP焊接储罐、PE储罐、搅拌罐等塑料防腐容器；酸雾吸收塔、pp反应釜，真空罐，缓冲罐等塑料化工环保设备。另承接大型塑料定制产品。 郑州玉都环保设备有限公司产品严格选用优质进口塑料颗粒为原料并按照“中华人民共和国GB9687-88质量标准”为准制造。 郑州玉都环保设备有限公司拥有技术研发中心，具备丰富的研发能力可按不同用途进行各种设计和制造。近年来，为南水北调工程、河南城际高铁高速等国内大型工程配套提供了各种不同规格的塑料储罐产品及相关设备，为甲方基础建设做出贡献。另为多家化工企业提供环保治理产品及方案！欢迎新老用户咨询！ 郑州玉都环保设备有限公司本着“创新科技、真情服务”的企业经营理念，倡导
黄石瑞视光电技术股份有限公司成立于2010年6月，是一家研发、生产和销售触摸屏产品的国家高新技术企业:主要生产工控类电阻屏,四线电阻屏,五线电阻屏,电容式触摸开关,电容式触摸屏，具有年产75万组玻璃基板（按400MM*500MM）的生产能力，换算为3.5寸可达3000万片/年。公司拥有一栋五层共计11400平方米的标准厂房，和先进的生产及检测设备，为产品的质量、交期、价格和服务提供物质基础。
山东睿林工程机械有限公司有限公司成立于2021年9月，位于好客山东、独具特色的山水组群式、齐文化发祥地、中国历史文化名城的淄博市张店区公园街道办事处共青团西路121甲1号8号楼307号，承接建筑工程机械与设备租赁；工程管理服务；装卸搬运；园林绿化工程施工等
白银市中心医院始建于1958年，经过60余年几代人的艰苦创业，现已发展为基础设施完善，医疗设备先进，技术力量雄厚，集医疗、保健、科研、教学、康复、医养于一体的现代化综合性三级甲等医院，全国百姓放心示范医院、甘肃省健康促进医院。被确立为“应急管理部国家矿山医疗救护中心靖远分中心”，设立付小兵院士严重创伤救治和组织修复与再生医学协同创新基地。
诸城市惠正机械科技有限公司是一家集研发、生产、销售、售后于一体的现代化食品机械生产企业。公司专业生产鲜肉切片机，鲜肉切条机，鸡柳成型机，真空滚揉机，冻肉切丁机，绞肉机，气泡清洗线，油炸线，加工定制车间实用型流水线，等不锈钢制品等，产品行销全国各地，现已拥有各类机械加工设备，能够满足不同层次用户的需要。
北方长龙新材料技术股份有限公司公司拥有从德国引进的先进复合材料生产线，以树脂基复合材料的应用技术为基础平台，以材料创新、工艺创新和产品创新为先导，以国际化的视野持续不断地开展技术合作与创新，开发和设计应用于汽车及军工行业的复合材料产品。北方长龙新材料技术股份有限公司-公司拥有从德国引进的先进复合材料生产线，以树脂基复合材料的应用技术为基础平台，以材料创新、工艺创新和产品创新为先导，开发和设计应用于汽车及军工行业的复合材料产品。
华北科技网以独特视角呈现科技圈内大事小事,内容包括互联网、IT业界、通信、趋势、科技访谈信息等
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
20日上午，中兴通讯发布声明表示不能接受美国商务部对中兴的制裁，而全民关于中国芯的讨论依旧在持续，在这个关键的时间节点，阿里巴巴布局芯片的一系列消息也接连曝光，继昨天下午阿里巴巴达摩院正在研发Ali，NPU神经网络芯片的消息曝光之后，今天，4月20日，上午又了解到阿里巴巴全资收购杭州中天微系统有限公司，简称中天微系统，，后者是一家嵌入...。
字幕组双语原文，时间卷积网络，时间序列的下一场革命，英语原文，TemporalConvolutionalNetworks，TheNextRevolutionforTime，Series?翻译，雷锋字幕组，君思，这篇文章回顾了几个最新的基于TCN的解决方案，我们首先介绍运动检测的案例研究，并简要回顾一下TCN架构及其相对于传统方法，如卷...。
雷锋网AI科技评论按，在GoogleI，O2018上，除了Google助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的SmartCompose技术同样也引得众人欢呼，近期，谷歌大脑团队首席软件工程师YonghuiWu在GoogleAIPo出了这篇详细介绍SmartCompose原理的博文，雷锋网AI科技评论将其...。
雷锋网AI科技评论按，2018年，AI研习社又为大家呈上了一系列公开课，AI研习社的粉丝们也再度与我们相伴走过了一年，作为一个针对AI开发者的公开课类目，，猿桌会，自去年推出以来广受各位的喜爱，在今年雷锋网AI研习社依旧以最饱满的诚意为大家邀请了领域内的各路大神进行分享，具体内容涵盖深度学习开源框架、神经网络调参和优化、开发语言使用技...。
雷锋网AI科技评论按，2019年底、2020年初，许多机器学习界活跃的教授、研究员们投身参与了一场的突如其来的讨论，深度学习是什么，在过去十年汹涌而来的深度学习浪潮中，大家对深度学习在应用中体现出的各种特点已经非常熟悉了，但毕竟深度学习的理论仍未建立完善，更重要的是，大家已经意识到了深度学习的种种限制，那么想要破除限制、实现更高级的智...。
编者按，Google的DeepMind研究实验室昨天公布了其在语音合成领域的最新成果——WaveNet，一种原始音频波形深度生成模型，能够模仿人类的声音，生成的原始音频质量优于目前Google采用的两种最优文本，语音模型ParamericTTS与ConcatenativeTTS，WaveNets是一种卷积神经网络，能够模拟任意一种人类...。
人工智能的赛道正变得越来越拥挤，竞争也正变得越来越激烈，芯片作为AI发展的重要驱动力，随着Facebook、亚马逊等科技巨头也加入造芯的行列，AI芯片战即将打响，不过，芯片的研发不可能一蹴而就，收购初创企业就成了许多巨头加速自主研发芯片的进程选择，那么，科技巨头喜欢收购或者投资什么样的AI芯片初创公司，收购AI初创公司，目标是服务生态...。
雷锋网消息，2017年10月4日，Deepmind发表博客称，其一年前提出的生成原始音频波形的深层神经网络模型WaveNet已正式商用于GoogleAssistant中，该模型比起一年前的原始模型效率提高1000倍，且能比目前的方案更好地模拟自然语音，以下为Deepmind博客所宣布的详细信息，雷锋网摘编如下一年之前，我们提出了一种用...。
雷锋网AI科技评论按，DeepMind提出的WaveNet是目前顶级的语音生成模型，论文最初于2016年9月发表，雷锋网AI科技评论也立即跟进报道DeepMind发布原始音频波形深度生成模型WaveNet，WaveNet抛弃了以往通过声学模型拼接语音音素的做法，完全通过深度神经网络生成原始音频波形，并且大幅提高了语音生成质量，今年10...。
近日，来自德国埃尔兰根，纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成，只需要输入点云和相机参数的初始估计，就可以输出由任意相机角度合成的图像，360度旋转都不是问题，研究人员表示，高效的单像素点光栅化让他们能够实时显示超过1亿个像素点的点云场景，一亿个像素点是什么概念，说白了，这些3D图像太逼真了，...。
目前的Windows10Mobile系统只有32位版本，不过，外媒报道称，微软即将推出64为版本的了，据报道，日前微软资深技术员DaveCutler获得了，计算机历史博物馆研究员奖，ComputerHistoryMuseumFellow，，而在介绍他个人的文章显示，Cutler正在开发64位版本的Windows10Mobile，其中...。
声明，1.以上内容仅代表投诉者本人，不代表黑猫投诉立场，2.未经授权，本平台案例禁止任何转载，违者将被追究法律责任，3.黑猫投诉处理投诉不收取任何费用，凡以黑猫投诉名义收费的均为冒充、欺骗行为，请及时报警并与黑猫官方反馈，举报邮箱heimaotousu@vip.sina.com，4.请大家选择官方渠道解决消费纠纷，不要轻信第三方机构或...。
发表在米家投影仪2021，5，1511，00米家投影仪青春版2内置智能系统，只需要一个遥控器就可以轻松操作使用，那么如果遥控器丢了怎么办呢，这时候就需要手机来控制了，下面就分享米家投影仪青春版2手机控制方法，看看有哪些要求和注意事项，一、准备工作1.米家投影仪青春版2一台；2.键盘鼠标各一个；3.智能手机一台，二、米家投影仪青春版2手...。
发表在优派投影仪2021，8，2415，28导读，优派投影仪的用户应该都知道优派的vColorTuner调试软件，这是一个优派投影仪的颜色配置工具，下面我就分享一下优派投影仪调色教程，手把手教大家如何使用优派vColorTuner调试软件，优派投影仪调色教程1.下载vColorTuner在优派的官方网站上下载vColorTuner，注...。
安装当贝市场U盘安装教程，1.通过当贝市场官网，www.dangbei.com，下载TCL专版软件包2.解压TCL专版软件包后，会有两个apk文件，一个是当贝市场安装包，一个是TCL解除安装限制，后面会用到，将这两个文件复制到U盘中3.将u盘插到上，找到，电视卫视，应用管理，极速安装，，找到U盘4.打开u盘，先将TCL解...。
