ChatGPT 综合不敌 最新研究 Gemini 谷歌还需努力 CMU (chatgpt官网)
最近谷歌发布的 Gemini 格外引人注目，其号称是第一个在各种任务中可与 OpenAI 的 ChatGPT 相媲美的大模型。
报道显示，Gemini 的“Ultra”版本在各种任务上都优于 GPT-4，而 Gemini 的“Pro”版本则与 GPT-3.5 不相上下。
针对两个当红炸子鸡的较量，美国卡内基梅隆大学近日展开了一项研究，深入探讨了谷歌 Gemini 的语言理解和生成能力，并将其与 OpenAI 的 GPT 系列作了对比，得到了有趣的结论——谷歌 Gemini 的综合性能与 ChatGPT 仍有较大差距。
论文地址：
一、Gemini 仅媲美 GPT-3.5 Turbo
CMU 的这项研究主要探讨了两个问题：
其一，对 OpenAI GPT 和 Google Gemini 模型的能力进行了第三方客观比较，并提供了可重现的代码和完全透明的结果；
其二，对结果进行了更深入的研究，找出两类模型中某一类模型分别拥有的优势领域。
研究团队对测试各种语言能力的 10 个数据集进行了分析，包括推理、回答基于知识的问题、解决数学问题、语言间翻译、生成代码以及充当指令遵循代理。
在所有的基准测试任务基础上，CMU 团队分析发现：
Gemini Pro 模型在模型大小和类别上与 GPT 3.5 Turbo 相当，其准确度一般与 GPT 3.5 Turbo 相当，但略逊于 GPT 3.5 Turbo，比 GPT 4 差很多。
Gemini Pro 的平均性能略低于 GPT 3.5 Turbo，尤其是在多选题的回答顺序偏差、多位数数学推理、过早终止智能体任务以及因激进的内容过滤而导致回答失败等方面存在问题。
在特别长和复杂的推理任务中，Gemini 的表现优于 GPT 3.5 Turbo，包括生成非英语语言以及处理更长、更复杂的推理链。而在不对回答进行过滤的任务中，Gemini 也善于使用多种语言。
图为基准测试的主要结果（最佳模型以粗体显示，次佳模型以下划线显示。Mixtral 只对部分任务进行了评估。）
二、大模型关键能力分析
在大模型的几项关键能力上，团队的具体研究结果如下：
在大模型的问答能力层面，从上图中可以看出每个模型在部分代表性任务上的表现，与 GPT 3.5 相比，Gemini Pro 在大多数任务上表现不佳，思维链提示降低了各子任务之间的差异。
团队又深入研究 Gemini Pro 性能低于/优于 GPT 的任务3.5 的差距，得出结论：
1）Gemini Pro 在 Human_sexuality（社会科学）、formal_logic（人文科学）、elementary_mathematics（STEM）和 professional_medicine（专业领域）方面落后于 GPT 3.5。
2）在 Gemini Pro 优于 GPT 3.5 Turbo 的两项任务中，Gemini Pro 只取得了微弱的优势。
在推理能力层面， Gemini Pro 的整体准确率略低于 GPT 3.5 Turbo，远低于 GPT 4 Turbo，但Gemini Pro 在更长、更复杂的问题上表现不佳，而 GPT 模型对此则更为稳健。
文中亦给出了 GPT 3.5 Turbo 性能超过 Gemini Pro 最多的任务：
从数学推理的总体结果可以看出，在包含多种语言模式的 GSM8K、SVAMP 和 ASDIV 任务中，Gemini Pro 的准确率略低于 GPT 3.5 Turbo，远低于 GPT 4 Turbo。
在 MAWPS 任务中，所有模型的准确率都超过了 90%，但 Gemini Pro 仍略逊于 GPT 模型。
代码能力生成方面，在英语任务中，Gemini Pro 在较长的输入和输出方面表现较强。分析结果可以发现，在大多数使用库的情况下，如 mock、pandas、numpy 和 datetime，Gemini Pro 的性能比 GPT 3.5 差。
不过，在 matplotlib 的情况下，它的性能要优于 GPT 3.5 和 GPT 4，这表明 Gemini 在通过代码执行绘图可视化时具有更强的能力。
在翻译能力上，Gemini Pro 有 8 种语言的性能优于 GPT 3.5 Turbo 和 GPT 4 Turbo。相比之下，Gemini Pro 在 20 种语言中的 8 种语言上的表现优于 GPT 3.5 Turbo 和 GPT 4 Turbo，并在 4 种语言上取得了最佳表现。不过，Gemini Pro 在大约 10 种语言对中表现出强烈的阻塞响应趋势。
原创文章，未经授权禁止转载。详情见 转载须知 。
小度全屋智能-由百度旗下人工智能品牌「小度」倾力打造，拥有全球领先的AI与智能家居技术，致力于打造让全家人都感到温暖、个性、懂你的品质智能生活
腾讯网从2003年创立至今，已经成为集新闻信息，区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道，充分满足用户对不同类型资讯的需求。同时专注不同领域内容，打造精品栏目，并顺应技术发展趋势，推出网络直播等创新形式，改变了用户获取资讯的方式和习惯。
益邦控股创立于2008年8月11日。自成立以来，益邦专注于服务质量的提升，已积累12年的行业经验，凭借卓越的物流供应链服务和持续创新的技术应用，与诸多产业客户建立了长期深度合作。
秀米下载站(www.okqq.net)提供电脑软件下载大全,手机游戏下载,安卓app应用免费下载服务.包括电脑办公,手机应用,影音娱乐,网络游戏等全方位的软件和app下载使用需求.同时更新官方软件使用教程及游戏攻略技术文章,秀米下载站提供的软件和app应用不绑定任何插件,保证装机安全.
苏州奥京物流机械有限公司是从事进口OPK,手动堆高机,油桶倾倒车,不锈钢工作台,手动拖板车,无尘车间耗材,电动旋转平台车,电动滚筒平台车,电动堆高机的销售厂家,业务范围已覆盖江苏,上海,浙江,等地.
同城58网致力于打造最优秀的本地同城分类信息发布平台.同城游戏，同城信息,同城生活服务信息,同城交友信息等所有信息均可免费发布
雪聪网是一个管理全国城市分类信息的网站平台,商家可以发布和管理汽车租赁、二手车回收、管道疏通、家电维修、居民搬家、房屋装修等信息，当地老百姓可以查看相应的服务信息
![[观奇洋服]西服定制](http://www.gpxz.com/zdmsl_image/jietu/jt_12025.png "[观奇洋服]西服定制")
成都观奇服饰有限公司专注定做工作服，已为多家企业提供企业着装解决方案。观奇服饰是中铁等上市企业的指定职业装定做商。为企业提供：工作服定制、定做职业装、企业西装定制、工服定制、成都工作服定做等一站式企业着装解决方案，职员满意，快速提升企业形象。咨询热线：028-80518777
快极互动致力于为中兴、华为、港珠澳大桥、腾讯、tcl、金龙鱼、招商银行、平安银行、博士眼镜、飞利浦、华强集团，汇洁集团等大型企业提供数字化建设服务，主要业务包括高端网站建设、app开发设计、小程序开发、系统定制敏捷开发、H5开发、网页设计、公众号开发、H5活动页制作／设计、UI交互设计等
威龙商务网是中国领先的一站式B2B电子商务服务平台，汇集各行各业的优质生产商,制造商,供应商等,致力于创新技术的研发、打造电子商务领域的领先品牌，为中国企业提供最新的商机资讯、行业信息、企业自主建站、商人社区等商务服务，是您首选的网上贸易平台。
创联数字专注数字人才培养，开设多种数字技术培训课程，提供大数据培训、人工智能培训、python培训、虚拟现实培训、工业互联网培训、数字化转型培训等数字技术培训服务。
【斗山机床(广东)4S技术中心-宝丰盛机电设备有限公司】是斗山机床、斗山加工中心在广东成立斗山唯一技术中心，主要销售机床产品有：斗山多轴车削中心、多功能车削中心、立式加工中心、卧式加工中心、卧式镗铣床、五面体龙门加工中心、超大型数控立式车床等高速、高精度数控机床及配套工装夹具产品。电话：0769-81153005
OpenAI前首席科学家、联合创始人IlyaSutskever曾在多个场合表达观点，只要能够非常好的预测下一个token，就能帮助人类达到通用人工智能，AGI，虽然，下一token预测已在大语言模型领域实现了ChatGPT等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型，如StableDiffusion，和组合方...。
上周三，OpenAI发布了对话语言模型ChatGPT，并开放了免费试用，据OpenAI的CEOSamAltman称，在短短5天的时间里，ChatGPT就有了100万用户，而之前的GPT，3花了将近24个月才达到这个用户量，在OpenAI给出的描述中，ChatGPT是一个，可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求，...。
最近大家都很兴奋，ChatGPT的出现带火了知识博主，增加了变现机会，很多人都在讨论LLM和AIinfra，如何写诗如何画画，真正讨论应用的很少，讨论行业应用的就更少了，但是看了YC去年的List后觉得AI，Native应用的前景已经非常明朗了，AI已经深入寻常百姓家，这个普世的转变，对产品经理来说更是一个设计产品范式的根本性转变，而...。
腾讯回应与MetaVR头显合作传闻近日，有媒体报道，Meta正在与腾讯进行洽谈，计划将其VR头显Quest推向中国市场，Meta希望将其设备产品引入中国市场，以重振其在中国的业务，报道称，Meta公司与几家中国科技企业进行了洽谈，并与一家中企洽谈取得了进展，如果合作成功，可能对双方都有利，值得注意的是，早在去年年底就有腾讯与Meta合...。
兄弟终成对手，荣耀CEO赵明，我们就是要超越华为3月2日，荣耀面对海外市场发布了Magic5系列手机新品，发布会后，荣耀CEO赵明对媒体表示，我们就是要超越华为，成为新的标杆，赵明表示，某种程度上，竞争对手也是最佳的老师，今天行业内最好的5G标准，接收的信号质量、通信质量，还是华为Mate40Pro，荣耀就要打破这个，成为新的标杆，...。
7月6日，2023世界人工智能大会在上海正式开幕，主题为，智联世界生成未来，会场上，数百家AI公司携产品亮相展台，涵盖大模型、芯片、机器人、智能驾驶等领域，其中最火热的当属大模型和机器人，华为、百度、商汤、云天励飞等公司公布了自研大模型的最新进展，特斯拉人形机器人、美团无人机、擎朗机器人等悉数亮相，从ChatGPT到，群模共舞，WA...。
网曝友商要特斯拉降低中国员工工资，从13000降到5341元3月18日消息，近日有网友爆料称，有友商要特斯拉降低中国员工工资，从13000降到5341元，据悉，特斯拉上海工厂一线工人的基本工资5341元起，这个基本工资对应的级别是1.3，，加班费46元，小时，中班，夜班费分别是10元和18元，天，每年发17薪，以此计算，综合月薪为75...。
ChatGPT引发了一场大模型淘金热，一开始大家扎堆训练大模型，发现入局没有那么简单，发展到第二阶段，就开始出现了寄生于ChatGPT的众多APP和应用，无论是发力于向量数据库缓存，还是支持模型微调以后，套壳包装摇身一变成为新的APP的众多创业公司，都是这个思路，只不过这些公司有的是真正找准了切入点的神级企业，有的是在压路机前捡硬币的...。
最近谷歌发布的Gemini格外引人注目，其号称是第一个在各种任务中可与OpenAI的ChatGPT相媲美的大模型，报道显示，Gemini的，Ultra，版本在各种任务上都优于GPT，4，而Gemini的，Pro，版本则与GPT，3.5不相上下，针对两个当红炸子鸡的较量，美国卡内基梅隆大学近日展开了一项研究，深入探讨了谷歌Gemini的...。
当AI写论文，做旅行攻略，作画，写诗能够媲美甚至超越普通人水平时，有人兴奋不已，也有人忧心忡忡，普通人对于生成式AI可能带来的变化态度各有不同，但推动这一技术发展的研究人员和企业都有一个共同关注的问题——大模型所需的大算力需求带来的能耗问题如何解决，以火爆全球的OpenAI公司的ChatGPT为例，两年前，微软为了满足OpenAI的G...。
2023是，群模共舞，的元年，先是ChatGPT的横空出世给予众人致命震撼，随后国内诸多AI、互联网公司迅速加大资源投入，练模，在这场，模型大战，中，算力作为不可或缺的重武器，一度成为众公司争抢的关键要素，作为人工智能的三驾马车之一，算力是训练AI模型、推理任务的关键，倘若把训练模型当作是做一道精致的菜肴，算力就好比一套称手的烹饪工...。
通向大模型彼岸的方法不止一种，正如爱因斯坦在1905年就推导出质能转换公式，但中国制造原子弹的，596工程，就不是完全照搬美国的，曼哈顿工程，2022年，刚刚试用了ChatGPT，黄伟的第一感觉是懵的，和不少AI行业的同行一样，看到已经有人把大模型做到了如此程度，黄伟有些惆怅，就如同一个打了很多年马蹄铁的匠人，第一次见到汽车时的震...。
全球网络与安全融合领域领导者Fortinet，Nasdaq，FTNT，，于近日公布2023年第二季度财报，Fortinet创始人、董事长兼首席执行官谢青表示，作为业内领先的网络安全平台和安全组网厂商，得益于当下对整合型供应商及支持无缝集成单点产品日益高涨的市场需求，Fortinet长期业务增长势头依旧强劲，在SD，WAN和OT安全领...。
小米辣缺冲是中国四川地拦扮仔区的传统美食，它不仅仅是一种调味品，更是一种传统文化的象征，而想要腌制出真正的美味小米辣，则需要注意以下几点，首先，要选择新鲜的小米辣，最好以辣度适中的为佳，其次，要根据自己的口味来确定腌制的时间和比例，如果喜欢重口味，可以多放一些盐和花椒，腌制时间可以稍微长一点，如果口味清淡，可以少放盐和花椒，并且腌制时...。
皮肤管理店是当下女性消费者经常光顾的场所，开展多元化的经营方式，为每一位顾客带来品质化的服务，让人们变得越来越美丽，Miraclelight皮肤管理是行业中名气较高的品牌，采用强大的研发实力制造出智能设备，让顾客进店体验到科技美容、智慧美容的服务，满足现代化消费者的需求，也得到越来越多消费者的认可，感兴趣的创业者想要了解Miracle...。
很多的用户在使用了M1芯片后需要用到ps进行办公，但是就有很多的用户反馈说在使用液化等一些格式的时候电脑就会黑屏，菜单栏什么的就没法正常显示了，那么PS2019M1芯片版液化黑屏不能用怎么办，下面就跟小编一起来看看吧！PS2019M1芯片版液化黑屏不能用解决办法1、安装ps2019的m1版本后，打开应用程序文件夹，找到Photosho...。
[全球时报驻俄罗斯特派记者隋鑫全球时报记者沈圣柳玉鹏]11月12日，中共中央政治局委员、中央外办主任王毅在北京同俄罗斯联邦安保会议秘书绍伊古独特掌管中俄第十九轮策略安保商量，就独特关心的严重策略安保疑问片面深化替换意见，达成了新的共识，增进了策略互信，双方分歧赞同增强协作，保养好中俄相关和两国开展复兴大局，独特促成全球安保稳固，据，俄...。
