彩云科技DCFormer模型架构发布 效率是Transformer的两倍! (彩云科技大模型)

文章编号:40408 资讯动态 2024-12-03 2024DCFormerICML彩云科技

自2017年Transformer架构诞生之后,到现在为止其仍然是人工智能领域研究和应用的基础,鲜少有团队能够在最底层架构上进行一些变革和开发且做出较大的成效。一方面是由于Transformer确实好用;另一方面,在最底层上做突破并非易事。

然而,彩云科技是那个反共识者。2024年5月22日,彩云科技发布了全新通用模型结构DCFormer,其相关论文《ImProving Transformers with Dynamically Composable Multi-Head Attention》()将在第41届国际机器学习大会ICML 2024正式发表。

在论文中,彩云科技实验证明了在三千亿级训练数据和70亿级模型参数量下,DCFormer效率是Transformer的两倍。据一位评委透露,今年录用论文的平均分为4.25-6.33,而彩云科技团队的论文获得平均7分的高分。

ICML是国际机器学习领域的顶级会议,能够发表论文的中国初创企业屈指可数。彩云科技证实,其大模型结构DCFormer可以达到1.7~2倍算力的Transformer模型的效果,即算力智能转化率提升了1.7~2倍。在众多NLP下游任务和图像识别任务上的测评也验证了DCFormer的有效性(详见论文表格)。

DCFormer对性能算力比的提升幅度超过自2017年Transformer诞生至今被证明最普适有效并被广泛采用的两项结构改进的提升幅度之和(同时应用这两项改进的Transformer架构也叫Transformer++,如Llama)。而且随着模型规模的增大,DCFormer的提升越来越大(左图下的蓝线和绿线),而Transformer++的提升越来越小(左图下的黑线)。可以说,DCFormer让Transformer的能力又跃上一个新台阶。

彩云科技DCFormer模型架构发布,效率是Transformer的两倍!

彩云科技DCFormer模型架构发布,效率是Transformer的两倍!

彩云科技CEO袁行远说:"如果底层模型没有突破,人工智能的进步终将停滞不前。人人都说神经网络是个黑盒,我们需要勇气和耐心打开这个黑盒,通过分析模型运转原理,我们才能知道智能的本质规律,从而可以改进模型,提高模型的运行效率。"

通用大模型DCFormer将Transformer效率提升了两倍,这意味着什么?袁行远解释说:"如果GPT-4o能够用上DCFormer,推理一次128k上文的成本,就可能从4元变成2元。而且DCFormer模型越大,效果越好,考虑到ChatGPT的巨大参数量,DCFormer可能在千亿、万亿模型上效果更好,因此价格甚至可能下降到1.5元、1元。Meta的100亿美元显卡训练的模型,可能50亿美元就能够用。"解开智能的科学的奥秘,实现通用人工智能——这是彩云科技10年以来孜孜不倦追求的目标。基于此,彩云科技在GitHub上开源了DCFormer的模型代码、权重和训练数据集(),将该模型开源给全世界。

未来彩云科技会将全新大模型DCFormer应用于旗下三款杀手级app,并将进一步发展彩云小梦,加速提升AI续写能力。袁行远说,"AI交互是前所未有的交互形式,也因此让我们有机会在AI的帮助下,建立每个人自己的'次元宇宙',而DCFormer大模型将加快这一进程。我们希望能够通过彩云小梦,帮助更多人实现现实生活中无法实现的梦想。"

版权文章,未经授权禁止转载。详情见 转载须知 。

彩云科技DCFormer模型架构发布,效率是Transformer的两倍!

全局中部横幅
回龙观社区网

回龙观社区网(www.hlgnet.com)建立于2000年3月9日,是为回龙观地区居民服务的社区网站,目前主要栏目有:论坛、资讯、二手交易、集采、生活指南、视频、相册等栏目,还与回龙观地区职能部门合作开通了物业、交通、消防、业委会、警民共建等栏目。

硅酸盐水泥供应商

唐山弘也水泥有限公司主要产品有:P.S.A32.5、P.O42.5、P.O42.5R、P.O52.5、P.O52.5R硅酸盐水泥厂家,道路硅酸盐水泥,低碱熟料,低碱水泥及超细矿粉。电话:0315—6488396

上海进口仪器仪表供应网

上海进口仪器仪表供应站现为华东地区具有影响力的进口仪器仪表选型平台和数据中心,聚集着全球24个国家300多个知名品牌,网站平台现在20000个相关进口仪器仪表产品资料。

不锈钢手表

深圳市雅康钟表20年专注中时尚手表OEM、手表代工、手表定制的生产厂家,国内外手表品牌合作优质厂家,服务超过500家客户;具有专业的设计团队,一对一的贴心服务,7天打版,15天出货,交货期准。

首页

易点云,一站式租电脑平台,专注企业电脑租赁,租电脑,租台式电脑,租笔记本电脑,一体机电脑租赁等,免押金租赁电脑,一台起租租金月付,随租随还,全程保修,满足视频剪辑、研发设计、日常办公等多种租电脑需求,顺丰免费送货上门。

苏州众思创节能电热设备有限公司

烘箱烘箱厂家热风循环烘箱电热恒温鼓风干燥箱干燥箱高温烘箱隧道炉烘箱台车烘箱大型烘箱

天然钻石协会官网

Thedefinitivedestinationforallthingsnaturaldiamo…

星汉科技

星汉(广州)科技有限公司是优质游戏推荐平台及游戏分享社区。公司以“用心分享游戏”为核心理念,为游戏玩家提供优秀的游戏产品及实时的游戏资讯;为游戏爱好者提供分享互动的平台,结识更多的游戏同伴。

无尘车间

中电南方净化科技 (400-883-7763)是一家一站式净化工程服务商,服务范围包括:洁净工程,无尘车间,洁净厂房,洁净室,无尘室,药厂、食品厂、电子厂净化车间,无尘车间装修施工、建设、承包等,无尘车间建设.

地接

华人驿站是全球地接联盟,提供海内外地接,华人旅行社,司导包车旅游,机场接送机信息服务。也是地接平台,海外境外地接平台,境外导游加盟平台,包括地陪,包车导游,旅行社包车,包车旅行,司兼导,地陪翻译,中文旅行社,机场接送机,公务考察,商务接待,等旅游服务。

61蛋糕网

中国订蛋糕网,提供北京蛋糕店蛋糕预订,上海蛋糕异地订购送货,广州生日蛋糕,深圳庆典蛋糕订购,全国蛋糕2-4小时送货上门

全局底部横幅