腾讯云AI超级底座新升级 训练效率提升幅度达到3倍 (腾讯云 ai)

文章编号:40849 资讯动态 2024-12-03 腾讯云AI超级底座AI大模型

大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。

腾讯云副总裁王亚晨在开场致辞中表示,AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络“赛道”,并自研了TiTa和TCCL网络协议作为“车载导航和道路控制系统”,共同让“HCC GPU服务器”这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

腾讯云全新异构计算产品矩阵“AI超级底座”亮相

随着AI应用走向全领域,模型参数发展到千亿、万亿级规模,对云计算的基础设施提出了全新的挑战。腾讯云异构计算产品总监宋丹丹表示,AI 超级底座可以从底层算力基础设施到上层应用对接提供整套完整服务,方便模型生产厂商和AI开发者快速开发、验证。

腾讯云AI超级底座具有海量算力、极致性能、灵活取用等优势,结合了腾讯云的海量多元算力、高性能网络和存储集群,并以云原生产品作为入口供开发者灵活调用。在软硬结合层,腾讯云还可以通过GPU虚拟化、容器等,以及高性能应用服务HAI给开发者提供简易的开发体验,并让底层的高性能算力无损直达开发者,真正实现“高性能易上手”。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

基础设施再进化,取之AI,赋能于AI

作为AIGC时代的重要核心,大模型需要庞大的算力来支撑。腾讯云高性能计算集群产品 HCC采用腾讯云星星海自研服务器,提供高性能、高带宽和低延迟的集群算力。目前,HCC已全面升级至2.0,性能、效率和稳定性实现全面提升,相比上代训练效率提升幅度达到3倍,将几十天的训练周期缩短至一周内。

此外,腾讯云还推出了性价比更高的冷存储产品、COS加速器,以及数据湖多级加速体系,可面向AIGC等多种业务场景提供多级缓存加速方案,进一步提升训练效率并降低资源成本。腾讯云存储产品总监崔剑指出,腾讯云通过提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值,从而实现了“取之AI,助力AI”。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

腾讯云公网产品负责人俞圆圆指出,对于参数达到千亿、万亿级别的 AI 大模型来说,大带宽、低延时、广覆盖、少抖动的网络是实现高效训练的关键因素之一。腾讯云星脉高性能计算网络具备业界最高的3.2T 通信带宽,可为AI大模型的训练提供高速公路级别的网络通道。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

软硬件结合,提升极致性能

底层基础设施以外, AI大模型的落地也需要上层软件的支持。腾讯云异构计算AI研发专家工程师叶帆表示,随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

针对GPU算力资源浪费的问题,腾讯云TencentOS高级产品架构师杜震表示,qGPU容器产品可以支持多个容器共享 GPU 卡,具备了各容器间算力、显存的精细隔离和灵活配置,将GPU的利用率提升至极致,最终帮助客户大幅节约GPU资源成本。同时,腾讯云还基于 RUE 内核全场景混部,统一调度分配 CPU、IO、网络、内存等资源,提升资源利用率,进一步降低运营成本。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

向量数据库加速企业AI化进程

在大模型时代,通过向量数据库将数据高效接入AI大模型,并深度挖掘数据价值,成为最重要的事。

腾讯云数据库产品副总经理罗云指出,腾讯云向量数据库同时具备的性能和规模优势,支持高达10亿级的向量检索规模,延迟则控制在毫秒级,比传统单机插件式数据库检索规模提升了10倍。同时,腾讯云向量数据库还具备百万级每秒查询(QPS)的峰值能力,经腾讯内部海量场景实践,数据接入 AI 的效率比传统方案提升10倍,运行稳定性高达99.99%。

腾讯云AI超级底座新:训练效率提升幅度达到3倍

从底层到上层,腾讯云AI超级底座通过大模型高性能计算集群、计算网络以及向量数据库等大模型生态工具,助力AI大模型应用落地。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
漫画

动漫之家是国内最全最专业的在线漫画、原创漫画、最好看的动漫网站,每周更新各种原创漫画、日本动漫,动画片大全、漫画大全、好看的漫画尽在动漫之家漫画网。

新猫和老鼠第四季动画

汤姆猫和和老鼠杰瑞生活在同一屋檐下,不同于其他水火不容的猫鼠关系,他们更像是一对欢喜冤家、一对打闹不断却拆不散的朋友。本季猫和老鼠的故事主要围绕四个主题展开,分别为汤姆和杰瑞的日常故事、由汤姆和杰瑞组成的侦探小分队侦破各种案件、诡异夜晚怪物频出的夜晚被赶出家门的汤姆和镇上的怪物猎人杰瑞的故事以及城堡中的管家汤姆和不受待见的老鼠杰瑞的故事。

防水涂料生产厂家

山东鑫晟发防水材料有限公司,防水卷材生产厂家,提供高分子自粘/非沥青基防水卷材产品定制与批发.山东鑫晟发防水材料有限公司是sbs防水卷材厂家、防水材料厂家、防水涂料厂家,主营高分子自粘防水卷材、js防水涂料、耐根穿刺防水卷材、聚氨酯防水涂料、TPO防水卷材、sbs防水卷材、非沥青基防水卷材等。

石家庄电脑回收

石家庄电脑回收T:15350562341,淘汰电脑回收,石家庄二手电脑回收,台式电脑回收,笔记本电脑回收,同时回收石家庄及周边地区打印机,复印机,线路板等办公设备

无锡户外拓展露营基地

无锡户外拓展基地拥有自己的户外拓展培训基地,集合专业的拓展培训师,为企事业单位提供户外拓展活动的训练方案,户外烧烤,户外篝火露营,野外徒步探险等活动的资讯发布,欢迎来电咨询.

首页

邢帅教育一直专注技能培训领域,课程内容涵盖平面设计、3D技术、网页设计、编程技术、摄影技术、影视后期、建造、商业创业等。知识改变命运,技能改善生活。我们认为互联网教育可打破教育资源分配不均的现状,让更多需要的人得到应得的教育。

四川国兴腾隆科技有限公司

混凝土病害修复系统服务商始于2000年荣获几十项技术专利

安徽衡誉科技有限公司

安徽衡誉科技有限公司是一家专业为电动车辆提供动力系统解决方案和相关产品研发、生产、销售和服务的企业。公司成立于2006年,注册资金5600万元。

无功补偿装置,谐波治理装置,磁阀式可控电抗器,无功补偿成套厂家

无功补偿装置,谐波治理装置,磁阀式可控电抗器,无功补偿成套厂家就选银湖电气。专注无功补偿&谐波治理设备研发制造20余年量身定制电能质量解决方案。

网站安全防护

上海云盾信息技术有限公司(YUNDUN),是专注于提供新一代安全产品和服务的创新创业企业。以纵深安全加速,护航数字业务的产品服务理念,替身和隐身的攻防思想,运用大数据、AI、零信任技术架构和健壮的全球网络资源,一站式解决数字业务的应用漏洞、黑客渗透、爬虫Bot、DDoS等安全威胁,满足合规要求,提高用户体验。

二次精还原铁粉

苏州金穗粉末是生产二次精还原铁粉的专业厂家,产品应用于金属粉末注射成型(MIM),粉末冶金制品,摩擦材料(汽车动车刹车片),食品添加剂,锂电池材料,农业肥料,土壤治理修复改良,硬质合金金刚石工具,污水处理,工业废水,固废,化工还原剂催化剂,化工置换,医药中间体,软磁粉末零件,软磁铁芯圈,磁性材料,橡塑注射制品,橡胶树脂添加剂,铝合金制品添加剂,新型日用品,贵金属置换,汽车、摩托车配件,火焰切割不锈钢,金属冶炼,包芯线,铁基含油轴承等领域;生产的还原铁粉具有高纯度,一致性好,压缩性和成型性好等特点,综合性能指标均优于国家标准。

全局底部横幅