阿里云全面升级GPU云服务 AI大模型推理性能可提升100% (阿里云全面升级要多久)

文章编号:39743 资讯动态 2024-12-03 GPU云服务AI大模型阿里云

7月19日,阿里云推出全面升级GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。

阿里云全面云服务,AI推理性能可提升100%

随着AI大模型的体量变大、应用变广,单GPU已难以承载推理应用的全部需求,多GPU推理时代已经到来。如何在GPU资源紧缺的当下,实现GPU高效互联,是提升多GPU推理性能的关键。阿里云通过进一步优化底层的AI通信加速库DeepNCCL,让GPU云服务在推理场景下有更好的性能表现:在同等硬件环境下,Token输出吞吐至少提升14%,首Token时延降低15%。通过深度优化,推理加速性能也提升显著,Token处理能力提升100%,相同的资源可以支持2倍的业务需求。

用Kubernetes容器集群技术调用GPU算力,已成为运行AI大模型任务的主流选择。ACK容器服务可提供自动化编排及GPU高效管理和调度的能力,让模型部署、扩展变得更简单。为进一步提升AI应用运维效率,阿里云推出 ACK云原生AI套件,可实现 Kubernetes 在 GPU 调度和细粒度共享、AI 任务调度、训练数据加载以及大模型推理服务启动等关键领域的能力增强和加速,相较开源均有大幅能力提升。比如,针对AI任务频繁加载远程存储数据的需求,ACK云原生AI套件可提升训练数据读取性能30%以上,降低大模型推理服务冷启动时延70%以上。

在全球累计超过1000万活跃用户的国产AI绘画工具海艺AI,就是通过ACK调用阿里云GPU云服务的先行者。此前,用户通过海艺AI生成一张图片平均耗时20秒,遇到队列等待延迟可上升至分钟级;采用阿里云GPU云算力及ACK容器服务后,海艺AI的模型切换完全无感,推理耗时降低至3.95秒,整体性能提升至少50%以上。

在最新的Forrester 全球AI基础设施解决方案研究报告中,阿里云综合产品能力指标位居全球第二,已成为中国AI大模型的公共底座。零一万物、百川智能、智谱AI、昆仑万维、vivo、复旦大学、巨人网络等大批企业和机构在阿里云上训练大模型,并通过阿里云对外提供服务;小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
太阳能路灯,高杆灯

公司将遵循“性能可靠,求实创新,行销全球”的质量方针,公司主营产品:LED路灯、太阳能路灯、高杆灯、智慧路灯、监控杆、交通标志杆、多功能合杆等

字典

字典_词典在线查询-多特辞海网

常州博连康干燥设备有限公司

我公司主要产品包括真空干燥机、闪蒸干燥机、气流干燥机、振动流化床干燥机、DW型带式干燥机、离心喷雾干燥机、燃油燃气热风炉、GFG系列高效沸腾干燥机等多种系列干燥机。

汉发控股集团

汉发控股集团|湖北汉发控股集团有限公司是一家以建筑产业、房地产业、休闲康养产业、投融资业务平台,构成的“三产业一平台”为主要行业板块的大型综合性民营企业集团公司,总部位于湖北省武汉市

杭州品宣电子商务有限公司

品宣电子商务是专业的建站与网络推广、广告设计公司,致力于东阳网站建设、东阳网站制作、义乌网站建设、义乌网站制作、浦江网站建设、浦江网站制作、Google推广等网站制作和网络推广服务

高温防腐电缆

安徽青盛电气专业高温电缆厂家,主要产品有高温防腐电缆,计算机补偿电缆,柔性控制电缆,防爆防腐变频电缆等产品,厂家拥有70余项电缆专利以及先进的生产检测设备,电缆规格型号齐全.

汽车新闻资讯速递

清锦客汽车网提供各种汽车资讯和评测,新车如何选购,实用的驾驶维护保养技巧,以及怎么选购二手车和避坑指南、汽车改装案例、新能源汽车的趋势走向、车友生活,帮助大家开车遵守政策法规,得到一个愉快的用车体验,就来清锦客汽车网!

Iphone软件下载

Iphone软件下载,苹果APP软件,android安卓软件下载,万年历,黄历,经络养生,高清经络图,铃声下载,蓝鹤信息提供。

经济财融网

经济财融网作为财经网站平台,为各位经济财融信息需求者提供不间断的全新财经信息。由热点,财经,理财,快讯,滚动,消费,产业,股票,企业,银行,行情,互联,市场,资讯等栏目构成。

网众

济宁网众信息技术有限公司,互联网信息技术服务科技企业。

气调包装机

诸城市德正机械有限公司是专业制作销售各种气调包装机,盒式包装机,锁鲜包装机,盒碗封口机的厂家,价格合理,服务周到。欢迎致电咨询沟通18866797177

全局底部横幅