高通万卫星 拥抱AI赋能终端创新的未来 (高通卫星电话)

文章编号:43854 资讯动态 2024-12-09 高通NPUHexagonAI引擎

6月27日,高通公司AI产品技术中国区负责人万卫星出席上海MWC世界移动通信大会期间举办的中国移动终端合作峰会,并发表主题演讲“拥抱AI赋能终端创新的未来”,分享高通公司正在如何通过领先产品和解决方案赋能终端侧生成式AI发展。

通过强大的NPU性能和高通AI引擎的异构计算设计,高通公司在支持终端侧生成式AI用例处理方面独具优势,其最新的第三代骁龙8移动平台和骁龙XElite计算平台已经赋能市场推出了多款出色的AI手机、AIPC产品,正在引领终端侧生成式AI体验的飞速发展。此外,高通公司还在通过灵活可扩展的软件工具解决方案,赋能应用开发者和大模型厂商面向广泛的终端品类打造AI应用和进行模型优化,推动生成式AI在终端侧的规模化扩展。

高通万卫星:拥抱AI赋能终端创新的未来

以下为演讲全文:

大家好,我是高通公司万卫星,很荣幸能够代表高通公司参加中国移动终端合作峰会,今天我分享的主题是“拥抱AI赋能终端创新的未来”。同时,我也会与大家分享高通公司的AI产品和解决方案正在如何助力AI,尤其是生成式AI在终端侧的规模化扩展。

我们认为,终端侧生成式AI的时代已经到来。我们在智能手机领域的最新旗舰产品第三代骁龙8,以及我们面向PC市场推出的最新平台骁龙X Elite,已经赋能了诸多的AI手机和AI PC,为消费者带来了非常丰富的生成式AI体验。

在今年2月份的MWC巴塞罗那期间,高通带来了全球首个在Android手机上运行的大型多模态语言模型(LMM)技术展示。我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大语言和视觉助理大模型(LLaVa),能够与AI助手生成关于图像的多轮对话。具有语言理解和视觉理解能力的多模态大模型能够赋能诸多用例,例如识别和讨论复杂的视觉图案、物体和场景。多模态模型的能力将极大的提高我们的产品优势,也将为现实生活中的一些应用场景带来非常大的帮助,例如视觉障碍人士或将能够利用此类用例在城市中进行导航。

随着生成式AI模型的发展,我们发现一些生成式AI模型的体量正在不断缩小,而他们在特定垂直领域的能力却正在变得越来越强。举例来说,Llama380亿参数版本在解决某些垂类应用的能力上,已经超过了去年发布的高达1750亿参数的GPT-3.5 Turbo。

面向丰富的生成式AI和传统AI用例,高通将AI能力贯穿到整个SoC的设计中,打造了具备异构计算架构的高通AI引擎,不仅集成通用的硬件加速单元CPU、GPU,同时也集成了面向高算力和低功耗工作负载需求的专用神经网络处理器NPU。对于一些需要始终在线的应用,包括摄像头、传感器和语音唤醒等,高通AI引擎也有支持超低功耗的传感器中枢。

高通公司在去年10月骁龙峰会上发布的第三代骁龙8,其所搭载的高算力低功耗的高通HexagonNPU带来了诸多提升,首先我们进行了微架构升级,以实现进一步的性能提升;第二,为了实现更好的功耗控制,我们为HexagonNPU配备了加速器专用电源;我们还集成了升级的微切片推理技术,这一技术在第二代骁龙8上率先推出,我们在第三代骁龙8上做了进一步的升级,能够在垂直深度上对算子做融合,更加充分地利用骁龙平台的硬件算力。此外,我们还引入更大的带宽进入张量加速器,并实现了更高的主频。总体来讲,高通HexagonNPU在设计上聚焦两点:极致峰值性能、以及针对生成式AI进行专门的软硬件优化。

接下来我想为大家介绍我们如何充分利用高通AI引擎的异构计算能力,实现虚拟化身AI助手这一用例。首先,高通AI引擎的传感器中枢能够运行ASR模块,负责将用户的语音信号转化成文本信号。然后,大语言模型再基于ASR的文本输入生成文本回复,这部分工作负载可以跑在具备高算力的NPU上。之后,大模型输出的文本回复可以对接到跑在CPU上的TTS模块,转化成语音信号。同时为了让虚拟化身实现实时交互,还需要同步在GPU上进行图形渲染等操作。这些复杂的工作负载充分释放了异构计算系统中各个处理器的能力,通过共同协作为消费者打造了出色的用户体验。

除了提供领先的AI硬件之外,高通还提供了跨操作系统、跨终端的灵活可扩展的高通ai软件栈(QualcommAIStack)。高通AI软件栈目前支持所有主流的AI框架,同时提供对高通和第三方runtime的支持。此外,高通AI软件栈也为合作伙伴和开发者提供了非常丰富的加速工具库,其中包括编译器、分析器、调试器等,让他们能够在骁龙平台上更加高效和灵活地进行模型开发、优化和部署。

高通AI软件栈支持我们几乎所有产品线的丰富产品组合,这意味着在骁龙平台上的模型优化工作可以非常方便地扩展到其他类型的终端产品上。除了硬件软件之外,高通也搭建了强大的AI生态系统,目前已经支持广泛的海内外终端侧生成式AI模型,其中包括图像模型、语言模型、甚至多模态模型。

作为终端侧AI的引领者,骁龙平台已经成为终端侧AI的首选合作平台。高通公司有着超过15年的AI研发投入,我们为行业提供领先的软硬件解决方案,包括前面介绍的全面灵活的软件工具。凭借我们领先的解决方案,高通已经跨不同产品线,赋能数十亿台终端设备。我们也将能力开放给生态合作伙伴,让他们能够在骁龙平台上更加高效、便捷地打造AI应用和进行模型优化。

第三代骁龙8已经赋能了诸多的当前旗舰智能手机和用例。目前众多主流手机品牌的旗舰产品已经为消费者打造了丰富的生成式AI用例,以赋能娱乐、创作和生产力等体验,包括AI照片编辑、照片生成、以及实时翻译转译、写作助手等。同时,骁龙X系列PC平台也已经赋能了诸多的Windows11 AIPC产品。就在今天,我们还正式宣布了中国移动终端公司、小米、当红齐天和高通四方携手,打造了国内首款基于Xiaomi 14 Pro、应用于XR领域的5G Advanced(5G-A)高频万兆测试平台,并率先将其应用于当红齐天的多并发、大空间XR竞技游戏业务。

最后,我想从SoC这个角度展望一下终端侧生成式AI的未来演进趋势。2023年,终端侧支持的生成式AI模型基本都是基于单一模态,比如文生文、文生图或者图生图。今年大家可以看到,我们已经支持多模态的生成式AI模型在终端侧离线运行。未来,多模态模型会更多地和用户的终端侧个人信息相结合,为用户提供更加情境化、实时化和个性化的服务。基于这些更加强大的多模态模型所演化出的具身智能,在未来也非常有可能完整的在终端侧运行。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
鱼鳞病治疗医院

张建疗法,专注鱼鳞病治疗,全国共有十二家科室治疗鱼鳞病,且获得中美双专利的鱼鳞病治疗方法,安全、有效的为您提供鱼鳞皮肤病治疗与皮肤恢复的服务。

可乐鸡翅的做法大全

豆果美食可乐鸡翅栏目为您推荐可乐鸡翅做法大全,可乐鸡翅怎么做好吃技巧分享,可乐鸡翅最正宗的做法和可乐鸡翅家常做法推荐,更多可乐鸡翅的简单做法就来豆果美食。

ip段网站查询

查询指定ip段上的网站

晒架

【介绍】恒申科技专业生产塑料日用品-20年厂家【电话】0576-88598865【产品】✅晒架✅衣夹✅衣夹篮✅晾衣绳✅晾衣器✅刷子✅卫生鞋✅汽车日用品

家用小型电梯

家用电梯,家用电梯品牌,别墅电梯尺寸规格

佛山市信合东包装材料有限公司

佛山市信合东包装材料有限公司成立于2021年,伴随着中国经济走进高质量、高效率增长的时代,公司致力于为客户提供一体化的包装解决方案、全面的包装产品,服务于不同行业的各类客户企业。

腾讯地图代理商

腾讯地图服务商业服务版本授权,地图标注SDK开发,腾讯地图服务商对接各种需要使用腾讯地图免费服务联系我们wx:qcloud0755

中医养生馆加盟连锁网

中国十大中医理疗养生馆加盟连锁品牌网,提供中医艾灸养生馆连锁加盟项目,足疗养生馆加盟项目,足浴保健养生会所加盟连锁,有中高低档的中医养生spa美容馆加盟项目,加盟热线15902088613

上海全瑞尼网络科技有限公司

上海全瑞尼网络科技有限公司www.quanruinikeji.com经营范围含:羽绒、半导体材料、面料、搪瓷生产加工机械、摄影器材、陶瓷、物业、男装、家居家纺、禽蛋(依法须经批准的项目,经相关部门批准后方可开展经营活动)。

中企泽远是专注

中企泽远资产评估公司是国家财政部授权的评估机构,国家评估协会会员单位,全国36个城市设有分支机构。公司秉承着道德,职业,信仰三位一体的原则,全方位打造企业文化,提倡主动服务于客户,做企业综合服务的领导者!

思知

思知是新一代的AI认知智能知识助手,通过自主研发的人工智能技术,对互联网数据进行学习,对知识进行思考与理解,拥有先进的语义感知与理解能力。有问题找思知,知识获取如此轻松。

西门子贴片机

托普科实业专注为电子制造商提供:锡膏印刷机,3DSPI锡膏厚度测试仪,3DAOI自动光学检测仪,二手现货贴片机租赁出售,西门子多功能贴片机,松下贴片机,SMT高速贴片机,真空回流焊,波峰焊,半导体封装设备解决方案,MES生产制造管理系统等SMT一站式整体解决方案服务。

全局底部横幅