Diffusion终端侧展示 全球首个运行在Android手机上的Stable (diffuse)
作者：高通技术公司工程技术副总裁侯纪磊，高通技术公司产品管理高级副总裁Ziad Asghar
上图为Stable Diffusion利用文本提示：“穿盔甲超级可爱的毛绒绒猫战士、逼真、4K、超细节、V-Ray渲染、虚幻引擎” 生成的图像
基础模型正在席卷AI行业。基础模型指基于海量数据进行大规模训练的大型神经网络，进而能以高性能表现适应广泛的后续任务。流行的基础模型Stable Diffusion是一个非常出色的从文本到图像的生成式AI模型，能够基于任何文本输入，在数十秒内创作出逼真图像。Stable Diffusion的参数超过10亿，迄今为止主要限于在云端运行。接下来我将介绍高通AI Research如何利用高通AI软件栈（Qualcomm AI Stack）执行全栈AI优化，首次在Android智能手机上部署Stable Diffusion。
通过全栈AI优化，完全在终端侧高效运行Stable Diffusion
高通AI软件栈支持的全栈AI优化
在“AI首创”博客文章中，我们提到过高通AI Research不仅在开展全新AI研究工作，也率先在商用终端上展示概念验证，为在现实世界中的技术规模化应用铺平道路。我们的全栈AI研究指跨应用、神经网络模型、算法、软件和硬件进行优化，并在公司内进行跨部门合作。针对Stable Diffusion，我们从Hugging Face的FP32 1-5版本开源模型入手，通过量化、编译和硬件加速进行优化，使其能在搭载第二代骁龙8移动平台的手机上运行。
为了把模型从FP32压缩为INT8，我们使用了高通AI模型增效工具包(AIMET)的训练后量化。这是基于高通AI Research创造的技术所开发的工具，目前已经集成入新发布的Qualcomm AI Studio中。通过让模型在我们的专用AI硬件上高效运行，并降低内存带宽消耗，量化不仅能够提高性能，还可以降低功耗。自适应舍入(AdaRound)等先进的高通AIMET量化技术能够在更低精度水平保持模型准确性，无需进行重新训练。这些技术能够应用于构成Stable Diffusion的所有组件模型，即基于Transformer的文本编码器、VAE解码器和UNet。这对于让模型适合于在终端上运行至关重要。
高通AI软件栈将最优秀的AI软件产品集合到一个软件包中，帮助OEM厂商和开发者在我们的产品上创建、优化和部署他们的AI应用，充分利用高通AI引擎的性能。
对于编译，我们利用高通AI引擎Direct框架将神经网络映射到能够在目标硬件上高效运行的程序中。高通AI引擎Direct框架基于高通HEXAgon处理器的硬件架构和内存层级进行序列运算，从而提升性能并最小化内存溢出。部分上述增强特性是AI优化研究人员与编译器工程团队共同合作的成果，以此来提升AI推理时的内存管理。高通AI引擎中所做的整体优化能够显著降低runtime的时延和功耗，而这一亟需的趋势也同样存在于Stable Diffusion上。
凭借紧密的软硬件协同设计，集成Hexagon处理器的高通AI引擎能够释放行业领先的边缘侧AI性能。支持微切片推理的最新第二代骁龙8移动平台有能力高效运行像Stable Diffusion这样的大模型，并且下一代骁龙预计还将带来更多提升。此外，由于构成Stable Diffusion的所有组件模型都采用了多头注意力机制，为加速推理而面向transformer模型（如MobileBERT）所做的技术增强发挥了关键作用。
这一全栈优化最终让Stable Diffusion能够在智能手机上运行，在15秒内执行20步推理，生成一张512x512像素的图像。这是在智能手机上最快的推理速度，能媲美云端时延，且用户文本输入完全不受限制。
Qualcomm AI Studio 将我们目前的所有工具整合到一个全新的GUI中，同时还有可视化工具，以简化开发者的使用体验。
上图为Stable Diffusion利用文本提示：“野外河谷和山脉间的日式花园，高细节，数字插图，ArtStation，概念艺术，磨砂，锐聚焦，插图，戏剧性的，落日，炉石，artgerm、greg rutkowski和lphonse mucha的艺术作品”生成的图像
边缘侧AI的时代已经到来
随着AI云端大模型开始转向在边缘终端上运行，高通打造智能网联边缘的愿景正在我们眼前加速实现，几年前还被认为不可能的事情正在成为可能。这很有吸引力，因为通过边缘AI进行终端侧处理具有诸多优势，包括可靠性、时延、隐私、网络带宽使用效率和整体成本。
尽管Stable Diffusion模型看起来过于庞大，但它编码了大量语言和视觉相关知识，几乎可以生成任何能想象到的图片。此外，作为一款基础模型，Stable Diffusion能做的远不止根据文字提示生成图像。基于Stable Diffusion的应用正在不断增加，例如图像编辑、图像修复、风格转换和超分辨率等，将带来切实的影响。能够完全在终端上运行模型而无需连接互联网，将带来无限的可能性。
扩展边缘侧AI
在智能手机上运行Stable Diffusion只是开始。让这一目标得以实现的所有全栈研究和优化都将融入高通AI软件栈。凭借高通的统一技术路线图，我们能够利用单一AI软件栈并进行扩展，以适用于不同的终端和不同的模型。
这意味着为了让Stable Diffusion在手机上高效运行所做的优化也可用于高通技术公司赋能的其他平台，比如笔记本电脑、XR头显和几乎任何其它终端。在云端运行所有AI处理工作成本高昂，因此高效的边缘侧AI处理非常重要。由于输入文本和生成图像始终无需离开终端，边缘侧AI处理能在运行Stable Diffusion（和其它生成式AI模型）时确保用户隐私，这对于使用消费级和企业级应用都有巨大的好处。全新AI软件栈优化还将有助于减少未来在边缘侧运行的下一代基础模型产品的上市时间。这就是我们如何能够实现跨终端和基础模型进行扩展，让边缘侧AI真正无处不在。
在高通，我们在基础研究领域实现突破，并跨终端和行业进行扩展，以赋能智能网联边缘。高通AI Research与公司所有团队通力合作，将最新AI发展成果和技术集成到我们的产品之中，让实验室研究所实现的AI进步能够更快交付，丰富人们的生活。
版权文章，未经授权禁止转载。详情见 转载须知 。
卓易开放平台
长沙亮点云网络科技有限公司
朝闻天下知识产权是朝闻天下集团旗下专业知识产权公司注册平台,提供商标注册,注册公司,商标转让!我们专注为中小企业提供专业,快速的注册商标和公司注册服务!✅
福建日报报业集团主办,福建第一家以对台传播为特色的综合性新闻网站，突出对台传播特色，搭建海峡两岸交流良性互动平台！全力打造两岸新闻资讯门户、厦门生活资讯门户！总部设在厦门，由海峡在线传媒（厦门）有限公司负责运营。
海默克精密机械（昆山）有限公司成立于2017年，专注于六角冲棒，梅花冲棒梅花冲头，走心机冲头等冲头的生产加工及销售，主要针对各大走心机、冷镦机的使用。
偶久网是老牌魔兽地图下载站，每天提供最新魔兽地图、魔兽破解地图、魔兽无CD地图、魔兽辅助工具、魔兽攻略秘籍、魔兽地图专题等，网站深受广大魔兽地图爱好者的喜爱。
深圳市威仕博机械设备有限公司_深圳市威仕博机械设备有限公司成立于2011年，是一家专注于非开挖水平定向钻机的设计、研发、生产、销售及售后服务于一体的专业厂商
无影照明工程设计智造
请大家共同维护、打造好咱们消防人的专属平台。
青岛帝禾农业生物科技有限公司,帝禾农业,青岛肥料公司,青岛肥料厂
欢迎来到双鹏！
厦门科彩遮阳设备有限公司成立于2006年，矗立在美丽的海上花园城市—厦门。目前为中国遮阳专家---双成遮阳以及国内高端户外用品品牌---南京晴天户外用品的厦门地区总代理，公司现与世界知名品牌满天路、WEINOR友好合作。
你的心中有致富的梦想吗，你想拥有一辈子都花不完的钱吗，如果你也有这样的想法，可以通过自己的努力去实现，酒店行业在市场上呈现出如火如荼的发展现状，麗枫酒店是行业中大名鼎鼎的品牌，在市场上拥有稳定的客源，而且，其中收效空间相当之大，是很不错的创业项目，值得创业者的信赖，接下来和小编一起来了解麗枫的床上用品质量如何，麗枫的床上用品质量如何麗...。
今天，Fintech行业又有哪些不可错过的大事发生，雷锋网AI金融评论栏目，Fintech，晚报将为你搜罗业界最新资讯！多部门联合打击网络黑色产业链已发现代币、虚拟币类传销平台超3000多家据央视财经报道，公安部、最高人民检察院、最高人民法院、工信部、中国人民银行等部门和相关企业14日举行的2018年守护者计划大会上，表示将采取联合治...。
2020年1月1日，新年伊始，阿里对IoT领域的战略部署进行了一次不大不小的调整，时隔三年后，升级为独立事业部的天猫精灵，将以怎样的姿态存在，经历了补贴大战，生态之争后，智能音箱在2020年又将走向何处，2017年7月5日，阿里人工智能实验室，AILabs，发布首款智能音箱天猫精灵X1，这是天猫精灵首次对外亮相，是阿里人工智能实验室首...。
据国度统计局信息，上半年，在以习近平同志为外围的党中央坚强指导下，各地域各部门仔细贯彻落实党中央、国务院决策部署，坚持稳中求进、以进促稳、先立后破，有效落实各项微观政策，国民经济运转总体颠簸，稳中有进，消费稳固增长，需求继续复原，务工物价总体稳固，居民支出继续参与，新动能放慢生长，高品质开展取得新停顿，初步核算，上半年国际消费总值61...。
1、14年出世的属马，2、生肖年份，是以节气来划分的，即从立春节气始，到下一年的立春节气为止，2014年立春节气，即2014年2月4日6时3分，之后，到2015年立春节气，即2015年2月4日11时59分，之前出世的宝宝属马，2014年是什么生肖年你好，答案是马属马人们精神充沛，但耐心莽撞，属马人们最大好处是自信念强，待人和气，有代理...。
捷达汽车领有多种车型，其中包含捷达VS5、捷达VS7、捷达VA3等，以2022款捷达VS5智能荣耀型Pro为例，其进气方式为涡轮增压，最大马力为150ps，最大扭矩为250nm，搭载6挡手自一体变速箱，车身类型为5门5座SUV，该车的尺寸为4419mm，长，、1841mm，宽，、1616mm，高，，轴距为2630mm，驱动方式为前置前...。
不容易，2013款出口新胜达3.0装备2.0TGDI缸内直喷涡轮增压发起机，为整车提供源源始终的澎湃能源和可张可驰的操控性能，是一款设计先进、性能稳固的发起机，驳回了缸内直喷涡轮增压技术，具备较高的燃油经济性和能源输入，发起机通过了严厉的测试和提升，具备较高的长久性和牢靠性，现代新胜达2013款2.4四驱电子手刹线拆掉可以跑不，现代新...。
丰田是一家日本汽车制作商，同时也是环球供应商之一，在其整个生涯中，丰田消费和开售了多种吉普车型号，以满足不同的车辆需求，以下是丰田吉普车的几个关键系列，1.普拉多，Prado，丰田普拉多是丰田汽车的中型SUV，第一代于1984年推出，该车型在环球范围内发行，因其出色的越野性能和长久性而遭到赞誉，普拉多目前已推出五代，并装备了多种引擎和...。
中华人民共和国主席习近平依据全国人民代表大会常务委员会的选择任免下列驻外大使，一、免去陈晓东的中华人民共和国驻南非共和国特命全权大使职务；任命吴鹏为中华人民共和国驻南非共和国特命全权大使，二、免去姜再冬的中华人民共和国驻老挝人民独裁共和国特命全权大使职务；任命方虹，女，为中华人民共和国驻老挝人民独裁共和国特命全权大使，三、免去王文天的...。
也门外地期间7月2日晚，也门胡塞武装发言人叶海亚·萨雷亚宣布讲话称，胡塞武装同伊拉克民兵武装，伊斯兰抵制组织，协作，对以色列海法的关键指标采取了联结军事执行，经常使用导弹袭击了指标，△也门胡塞武装发言人叶海亚·萨雷亚，资料图，萨雷亚还示意，胡塞武装将继续同伊拉克，伊斯兰抵制组织，协作，展开关系军事执行，允许巴勒斯坦民众，直到针对巴勒斯...。
两三年前的桐桐，头部曾经长满了鸡蛋大小的肿瘤，本文图均为受访者供图往年曾经5岁的桐桐，化名，，在出世6个月时，就和其余孩子不太一样，他少动，胳膊和腿都伸不直，不像别的孩子那么生动，看着桐桐有些意外，母亲邢麦，化名，带着孩子去审核，但是在云南昆明跑遍了大小医院，也没查出病因，只是在医院里做了半年的痊愈训练，但怎样也不见好，再长大一些，桐...。
电脑杀毒软件较好的，360安捍卫士、金山毒霸、腾讯电脑管家、卡巴斯基、火绒等，1、360安捍卫士，发行，2018年11月金山软件旗下安所有门与可牛兼并后由兼并的新公司金山网络全权治理，3、腾讯电脑管家，腾讯公司推出的收费安保软件腾讯管家品牌是腾讯推出的收费安保治理软件，领有云查杀木马，系统减速，破绽修复，实时防护，网速包全，电脑诊所，...。
被举报，荆州盛网公司，与盛大集团荆州分支的关联仍待查明，盛大方面表示不方便回答相关问题，网游巨头陈天桥与其旧部之间的知识产权之争进入，新一季，日前取保候审的范志勇、钱明骏、贾育新三名离职的原盛大管理人员发动一场，反诉，行动，举报盛大集团董事长陈天桥，以及荆州市盛网网络科技有限公司的前后两任法定代表人，称他们在，打私服，中涉嫌非法经营...。
便利店作为日常人们生活中不能够缺少的一种店面，自然也有很多创业者对于这里的发展是比较感兴趣的，可是创业并不是一个简单的事情，需要投入相关的资金和精力，因此选择一个真正具有实力的品牌就十分的重要了，相信大家对于一度便利店品牌有一定的认识吧，经常在大家想象中都能够看得到该品牌，那么对于品牌如果有加盟的想法就应该要知道一度便利店怎么加盟，1...。
7月9日，全球人工智能与机器人峰会，CCF，GAIR，在深圳举办，商汤科技执行研发总监林倞出席峰会CV，专场，并发表题为，深度驱动的人工智能，从学术创新到产业落地，的演讲，林倞在演讲中表示，深度学习将带来将各项人工智能技术的突破，新一轮的科技革命蓄势待发，而商汤科技希望通过原创技术，用AI推动产业升级，图，商汤科技执行研发总监林倞同时...。
当地时间2021年1月11日，CES2021，国际消费类电子产品展，InternationalConsumerElectronicsShow2021，拉开帷幕，CES2021采取，全数字化，方式进行呈现，所有线下活动取消，转至线上，这对于自1967年开始举办的CES来说还是头一回，犹记得CES2020吸引了超过4500家参展厂商，参展...。
特许加盟恐怕是当今商业界流行的词语了，开展特许加盟业务的公司也遍布各个行业的各个角落，那么，什么是特许加盟呢，特许加盟是利用自己的品牌、专有技术、经营管理模式等与他人的资本相结合来扩大经营规模的一种商业模式，特许加盟对特许人来说，是技术和品牌价值的扩张，经营模式的克隆而不是资本的扩张，特许加盟是一种双赢的商业模式，只有使特许人获得比他...。
