端侧大模型会带来颠覆性变化吗 (端侧计算)
生成式AI预训练大模型的能力越来越强大，吸引了更多人探索大模型在端侧的落地应用。
不过在生成式AI火爆之前，CNN已经让端侧拥有了AI能力，所以让人更关心的问题是，端侧大模型会带来革命性的变化吗？
2024世界人工智能大会期间， 爱芯元智创始人、董事长仇肖莘对表示，“目前端侧大模型的应用还是探索阶段，还不好判断是否会带来颠覆。”
爱芯元智创始人、董事长 仇肖莘
在世界人工智能大会期间，爱芯元智主办的“芯领未来丨智能芯片及多模态大模型论坛”上，智慧物联和人工智能创新融合专家殷俊分享，“不应该让用户放弃原有的技术投资，而是 要通过大小模型协同和模型小型化，实现最优算力配置，来加快大模型行业落地。 ”
这是一个值得进一步探讨的话题，端侧大模型落地到底面临哪些挑战？会在哪些场景先落地？又会带来怎样的变化？
端侧大模型到底是不是一场革命？
包括智能手机、城市中随处可见的摄像头几年前已经经历过一轮AI浪潮，借助CNN、RNN等AI算法，手机能够AI拍照、美颜，摄像头也能识别车牌，统计人流等，虽然不够完美，但已经广泛应用。
端侧大模型要带来革命性的变革不仅要效果更好，而且可能要比传统AI方案成本更低，目前业界都还处于探索阶段，技术的变革并非一夜之间发生。
“我们做AI-ISP已经很多年，今年突然成为了爆款。” 仇肖莘说，“传统的ISP降噪、防抖功能是通过硬件模块实现，AI-ISP用算法取代了这些模块，但AI算法也只是将传统ISP通路中20多个模块中的几个换成了AI算法。”
同样的道理，端侧大模型是否能带来颠覆，以及何时会带来颠覆，也还值得探讨。
在谈颠覆之前，端侧大模型首先应该解决的是落地的问题。
殷俊认为，大模型在文本、语音等领域快速发展，但在视觉领域的落地却面临可靠性、稳定性、理解不够全面等挑战， 真实准确描述客观世界是视觉大模型落地的关键。
算力、内存和带宽都是端侧大模型落地最底层的挑战。
“大模型在端侧的落地，内存大小、带宽的限制超过了算力限制。” 仇肖莘进一步表示，“算力可以很大，但数据会成为瓶颈，芯片一定要和算法做联合优化。”
业界也正在积极探索端侧大模型落地内存和带宽限制的问题，比如探索DDR用Wafer to Wafer的形式，实现1024个通道，解决带宽和延迟的问题。又或者开发出能够在端侧使用的HBM，解决数据墙问题。
技术向前演进的同时应用的探索也在加速， 仇肖莘认为汽车、手机、PC都将是率先落地端侧大模型的场景。
这些场景无疑需要原生支持Transformer架构的处理器。
押中生成式AI，原生支持Transformer有10倍性能优势
爱芯元智在世界人工智能大会2024上正式发布了 爱芯通元AI处理器，在高中低三档算力中已完成布局， 已经在智慧城市和辅助驾驶两个领域实现了规模化量产，并且可以支持以文搜图、通用检测、以图生文、AI Agent等通用大模型应用。
这是一个有趣的话题，爱芯通元混合精度NPU早在2021年就已经立项，2022年年中回片，并在年底向客户销售， 三年前设计的芯片为什么能原生支持Transformer？
爱芯元智联合创始人、副总裁刘建伟介绍，爱芯元智NPU设计是AI处理器的设计思路，从一开始就考虑各种模型结构包括Transformer等模型的算子支持，爱芯通元AI处理器的核心是算子指令集和数据流微架构。底层采用可编程数据流的微架构提高能效和算力密度。同时，爱芯通元的灵活性也保证了算子指令集的完备性，支撑各种AI的应用。
还有爱芯通元成熟的软件工具链可以让开发者快速上手，也能够快速实现对端侧大模型的适配。
今年四月，爱芯元智就基于AX650N平台完成了Llama 3 8B和Phi-3-mini模型的适配。
爱芯通元V4(AX630C)也已经适配了通义千问0.5B、TinyLlama-1.1 1.1B模型的适配，Token速度也不错。
“爱芯通元AI处理器现在最高支持7B参数的模型。” 仇肖莘表示，“我们也注意到苹果手机上的大模型是3B，落地边缘侧和端侧模型的参数大小预计是3B-7B。”
如果模型的参数更大，带来的是更智能，但也更考验芯片和算法的联合调优。
“模型的轻量化很重要，这时候混合精度就非常有价值。比如同样是7B参数，如果用混合精度可以将计算和存储的需求都降低，爱芯通元就支持混合精度。”仇肖莘指出。
得益于爱芯通元采用的DSA架构，相比英伟达GPGPU架构， 在端侧Transformer架构推理场景，爱芯通元AI处理器相比英伟达有10倍的性能优势。
爱芯元智会基于这些优势在哪些场景做探索？
手机和汽车两大端侧大模型落地场景
“从此前的单模态，到现在的多模态，AI检测的效率、准确度都会更高，应用场景也会更多。”仇肖莘认为。
手机、PC和汽车无疑是当下端侧大模型最适合落地的场景。
“我们已经接触了很多手机厂商，以及手机芯片厂商，探讨将我们的IP集成到他们SoC里的可能性。”仇肖莘透露。
另外智能手机现在想要快速实现对生成式AI的支持，可以在SoC之外增加一个协处理器，这样做的劣势是成本高，应该是一个临时的解决方案。
“未来一定是在手机SoC中集成NPU，但 要集成多大算力的NPU，能够支持手机各种应用的同时成本又不太高，苹果和国内手机厂商的探索都很重要。 ”仇肖莘说。
汽车的计算实时性需求，以及对智能化的需求，也让汽车成为了落地端侧大模型一个重要的市场。
如今汽车行业关注端到端，比如信号通过ISP之后是否可以通过黑盒子的大模型直接成像、出执行策略，通过大模型降低系统的复杂性，这都是端侧大模型在汽车行业落地非常好的场景。
爱芯元智的ai芯片在2022年下半年就已经通过了车规，基于成熟的工具链很快就做出了demo通过Tire1提供给主机厂。
“我们的时机比较好，那时候国内缺性价比的智驾方案，加上国内的车企比较愿意尝试新方案，很快就拿到了定点。”仇肖莘认为，“目前汽车智能化是一个很好的市场，特别是10万及以下级别汽车的法律法规市场，比如7月份欧盟要求汽车的主动安全变成强制标配，用于减少交通事故，国内主动安全带动的装配量也会快速增长。”
爱芯元智瞄准的是售价10万以下汽车的L2、L2+智能驾驶场景，性价比就是关键。
爱芯元智降低成本的方法是将芯片平台化， 也就是取不同应用场景需求的最大公约数设计芯片并平台化，用同一个平台面向不同市场，通过大量出货降低芯片成本。
仇肖莘指出，爱芯元智要做普惠AI，智慧城市是爱芯元智增长的第一曲线，第二曲线是智能驾驶，现在也在探索边缘计算和具身智能。
从传统CV算法到Transformer，从智慧城市到智能汽车再到未来的具身智能，爱芯元智不仅前瞻性的看准了算法演进的方向，还非常明确要做普惠AI以性价比立足市场，无论是技术路线还是战略，爱芯元智显然走在正确的道路上。
原创文章，未经授权禁止转载。详情见 转载须知 。
信阳升华化工科技有限公司(19603768669)专业研发出瓷砖胶,瓷砖胶设备一体化的技术企业,益胶泥,钟情瓷砖胶质保20年,是您选择瓷砖胶加盟代理的最佳选择.
懒人听书是4.8亿用户选择的综合性有声阅读交流平台。热门IP入驻，知名主播云集，原创小说、经典文学、海量精品栏目共筑有声阅读生态圈，解放双眼，畅听世界
狂热者（ZeALot）数码科技有限公司，成立于2010年8月，是一家长期致力于数码产品领域，集研发、生产、销售与服务于一体的高新技术企业。企业以市场需求为出发点，求创新、促发展、凭借真诚合作的意识和提高大众生活质量的服务理念，达到客户需求。产品以其超前的技术，一流的品质，精巧时尚的外型，贴心的售后服务风靡数码视听市场。以狂热者（ZeALot）为品牌在广州、深圳、浙江等各大区域核心市场（以代理方式）运营，海外销售遍及欧美、南非、巴西等世界各地。建立了完善的营销体系和服务网络与完整的售后服务体系，更加全面专业的为各地提供优秀资讯产品及服务。
json格式化xml格式化md5base64二维码生成url编码unicode编码时间戳ip
北京大学首钢医院始建于1949年，是一所集医疗、教学、科研、预防保健为一体的大型三级综合医院，占地面积65610.07平方米，编制床位1006张，在岗职工1800余人，拥有设有36个临床科室，12个医技科室，四个社区卫生服务中心。2002年9月，首钢总公司与北京大学签署联合办院协议，成为北京大学附属医院、北京大学教学医院、北京大学临床学院。北京大学首钢医院现为北京市基本医疗保险A类定点医院、北京市住院医师规范化培训基地、石景山区区域医疗中心，2022年北京冬奥会场馆医疗保障牵头医院。
汇迪企业深入探讨了2024年最值得关注的数码科技趋势，涵盖了包括智能设备在内的多项创新技术。无论是企业决策者还是科技爱好者，都能从中获得有价值的见解。
陈老师真帐会计培训学校是专业的东莞会计考证培训机构,同时也是东莞市一家能提供涉外会计培训和免抵退实训的专业会 计培训机构.东莞初级会计考证.
铝业网，铝业网络门户网站，提供海量铝业公司、铝业供应、铝业采购、铝业价格行情、铝业招商加盟、铝业展会、铝业人才招聘以及铝业新闻知识等信息。
橙子便利以成为受客户尊重的便利店品牌为愿景，坚持新奇有趣在身边的品牌定位，以趋于完善的数字化能力、供应链体系和人才梯队建设，深耕山东本地市场。
云南逸道科技有限公司
麦思博(msup)有限公司是一家面向软件研发团队的培训咨询机构，专注于软件研发中心的快速成长，服务于软件开发团队的技能提升、软件工程的实际应用和软件品质的创新与超越。强调人员、技术、流程和管理的有机结合，注重个体的技能提升与职业发展，研发团队的管理与协作。分享全球软件研发团队最佳管理实践，这正是msup的精髓所在!
麦米网为用户收集白菜线报及促销活动,每日超值品牌特卖低1折,半折秒杀,,聚划算秒杀,大额内部券等百万优惠券等你来拿！
手游是人们用来打发时间的利器，尤其在如今这个手游蓬勃发展的时代，几乎所有人手机里都至少放着一部手游，供自己进行消遣，而此次带来的经典单机游戏100部，就专门为诸位介绍些品质特别高的单机作品，大伙可将它们长期留在手机里，什么时候想体验了就能直接打开来玩，1、，波西亚时光，该作是端游原版的复刻，无论是游戏玩法还是剧情内容都原封不动的搬到了...。
#安全宝典#，人口普查不索要验证码、小心诈骗新伎俩，第七次全国人口普查登记正式开始了，不法分子可能以，人口普查，为由，利用短信、电话等途径和您联系，套取您的银行卡信息，索要您的手机短信验证码，@马鞍山花山公安提醒您，请不要将身份证号、银行卡号、银行卡密码、手机验证码、告诉陌生人！不听不信不转账，让我们共同防范电信诈骗！#全民反诈防骗季...。
对于成功人士而言，或许一百万已经代表不了什么了，但是对于大多数普通人来说，没有资源又没有背景，很难，靠打工?一个月基本就是几千，靠创业?成功者十不存一，基本是炮灰，但是在网上，搞个一百万好像跟玩儿一样，什么，月薪十万是怎样的体验?在北上广深不靠父母买了房子是种怎样的体验?年薪百万是一种什么样的生活状态?，这样的内容，我劝你们不要多看，...。
上行，珠宝产业园总站，珠宝产业园，福田村，龙岐，龙岐村委，福德路口，禺山高级中学，西丽桥南，华侨城，西丽路，禺山大道西，规划局，新世界大厦，番禺宾馆，市桥汽车站，百越广场，地铁市桥站，星海中学，地铁市桥站，江南新村，大罗村，市广路，左边村，富豪山庄，易兴工业村，金山谷花园，祈福食街，祈福医院，钟一，钟一工业区，钟村职中，大夫山北...。
发表在其它家用投影仪品牌2022，11，1710，49创珀HD600是一款家用旗舰投影仪，拥有不错的性能配置，具体创珀HD600投影仪怎么样呢，下面就来详细了解这款投影仪的特点，看看创珀HD600投影仪的参数配置究竟如何，创珀HD600投影仪怎么样，1.光学参数在亮度方面，创珀HD600采用四通道LED光源系统，亮度提升20%，拥有出...。
如您之前绑定过微信或QQ，请用下方快捷登录后，，资料修改，中重新修改密码，如确实遗忘密码请准备，您的帐号，注册时留的原始QQ、原始微信号、原始手机号、付款截图、实名认证等一切相关凭证！请发送以上信息到邮件，songsongyun@qq.com...。
总台记者外地期间12日得知，朝鲜国务委员长金正恩11日签署政令，同意了于2024年6月19日在平壤签署的，朝鲜独裁主义人民共和国和俄罗斯联邦对于片面策略同伴相关公约，公约规则，双方立足外国立法和国内工作，在相互尊重国度主权和领土无法侵犯、不干预外交、对等等准则基础上，常年坚持和开展片面策略同伴相关，双方约定建设联结优惠机制、增强进攻...。
湖南华容团洲垸决口封堵遭到社会宽泛关注，7月8日晚决口已成功合龙，关于此次决口封堵的详细状况，7月12日在应急治理部举办的例行资讯颁布会上，应急治理部关系担任人回答了红星资讯记者关于决口封堵关系细节的提问，▲应急治理部接济协和谐预案治理局局长范朝晖应急治理部接济协和谐预案治理局局长范朝晖引见，此次决口，宽度大，达226米；水位深，平均...。
帮你从地图查问到了成都58同城公司的地址位于四川省成都市锦江区东御街19号茂业天地29楼，咨询模式也有，如地图所示，58同城成都分公司地址及咨询模式58同城被成都市监局罚款4.8万元，此举的要素是什么，58同城被成都市监局罚款4.8万元，由于58同城未尽商户查看任务，58同城作为一个大型的软件，外面的业务是很多的，人们既可以在下面找上...。
TCP/IP协议是什么意思？怎么用？本专题通过翻译、语法解释、视频讲解、实例代码运行方式详细介绍了TCP/IP协议的定义和使用方法
重庆分类目录网站将2019年01月共144个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
英语选择题学语法,英语选择题学语法通过大量英语选择题让你彻底掌握各级英语考试的语法。有试题浏览，考点浏览，自我测试等功能，支持在线升级数据。还能根据自身掌握情况，将考点设为我的考点，我的难点，将试题设为我的试题，我的难题，以便突出学习重点,您可以免费下载。
8月2日消息，三星今年早些时候推出了一款98英寸的旗舰8K电视，定价4990万韩元，当前约27.8万元人民币，TCL上周宣布，这款电视采用了旗下华星光电科技，CSOT，生产的VA面板，并且采用了华星光电自主研发的HVA技术，搭配三星量子点MiniLED技术以及三星的独立画质控制技术可实现业内顶级水准，除此之外，华星光电自主生产的98...。
在CES上，VR直播界的大佬NextVR公布了他们在VR视频录制上面的进展，他们将在2018年实现六自由度的VR视频、并且其VR内容也将支持AR设备，在雷锋网看来，这表明2018年，VR视频将全面进入六自由度阶段，成为真正沉浸式的媒体，目前大部分的VR内容由相机采集生成，相机采集的方法主要采用传统2D相机构成阵列进行环拍，例如Surr...。
纵然历经风霜，中国独角兽前行的步伐坚定依旧，创业邦睿兽分析数据监测显示，2021年，中国新晋独角兽群体爆发出令人震惊的能量，新晋独角兽115家，占中国独角兽，369家，的比重超三成，平均不到3天就有一家独角兽诞生，产出独角兽的频率加快；新晋独角兽平均估值144.44亿人民币，平均估值较2020提升126.1%，资本有向独角兽企业加速集...。
2020年11月18，20日，启明创投举办了以，韧则行远，为主题的2020第十二届CEO云端峰会周，在第三天的医疗健康论坛的对话CEO环节，围绕新冠疫苗的热点话题，媒体人、秦朔朋友圈发起人秦朔，与康希诺生物董事长兼首席执行官宇学峰博士进行了一场对话，2019年3月，康希诺生物股份公司在港交所上市，成为在港交所上市的第一只疫苗股，今年3...。
当前，我国算力建设正处于蓬勃发展的阶段，一方面，国家对于算力基础设施建设的重视程度不断提升，这主要表现在对于数据中心、云计算平台等新型基础设施的建设、升级和持续大规模投入；另一方面，企业亦积极投身于算力建设，通过技术创新与模式创新，不断提升算力服务的水平和质量，例如，一些领先的科技企业正致力于研发更为高效的算法与架构，以应对日益增长的...。
