IEEE Fellow 张磊 普及大模型 手机端的创新很关键 (ieeefellow)
2022年底以来，以ChatGPT为代表的大模型集中爆发，实现了从无到有，从0到1的跨越。
而经过近一年的发展，算力资源吃紧，成本居高不下，数据隐私泄露等问题导致行业开始迷茫，大模型接下来从1到10甚至到100的规模化部署似乎还很遥远。
各家普遍认识到，AI要想走进千家万户，就不能仅仅是一个停留在网页里面的助手，而应拥有改变现实世界的四肢。
这个四肢，便是众多厂商都在纷纷发力的端侧AI。（关于端侧AI的进展与观察，欢迎添加本文作者郭思微信：lionceau2046， 互通有无。）
5月份，Google推出了可以在旗舰手机上离线运行的PaLM2 轻量版Gecko，高通则在6月发布了《混合AI是AI的未来》白皮书；备受瞩目的meta Llama 2可通过陈天奇MLC-LLM在本地进行部署。
针对这一现象，2023年9月，AI科技评论与香港理工大学讲座教授、IEEE Fellow 张磊展开了一场对话。
在张磊看来， ChatGPT出现之后大语言模型还会继续快速发展，通用大模型的发展更多取决于多模态的对齐研究；但大模型在端侧芯片上的运行有极大挑战，终端侧的创新可能会成为未来生成式AI能否成功普及的关键。
2006年，张磊入职香港理工大学担任助理教授，17年成为该校的讲座教授直至如今。学术研究上，张磊长期致力于计算机视觉、图像处理、模式识别等方向的研究，是底层视觉方面的国际权威学者。他同时担任着IEEE Trans. on Image Processing (TIP)的高级编委，IEEE Trans. on Pattern Analysis and Machine IntelliGence (TPAMI)、SIAM Journal of Imaging Sciences等多个国际期刊的编委。从2015年至2023年，张磊连续被评为 Clarivate Analytics Highly Cited Researcher （全球高引用学者，论文在学科领域引用量排名前1%）。
2018年，张磊投身产业界，加入达摩院（P11），2021年底他离开达摩院。其后加入OPPO研究院，致力于以AI算法加持影像，打造更极致的手机拍照体验。
他经历了15、16年人工智能发展浪潮，是众多投身于工业界的人工智能学者之一，也是同时感受到2022年底大模型火爆与消费电子寒冬两波浪潮的科学家，对于大模型的落地有着自己的思考。
以下是张磊和 AI 科技评论的对话实录，含其主要观点，经 AI 科技评论节选整理如下：
AI+影像是高端手机竞争的热点
AI 科技评论：您的研究主要是底层视觉相关吗？
计算机视觉可以简单划分为上层视觉、中层视觉和底层视觉。
上层视觉是关于「看明白」的事情，包括物体检测、图像识别、图像理解等等；中层视觉是将输入图像转换成中等抽象的表示，用以判断每个像素或区域的属性，包括图像分割、深度图估计等；而底层视觉则更多是关于「看清楚」的事情，包括图像超分、去噪、去模糊、去雾、去雨、暗光增强等。
用个浅显的例子便是，如果有一张狗的图片，将一张模糊的狗的图片细节变得更加清晰的过程是底层视觉，而识别图片里面有一只狗这件事情是上层视觉，将狗和背景区域分割开来则是中层视觉。
我本人在底层视觉的研究时间最长，但其实目前我团队的研究不限于底层视觉，涵盖了中层以及上层视觉的内容，也包含一些神经网络优化算法的基础研究。
AI 科技评论：深度学习的浪潮对您产生了哪些具体的影响？
：前期我的研究方向较多关注在底层视觉，相对而言，深度学习冲击底层视觉的时间比上层视觉本来就慢了几年。2014年，深度学习图像超分辨率开山之作SRCNN刚刚被提出，但并没有体现出比传统算法太多的优势。
另一方面，由于我所带领的团队在以稀疏表示、低帙表达等技术做图像复原方面达到一个较高的水准，我当时并不认为深度学习会超越这些方法。2014年，我的博士生顾舒航在国际计算机视觉和模式识别大会（CVPR 2014）上发表的加权核范数最小化（WNNM）的方法，将传统去噪算法的效果推进到了一个新高度，成为传统非深度学习算法的一个标杆，这让我对更加坚定了自己的看法，觉得至少在底层视觉领域，或许我们可以和深度学习抗衡。但后面，我的态度发生了转变。
AI 科技评论：什么事情使您改变了对深度学习的看法？
对于深度学习， 我经历了从被动接受到主动拥抱的过程。我此前用的方法比如稀疏表示和低帙表达等，都具备一些理论上完备的框架，也比较符合我的思维习惯，很长一段时间里我认为深度学习在做分类、检测等方面，确实很有效，但不一定能冲击底层视觉，但事实证明我错了。
16年，我的博士生张凯，十分兴奋地跑过来和我说：张老师，我用残差网络做了图像去噪，比WNNM还要好很多。我有点吃惊，说实话，当时有些难以接受。
后来我进行了反思，在深度学习的时代，确实研究的方法和形式和以往发生了深刻的变化，不管你是否情愿。就深度学习的研究而言，年轻人更有优势，他们没有过多条条框框，敢想、敢做，很多我认为不可思议的事情都发生了。我们这一代，虽然还没有成为过去式，但应该多向年轻人学习，很多时候，学生是我们的老师，他们更有创意。
AI 科技评论：当时候发布的Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising是不是与此相关？
：张凯的那个工作就是后来发表的“Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising”（DnCNN），目前被引用6700多次，在底层视觉领域算是很高的。这个工作证明了residual learning（残差学习）和batch normalization（批量归一化）在图像复原中相辅相成的作用，可以在较深的网络的条件下，带来快的收敛和好的性能。
虽然DnCNN主要是探讨高斯去噪问题，用单模型应对不同强度的高斯噪声；但其也可以用单模型应对超分辨率、JPEG去块效应等其它底层视觉问题，是一个较为通用的框架。
这算是我团队第一篇真正意义上关于深度学习的文章。
AI 科技评论:在现在手机的高端化之争中，折叠屏与影像功能已经成为两大破局点，您觉得AI加持影像功能，是否会成为智能手机下一个技术爆发点？
：AI 拍照功能，其实在五六年之前就已经在部分手机使用了，现在已经十分普及。但用 AI 来辅助手机拍照，依然存在很多解决不了的场景，尤其是在一些极端情况下。
在端侧用生成式模型来解决拍照的问题，其实是我个人的一个目标，现在还处于一个初级阶段。什么时候能够做成功不敢说，但在拍照这个具体的方向里面，这肯定是 AI 加持手机的一个重要爆点。
AI 科技评论:生成式模型拍照和普通的拍照带给用户最直观的区别是什么？
：生成式模型拍照和普通拍照一个比较大的区别，在于我们现在的普通拍照方式，有很多场景还是会拍糊，比如光线很暗的时候，背光的时候，有物体运动的时候，或者距离较远，我们还是会出现画质不清的情况，为了得到一张效果理想的照片，我们可能会需要进行大量的后期处理。
但是这样的处理方式有一个上限，有些问题可能还是无法完全解决。但是生成式模型通过大数据学习获取到了强大的高质量自然图像的先验，可以去拿来去补足这些缺陷。所以我个人感觉用生成式模型辅助拍照，可能会对拍照的画质以及适用泛化性，都有很大的提升。
泛化性可以理解为，无论在什么条件下，我们都能拍出一张很好的照片。简而言之，我觉得生成式AI是有这个潜力的，但能不能做得出来的话，那就考验包括我在内的很多同行的努力了。
跨学科研究对 AGI 至关重要
AI 科技评论：您以香港理工大学讲座教授的身份跨入业界，以学术研究和工业界两种视角来看待AI的发展，有哪些异同？
：16 年之后有好多高校的教授到工业界发展，后来也回来了很多，这种现象其实能够反映很多的问题。
以前在学术界做论文、做研究其实挺舒服的，去工业界未必会能够带来多大的收益。16 年深度学习火了以后，在计算机视觉，包括最近在自然语言处理方面，都带来了非常显著的效果，比其他的方法要明显很多，不是一个量级，所以这波浪潮就给了高校的很多教授一个信心进入工业界。我 18 年去阿里达摩院，也是受到这波浪潮的影响。
但是投入工业界不代表一定能取得成功，高校有明确的定位，属于偏纯研究性质的机构，是以产生新知识为导向，但工业界是需要解决实际问题，产生生产力并带来实际价值的。如果踏入工业界是想在工业界的研究院里边继续做高校发论文的事情，这个心态就很容易出问题。
有意思的是在 AI 发展到大模型的时代，往往主导的都不是高校，而是一些工业界头部厂商的研究机构。工业界它又有资源又有人才，并且这些人才不比学术界里面的差，这对于高校老师来说其实也是一件很有危机感的事情。
我对学术研究有极大的兴趣，绝对不会放弃这件事情，而同时跨界在工业界，我有一个强烈的愿望，自己做了这么多年的底层视觉，要能够将科研成果在实际场景里去使用。这对我是一个很大的挑战，也是我的使命，这可能也是我们这批人共同的想法，只是每个人的实施路径不一样。
AI 科技评论: 产业现在出现了百模大战，您如何评价这个现象？
：大模型火爆至今，行业内出现了百模大战， 投融资消息也层出不穷。表面上好像是很多投资的钱被烧掉了，但我觉得这些投资人和投资机构其实很伟大，虽然自己暂时耗掉了一些财富，但为整个人类科技的发展做出了很大贡献，让大家看到了AI技术发展带来的巨大威力。即使Open AI不挣钱哪怕最后倒闭了，它对整个科技史做出的巨大贡献也会永载史册。
AI 科技评论：通用视觉大模型是共识，您怎样看待这个趋势？
：简单来讲就把语言跟视觉信息，甚至其它模态的信息，都对齐融合了。我觉得这个路肯定还是要走一段时间，不会那么快就彻底解决。
视觉大模型相对于大语言模型，稍微复杂一些。但是目前分割大模型，比如SAM，也已经是做得很不错了，至少给大家看到在特定的视觉任务里，能够把很多不同的子任务统一到一个模型里，做到通用。在图像生成方面，Midjourney和Stable diffusion都给了人很惊艳的效果，大大促进了整个行业的发展。但是他们的可控性、稳定性各个方面其实还是改进的空间，需要不断的去往前迭代，当然这其实也涉及一个多模态发展配齐的问题。(本文作者：郭思，微信lionceau2046，长期关注大模型行业动态，欢迎交个朋友、互通有无。)
AI 科技评论：怎么理解多模态发展对齐？
：其实一个人从小到大的成长过程里面，一直都是多模态地感知这个世界的，但凡你缺少任何一个感知器官，比如说如果你看不见，那你肯定无法很好地理解这个世界，听不见也是一样的。
少一个维度，对于很多事情我们都无法做到完整的理解。现在大模型的发展，语言跟视觉是两个最关键、最核心的模态。但是也不排除有其它一些模态的结合，包括触觉和嗅觉信息等维度。即使是语言和视觉本身，都可以细分出很多子模态需要对齐，提升感知和理解能力。
只有等这些维度都能够互相之间去对齐融合，才能有更大的可能性。
就比如人脑，肯定也是在做类似的事情，你接受信息的模态越多，并都能对齐拉通的时候，你对于整个世界的理解才能更全面，这是一个很自然的事情。
但至于这个人的大脑机制到底是怎么运转的，就需要很多的生物学家以及心理学家去进行研究，这些跨学科的研究对于AI的发展肯定是大有益处的，但进展可能就没有那么快了。
端侧 AI 是大势所趋
AI科技评论：2022年是消费电子的寒冬期，如今似乎也没有好转，大模型时代，您认为手机厂商会往哪个方向发展？
因为全球经济形势的关系，手机销量下滑，并且低谷可能还需要几年时间才能过去，但这并不是代表着说大家不用手机了，只是换机的时候要多考虑考虑腰包的问题。AI在手机拍照里应用已经五六年了，目前大模型来了以后，在手机里进行落地应用，也是一个必然的趋势。
AI科技评论：能否聊聊您所看到的端侧AI的进展？
学术界的研究显示Stable Diffusion这种文生图的大模型在高通的平台上，5-8 秒左右可以生成一个 512 * 512的图片。但其实已经有论文验证在苹果的芯片上 2 秒就完成了，因为苹果是自研芯片，内存比较大。最近又有论文，把生成式模型的多阶段采样蒸馏为一步完成，势必又可以加大不少生成模型端侧落地的可行性。我长期接触手机拍照的研发，发现一个学术界经常忽略的问题，再强大的算法如果遇到功耗的瓶颈，也会巧妇难为无米之炊，大模型在端侧落地最大的挑战还是在于功耗的把控。
AI科技评论：除此之外， 端侧AI落地还有哪样的难点？
：我们拿大语言模型（LLM）做例子，LLM通常包含数十亿或数百亿的参数，其输入的序列长度是动态变化的，在端侧我们往往只能用CPU或GPU来优化，但CPU或GPU功耗相对较高。如果我们想使用功耗低很多的NPU来优化，往往只能固定序列长度，这就会导致模型效果的损失。因此，目前只能在功耗和效果之间做痛苦的权衡。
同时，这些模型在运行时需要大量的内存来存储模型参数和临时数据，而手机芯片通常具有有限的内存资源。而一旦涉及芯片硬件平台的升级，周期就会变得漫长，随随便便就得一两年。这也成为了大模型在手机端运行的一个卡点。
AI科技评论：您觉得未来端侧AI会呈现哪样的发展态势？
：我觉得可能会有两条线。一个就是纯端侧，数据不出手机。如果是这个方向，就需要考虑对于芯片和算法的诉求是什么，估计可能几年之内就有产品出来，说不定比我想的还要快。第二，现在很多互联网厂包括终端厂商，特别强调端云协同，发挥云端的算力，同时端侧也可以做一些相应的事情，将安全性风险降到最低，协同效应达到大化。
AI科技评论：您怎样看待一体机的发展？
：我对于一体机没多大感知，但是对于家庭用机器人这种产品形态很看好。
中国人特别重视子女教育，同时老龄化问题又那么严重，这是一个值得去思考的问题。家用机器人一旦有很强的通用AI能力，就可以解决一些小孩的教育以及老人的陪护问题，成本也可以做得很低。
用户在家里如果有各种问题，可以用语音或其它方式与机器人交互，每个家庭都可以拥有一台甚至多台机器人，做为在家里可以移动的助手。这个事情一定会在将来的某个时刻发生，成本也可以做得很低，用户几千块钱就可以拥有，和手机价格差不多。当然你不要让这种机器人去做一些炒菜搬运的工作，更多的是充当智能助手和陪伴的角色。
原创文章，未经授权禁止转载。详情见 转载须知 。
中钢国检-第三方工程检测公司，业务范围：桥梁检测,隧道检测,道路检测,钢结构检测,风电检测,地基基础检测。拥有CMA/CNAS/ILAC等检测证书，您值得信赖！
海联集团倾力打造的海联云客里O2O装饰商城，为您提供装饰建材、地板橱柜、灯具卫浴、门业锁具、五金家电、家装生活馆，海联云客里是您一站式家装生活的好帮手。
中国花生信息网-花生网为您提供花生、花生米、花生果、花生油价格以及后期行情走势分析
公司成立于2005年，专业研究、开发、生产矿用系列自救器、正压氧气呼吸器、消防空气呼吸器等安全救护装备。产品广泛应用于消防、煤矿、治金、隧道、石化、天然气、宾馆、酒店、高原的作业场所缺氧和瓦斯、煤尘突出、爆炸以及火灾事故的个体防护与日常检测。
小不萌模版大全提供：简历模版,PPT答辩模版,模版大全,,个人简历模版下载,模版电子版下载.毕业PPT模版下载，论文查重，免费论文查重，ai降重服务！
翰胜金属制品专业研发制造液冷板,散热片,大功率液冷板,摩擦搅拌焊液冷板,大功率散热器,热管散热系统,铆合散热片,铝挤型大功率散热片,特种液冷板,真空钎焊液冷板,铲齿散热片,压铸散热片,锻造散热片,板载散热片,壳体及面板方案,冲压件,机加工件,一站式散热解决方案伙伴!东莞市翰胜金属制品有限公司0769-81619568
深圳市亿控电子创立于2009年初，主要为电子核心元件代理业务，凭着诚信经营，拼搏开拓的精神，陆续取得了国内外电子元器件品牌的代理授权。
“天下果业开发有限公司”是一家集种植基地、生产加工、物流贮运、商贸配送、及科技研发于一体的独资企业。主要从事湘西椪柑、板栗、猕猴桃等湘西特优绿色产品的种植、销售、精深加工。总投资6810万元，占地210亩，建成深加工车间11000平方米。在四星级绿色饭店天下凤凰大酒店设有办事处。
武汉代理工商注册公司快网,代办武汉公司注册找惟信德！不需要多少钱,教企业如何按新工商政策准备资料,怎么起名,达到登记条件,提供变更地址,增资,税务服务。
乐码王国专注于中国青少儿STEAM教育，让科学、编程成为阅读、表达、数学一样的一种基础能力，形成以不插电编程、创意编程启蒙、人工智能编程、信息学奥赛编程等课程为核心的STEAM教育体系。为我国培养人工智能时代中领先世界、跨学科、具备国际视野的未来人才。
尚宝罗江苏节能科技股份有限公司是专业从事泵类产品及给排水设备生产经营的企业，具有丰富的生产经验和良好的市场信誉。具备承接各类造纸、制糖、钢铁、冶金、环保、电力、制药、印染、化工、市政工程泵类产品配套生产和安装能力。
湖北仪天成电力设备有限公司致力于自主研发及生产变频串联谐振,微机继电保护测试仪,直流电阻测试仪,互感器测试仪,电缆故障测试仪,氧化锌避雷器测试仪,变压器检测仪,高压开关测试仪等电力测试设备及智能仪器仪表,以及为广大电力企业、科研机构等提供电力测试解决方案,并提供完善的售后服务的高新技术企业。
房产中介加盟的好还是自己开好呢，小编强烈建议您选择靠谱的品牌去加盟，若您自己贸然开个品牌，非但有繁琐的流程手续和行政证件需要办理，而且还有可能造成打不开市场局面而关门大吉的情况发生，加盟靠谱中介不止有品牌照拂，还有引流服务，通过网站的引流，让您直接与高意向客户互动，成单的机会也大大增加了，面积越大，房价越高，中介能赚取的佣金自然更多，...。
因为一群戏精，抖音和腾讯又险些杠上了，正值世界博物馆日，抖音联合中国国家博物馆等七大博物馆，推出一名为，第一届文物戏精大赛，的H5，旨在将各大国宝用抖音上的流行玩法来演绎，但很快有用户发现，该H5一度被朋友圈屏蔽而无法打开，直至14点左右才恢复，在接受钛媒体的采访中，抖音负责人表达了深深的遗憾，称不知为何遭到封杀，而微信方面则表示，称...。
近日获悉，国际信息技术研究和分析机构Gartner®发布，MarketShare，AllSoftwareMarkets，Worldwide，2023，报告，报告显示，2023年，在CPaaS领域，腾讯市场收入稳居亚太第一、中国第一，达5.59亿美元，同时增速位列全球第一，达到21.8%，近些年，随着信息通信技术的高质量发展，CPaaS...。
雷锋网AI科技评论按，12月上旬，NeurIPS2018在加拿大蒙特利尔会展中心，PalaisdesCongrèsdeMontréal，成功举办，雷锋网对此进行了报道，今年的会议在主题活动、投稿论文数量和参会人数上，相比往年都上了一个新台阶，NeurIPS2018吸引了近九千人参加，最终1010篇论文被接收，其中，有四篇论文被评为最佳...。
据美联社7月14日报道，美国联邦考查局，FBI，14日清晨示意，特朗普遭袭事情的枪手是来自宾夕法尼亚州的20岁女子托马斯·马修·克鲁克斯，ThomasMatthewCrooks，该机构示意考查仍在启动中，其发言人称枪手能够开枪射出如此多的子弹，令人惊讶，外地期间7月13日晚，FBI发言人凯文·罗杰克，KevinRojek，举办资讯...。
水星顺行，当天的双鱼座女生运势尚可，是一种很值得等候的状况，你或许会有一段不错的恋爱相关，也有或许遇到对方值得依赖的对象，这两种形态都在当天适宜你，也会为你带来许多乐趣和应战，只需你坚持对生存和感情的激情迎接这一天就能变得愈加富裕生机，上方让咱们一同来看看当天双鱼座女生如何渡过美妙日子吧！1、当天双鱼座女生的爱情运势还算可以，也比拟适...。
5月22日是国内动物多样性日，动物多样性日是联结国环境暑提议的，旨在包全和可继续应用动物多样性的国内性主题纪念日，动物多样性是人类社会赖以生活和开展的基础，咱们的衣、食、住、行及精气文明生活的许多方面都与动物多样性亲密关系，因此，若动物多样性受到破坏，提供食粮、纤维、医药、咸水、作物授粉、过滤污染物、防止人造灾祸等生态系统的服务配置都...。
探店，关于丰田来说，他的双车策略玩的是十分杰出的，毕竟一汽丰田和广汽丰田都是丰田，不能，公允，如今最便捷的来说卡罗拉与雷凌是双车，奕泽和C，HR也是双人车，而丰田RAV4呢，如今他的另一半也正式上市了——威兰达，关于全新的威兰达来说，其全体的体现确实是可圈可点，足够有竞争力，今天，咱们电话咨询佛山地域经销商处了解到，2020款威兰...。
是由上汽公众消费，帕萨特是一款中型级别车，车辆所搭载的是1.4升涡轮增压发起机和2.0升涡轮增压发起机，区分婚配了七挡干式双离合变速箱和七挡湿式双离合变速箱，全系车型均为两驱版本，帕萨特的车身尺寸数据是什么车型车身尺寸数据长度4933毫米，车身尺寸数据宽度1836毫米，车身尺寸高度1469毫米，车身尺寸轴距2871毫米，车辆是四门五座...。
小兵U盘启动离线版V2024版(支持离线制作U盘启动盘)
oracle数据库通过某个字段的值查询数据怎么写sql语句,不知道具体表,不... 1、在计算机中，打开Oracle的连接程序，用新建的数据库管理员，进入【Oracle控制】的窗口上，鼠标左键单击【服务器】按钮，并选择【SQL工作表】，如下
2月13日消息，据台湾地区工商时报报道，受到面板厂维持低稼动率的影响，偏光片厂1月营收探底，第一季度面板厂严控产能、需求疲弱，此外持续要求降价，预估偏光片单季度仍有5%以上的跌幅，偏光片厂表示，2022年第三季度偏光片产业的平均产能利用率约6成，第四季度因为面板厂产能利用率有所提升，且农历新年前客户提早拉货，产能利用率也回升至65%，...。
厨房是我们每天都要使用的地方，一日三餐我们都要在厨房进行加工与制作，当然我们在做饭的过程中也会产生大量的废品以及剩菜剩饭的残羹，如果这些废品不能及时清理的话就会滋生大量的细菌，产生异味以及有害物质，但是，随着格莱佳厨房废品处理的出现帮助了无数的家庭解决了厨房废品的处理问题，并且在市场上赢得了一致的好评，那么，格莱佳厨房废品处理可以加盟...。
9月22日，刚刚从德国慕尼黑车展归来的轻舟智航，就释放了一个重磅猛料——已获得数家头部车企的量产定点合作，此时，距离他们宣布战略转型，进军高阶智能驾驶前装量产，刚刚过去不到500天，500天时间，轻舟从一家L4级的Robobus公司，成功转型成为一家高阶辅助驾驶供应商，基于地平线征程5的，轻舟乘风，高阶辅助驾驶方案，便是轻舟拿到的汽车...。
*本文来源于世界人工智能大会公众号，雷锋网已获得授权随着全球人工智能技术的日益成熟及国家政策的推动，中国人工智能产业正呈现出如火如荼的飞速发展态势，目前，除了互联网巨头和头部企业的快速布局之外，传统企业和初创型企业也紧跟步伐，纷纷加入到人工智能产业中，助力大量人工智能技术的商业化落地，并与各行各业深度融合，渗透到我们日常生活和工作的方...。
在2018年的商汤人工智能峰会上，商汤医疗正式对外亮相，与大多数搭建在已有底层系统的AI公司不同，商汤最大的特点是，平台化，而这种策略，意味着前期更多的资源投入，以及后期更快的成果产出，推出两年多以来，商汤的医疗又有哪些新的故事，这些故事又能为医疗AI行业带来哪些新的气息，以前我们经常讲‘研究推动产品，产品推动商务，，这通常是在一...。
