焦李成院士 进化优化与深度学习的思考 (焦李成团队)
2021年12月17日，西安电子科技大学人工智能学院教授、欧洲科学院外籍院士、IEEE Fellow焦李成受邀参加2021中国计算机大会“下一代演化计算发展趋势”论坛，并做了 “进化优化与深度学习的思考” 的主旨报告。
梳理了“进化”相关的发展渊源与思想起源，指出了当前人工智能的学术缺陷与实际困境，并从类脑的角度给出了解决路径：
“神经网络不应该是目前的意义上进行权重调参，它的结构应该具备变化性、可塑性、学习性和动态性；在类脑感知的过程中，脑的奖惩、学习、信息表征机制，以及突触的学习记忆、再生长和发育的机制对于信息的重建及编码和处理具有重要的作用。上述特性是现有深度网络所没有重视的。”
以下是报告全文，AI科技评论做了有删改的整理：
今天的演讲主要分为五个部分： 发展渊源与思想起源、进化优化与学习、类脑表征学习与优化、进化优化与深度表征学习，以及思考与挑战。
人工智能几十年来得到了长足的发展，而进化优化和类脑启发的深度学习是现在人工智能技术的核心，其关键是： 用脑处理知识和自然演化思想发展人工智能技术。 这两个思想的发展可以通过历年颁发的科学奖项窥得一二。
例如通过梳理脑科学诺贝尔奖可以明晰“人类如何思考”，回顾图灵奖可以讨论“机器如何进行学习和推理”，了解历年生物相关的诺贝尔奖，可以在“生物如何选择优化”方面给我们启示。那么这些工作对现在的人工智能技术发展有什么启示？
其实，目前学者用人工智能解决实际问题可以分为以下几个步骤：机器学习推导符号=>深度学习=>深度强化学习（感知+决策）=>深度迁移学习（环境适应）=>深度元学习（自动学习）。对于这一步骤路径，徐宗本院士曾经有一段关于机器自动学习的描述：
从这段话也可以看出，这几个步骤环环相扣，一层比一层有难度，那么我们应该如何更加有效的优化这条路径？
进化优化的思想起源很早，达尔文提出的全局优化以及拉马克、班德温提出的局部学习奠基了如今进化算法的学术思想。在进化学习语境下，我们希望无组织机器通过进化、学习、反馈的路径找到通用的机器学习方法。
1948年，图灵在《智能机》报告中也指出从婴儿到成人，人类大脑皮层可以看做从无组织机器进化为通用机器。在这之后，进化优化发展出了四大基本分支：
根据进化计算思想，科学家们又设计了它的动力学过程： 群体智能，它可以由混沌状态出发，通过价值启发信息探索规律、模式和知识，最终得到解。 它的过程是通过动力学的演化过程，以概率1收敛到全局最优解，特点表现为随机、非线性、遍历、自组织性、适应性、多样性、稳定性和高度并行性。
如上图所示，群体智能的思想起源很早，其代表性的方法包括蚁群优化、粒子群优化、免疫算法、萤火虫算法等等。 利用进化优化求解复杂问题， 主要是利用它的并行性、奇异性、易修改性、高度的非线性以及广泛的应用性等特点，从而匹配NP难问题和组合爆炸问题。
此外，在进化优化算法发展的过程中，自然免疫学理论为人工免疫进化优化提供了坚实的理论基础。从信息负表示算法到免疫进化算法，再到人工免疫的网络、克隆选择算法，以及树突细胞算法，让进化优化算法有了“利用先验知识，具有容错性、免疫性、鲁棒性”等特点，使其和实际问题更加靠近，能够在动态中寻求最优解。
生物免疫同样也证明了这一点， 生物诺奖的领域也为发展新的算法提供了坚实的理论基础。 “在记忆中学习，在遗忘中加速”使最优解算法更加有效，符合优胜劣汰的根本思想。
人工免疫系统模型的特点是：学习记忆性、多样性、分布性、容错性和被动免疫性 。这也为构造高效、鲁棒、容错的算法提供了生物的基础。 人工免疫系统方法应用在各个领域，已经有非常好的表现，希望它能够和进化计算、深度学习结合起来，共同推动领域发展。
提及进化，一定离不开类脑的感知和认知，离不开神经网络以及深度学习。2021年诺贝尔医学奖颁给了David Julius和Ardem Patapoutian，当时给出的获奖理由是：
这给我们带来了“类脑感知与认知研究非常有意义”的启示。从类脑的感知到认知是长时间的过程，而认知科学是一门对心智及其过程进行多学科研究的科学，如果说感知包含视觉、听觉、触觉、味觉等，而认知是教会我们理解、思考、推断、决策，那么如何对心智及其过程进行准确而全面的观察是认知科学的基础，也是巨大的挑战。Tomaso A.Poggio教授认为： 人工智能过去的突破来自于神经科学，将来的突破也来自于神经科学。
回忆类脑的感知和认知，首先要了解脑的生物机理和基本特性。如上图所示，人脑的六个特性是近20年生物界最新发现：稀疏性、学习性、选择性、方向性、知识性和多样性。
而现在的深度学习只建立在巨量神经元的并行上，更热衷于前向的网络，而对于神经元与神经元之间的反馈连接却没有多少研究。因此，对于类脑的感知和认知，无论从宏观层面、介观层面以及微观层面，都需“再出发”，都需要利用上述机理和特性进行分析、模拟、构造模型。
神经网络的发展有很长的历史，上述图片展示了一些卓越贡献者。例如最早生物神经元的提出者、MP神经元模型的提出者、感知机的提出者、连续神经元的提出者以及到后来明斯基提出感知器只能解决线性可分问题而不能解决非线性异或问题。
其他学者在神经网络领域的贡献更加出色和难能可贵，例如Grossberg夫妇奋斗一生提出了自适应共振机理论和三个ART系统。
在中国层面，提出发育神经元模型的吴文俊先生，提出视觉通路中三色传导学说的张香桐先生，模式识别的创始人傅京荪以及提出了忆阻器、Chua电路、细胞神经网络等理论的蔡少棠先生为神经网络的发展做出了巨大贡献。
值得一提的是，郭爱克、陈霖、蒲慕明等学者在生物领域的工作，为建立神经网络提供了良好的基础。
时刻不能忘记前辈的努力，当代华人学者也在接力，他们卓越的学术工作使得中国在国际上更有影响力。
另外，在2021年，深度卷积网络发明者日本学者福岛邦彦获鲍尔奖，表彰他通过发明第一个深度卷积神经网络「 Neocognitron」将神经科学原理应用于工程的开创性研究，这是对人工智能发展的关键贡献。LeCun也曾评价：福岛邦彦教授1980年的卷积网络工作给了他很大的启发，促使了他1989,1998年分别提出CCN和LeNet。
人工智能的发展和深度学习的兴起分不开，从1943年、1944年、1949年到今天，已经经历了几起几落。值得一提的是， BP算法的出现让神经网络可以学习多层网络，从某种意义上回答了明斯基“单层感知器不能解决非线性可分”的问题。
BP算法出现自1974年，P.Werbos在其哈佛大学博士论文中首次给出详细的数学推导。之后众多学者在其基础上进行改进才有了今天神经网络的发展。2021年Francis Crick最新工作指出：大脑实际上不太可能使用反向传播，也就是说BP复制或传递突触权重的信息进行更新，但是在生物网络中，神经元只能接收到其他神经元的输出信息，而不能接收到突触权重或内部过程。这一发现也指出， 更具生物学意义的学习机制，或许可以替代反向传播机制 例如反馈比对、预测性编码、锥体神经元、注意力机制等等。
因此，神经网络不应该只是如今意义上的权重调参，更重要的是其结构要具有变化性、可塑性、学习性和动态性，目前这些特性是现在深度网络所没
在类脑感知的过程中，奖惩机制、学习机制、信息表征机制、再生长和发育机制等，对于信息的重建、记忆编码和处理具有重要的作用。目前这些特性在深度神经网络中也没有得到重视。
人工智能中的“特征工程”、“特征搜索”、“表征学习”的说法，应该换成“大数据驱动下的表征学习”、“大数据和知识先验驱动下的表征学习”，这样显然更有意义。
在研究认知建模、自动学习以及渐进演化的过程中，应该结合环境的变化、自然的演化以及学习动态变化，能够帮助我们在认知、学习、优化、计算、识别的道路上构造新的模型，构造新的算法，创新新的有潜力的途径。
目前，我们将物理的Wishart极化特性与大脑的稀疏性相结合，提出了一种快速提取目标信息的非线性稀疏变换网络——Wishart Deep Stacking Network(W-DSN),设计了初级快速感知与高级层次感知模块，能够在噪声未知时对目标数据自动抽取高层语义特征，实现自动、高效、精准的分类。
把物理特征、脑的稀疏特征、多尺度特征与卷积神经网络相结合，提出Contourlet卷积神经网络，解决了稀疏的、方向的、多非变的尺度特征的提取和表征问题。
人脑的进化，包括神经网络的进化，其实是参数的进化、超参数调整，以及结构进化和动力学过程。而 进化算法其实是从人工到自动的突围，深度学习与进化相结合或许是让机器学习拥有自动进化能力的一种路径
深度与进化结合的研究有两方面的优势。其一，进化解决深度网络结构、权重、参数等优化的科学问题；其二，深度解决进化搜索效率低、复杂度高的科学问题。具体而言， 深度学习改善进化计算收敛速度慢、解多样性退化、质量低的问题。
例如，利用深度神经网络表征问题的特性，维持群体多样性；深度神经网络代替昂 利用深度神经网络学习进化计算的选解机制。
进化计算和深度学习相结合在谋求自动求解非线性、小样本、大数据、高维度、组合爆炸等复杂向题非常有潜力。这方面的代表性工作是“神经结构进化搜索(NAS)”。
神经网络结构的进化研究已经有几十年的历程，如上图所示，已经出现了一些出色的工作。它有如下特点：
2021年的最新工作中，加拿大渥太华以及麦吉尔大学的研究人员表明：使用突发规则构建的深度神经网络具有良好性能，为进化神经网络架构搜索供了更加坚实的理论基础。换句话说， 机器正在进行的学习方式可以通过生理过程来逼近。
神经网络权值优化也经过了多年的发展。80年代提出的权重优化相关工作包含动力学过程；而目前神经网络的进化优化，主要局限于权值的优化和超参的优化。这是组合爆炸问题，使得优化过程收敛速度慢、计算时间长、复杂度高，而难以使用。因此，梯度优化算法容易受到局部最优的影响，而进化算法在存在鞍点的情况下表现非常好。
当前超参数选取大多依靠堆叠GPU，这只能缓解计算量问题，但从机理上而言， 需要找到自动学习的方法。 超参数优化的问题在于：非线性、非凸、组合优化、混合优化、试错成本高、组合爆炸。经过几十年的发展，这些问题仍然没有解决。
同样有几十年研究底蕴的领域还有元学习，它需解决的基本问题是：元知识的表征、元学习器以及元目标。现在已经有一系列的办法解决可解释性和鲁棒性，但远远不够，因为对泛化性能的提高、对可解释性的追求、对进化全局最优解的追求永远在路上。
因此我们需要通过自然智能（包括类脑智能学习和优化）来达成这些目标。在进化的路上，我们需要做到“耳聪目明”，例如表征的紧促、正交、准确，学习的明确，解释的清楚。 以雷达研究为例，从最早的看得见，到测得准，再到观得清，最后到辨得明，这恰恰印证了人工智能（包括进化计算和深度学习）的发展特点。
ABC，也就是 人工智能（AI）、生物智能（BI）、计算智能（CI） 有无限光明。希望我们共同牢记初心、不负使命、砥砺前行，认认真真、扎扎实实做学问。
时间的力量——1991 人工智能大辩论 30 周年纪念：主义不再，共融互生｜GAIR 2021
2021-12-12
论智三易，串联通讯，贯通边缘，演进认知，汇于机器：听五位IEEE Fellow畅谈AI未来 | GAIR 2021
2021-12-25
新一代AI人才从哪里来，该往哪里去？| GAIR 2021院长论坛
2021-12-29
原创文章，未经授权禁止转载。详情见 转载须知 。
QZZN公务员论坛是知名公务员考试论坛和公务员论坛，您可以在QZZN获得最新的公务员考试资讯、经验、资料、真题，还可以认识大量公务员朋友、交流公考学习与公务员论坛生活。
广州三三广告有限公司
英拓科技集团以“数字化技术服务赋能实体经济”为定位，凝聚了全球数十位经济学者,金融专家,区块链、大数据、互联网、人工智能等方面的技术专家构建了开放的产品和技术服务平台。以“大数据、区块链、数字金融”产品和技术服务在金融、银行、文旅、零售、白酒等行业领域拥有丰富的产业数字化应用落地案例。
校管家自2010年成立以来，深耕教育行业14年，现正在为110000+民办教育品牌提供服务。万人规模以上的机构超过175家，中大型机构超过11000家，让167万老师和3100多万学生、家长受益于数字化升级所带来的便利。
迈迈车载CT体检车租赁平台有移动CT体检车出租，DR体检车出租，健康体检车出租，医疗车出租
淄博鑫欣泡花碱设备机械制造有限公司是一家泡花碱设备制造企业，致力于为客户生产安全、可靠、耐用的泡花碱设备。企业具备特种设备生产资质。拥有严格的质量管理体系。产品畅销国内外。
火树游戏平台收录了海量精品、热门小游戏以及H5游戏；为玩家提供最新手机游戏下载，还有海量H5游戏、小游戏福利礼包，更有好玩有趣的H5游戏、小游戏攻略；以“用心创造，热衷好游戏，分享乐趣！”的理念，打造最精品、最优质以及最热门的小游戏平台，更多好玩游戏，尽在火树游戏。
CarlingGlobal是一个为危机公关、舆情管理、SEO推广、网络运营提供优质解决方案的全能型平台！同时，平台大量分享财经信息，让大家足不出户，了解财经世界！
米杜是一家集研发、设计、生产各类全屋家居产品于一体的生产企业，公司主营铝材与板材以及玻璃结合类六大系列产品；即橱柜系统、衣柜系统、移门系统、玻璃装饰柜系统、五金系统以及智能灯光系统。自公司成立十多年以来，诚信创新，公司不断发展壮大，目前拥有浙江，北京，佛山三个生产基地，对行业的影响力不断提升。目前产品涵盖橱柜、衣柜、衣帽间、玻璃门板、玻璃柜，五金配件等等。
佛山市鑫晨照五金制品有限公司拥有多年佛山五金冲压生产经验,专注佛山五金冲压配件,佛山五金家具配件,佛山五金冲压加工制造,服务热线:13178541146
哈尔滨幸福彤道心理咨询工作室是黑龙江省专业从事哈尔滨心理咨询、儿童心理咨询、青少年心理咨询以及抑郁疏导、婚姻问题咨询、离婚挽回调解、心理沙盘、家庭教育咨询、儿童感统训练、自闭症康复的机构，欢迎您来电咨询。
上海鲁玟科学仪器有限公司(www.leuven17.com)是聚能式超声波清洗机,全自动镜检仪,桌面式超声波清洗机,复合式超声波清洗机供应商,公司前身为中国纺织科技开发总公司仪器部,拥有多年的设计研发经验,长期与华东理工,东华大学等单位保持紧密的科研合作,欢迎来电洽谈
冬天起床那叫一个难啊，床，你放开我！不要这样子，我是一个有事业的人！！！现在，有一款号称，世界上最棒的闹钟，Ruggie地毯闹钟，想要改变人们闹铃起床的体验，离开被窝是起床的第一步想要起床，离开暖和的被窝是第一步，所以Ruggie地毯闹钟关闭闹钟的设计就是要双脚在上面站至少3秒钟，当然个时间还可以调长点，默认设置是3秒钟，恭喜你，当你...。
几年前一名上海无业28岁男子因不配合警方调查自行车，被带到公安局进行调查，谁知男子不仅态度恶劣还咄咄逼人，迟迟不肯配合调查，民警在调查清楚事件后，将其释放，但男子却见缝插针，非让民警赔付其损失，民警正当处理案件，并不存在过错，可男子却三天两头到警局滋事，后来男子竟然将另一处毫无防备已经退居一线的6名老民警杀害，男子的行为可谓是人性的扭...。
发表在当贝投影仪2024，10，1813，51当贝F7Pro是当贝F系列的最新投影仪，采用了激光光源，具体当贝F7Pro投影仪怎么样呢，下面就为大家分享当贝F7Pro投影仪的详细参数配置，看看当贝F7Pro投影仪优缺点有哪些，是否值得用户入手，当贝F7Pro投影仪怎么样，1.光源上当贝F7Pro采用护眼三色激光技术，这是三色激光和LE...。
1.当地时间4月20日晚上12点，2021年马来西亚羽毛球公开赛，super750，的报名截止，众多国家的羽毛球队主力已报名参赛，但中国羽毛球队的主力球员张楠未在名单之中，2.该赛事将于5月25日至30日举行，并将允许少量观众现场观赛，这是自去年全英赛后，世界前十的选手首次聚集在国际赛事中，也是中国羽毛球队在疫情后首次集体出国参赛，3...。
近日，中国连锁经营协会正式发布了，2023年生活服务业连锁企业TOP100，榜单，树人托管凭借其卓越的品牌实力、专业的服务品质和强大的社会责任感荣耀上榜，并受邀加入中国连锁经营协会委员会，这一喜讯不仅是对树人托管多年以来辛勤付出的肯定，也为广大有志之士提供了加盟树人托管的宝贵契机，树人托管作为国内领先的托管连锁品牌，一直秉承着，由爱出...。
我己窥探灵魂一角看法的实质就是时时好坏感知，接着好坏思索，而后趋利避害人活着普通靠大脑犒赏系统而活着，被犒赏时，觉得好啊，舒适啊，美啊，是真谛啊，同样当累苦饿或许靠认知和明智而活，压服自己那样做，好处多多，舒服艰巨死不了人有时你的判别和反响，看似天经地义，实则是系统在作祟，如很困，但你还想玩，不想睡，眼睛却时不断的闭上，如很难，悲观，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
帝人的英文简写是TeijinTeijinLimited，帝人株式会社，isaglobal，technology，drivencompany，listedontheTokyoStockExchangewithamarketcapitalisationofUSD3.9billion.Itoperatesinfivemainbusiness...。
传祺GM6和M6是两款紧凑型MPV车型，其中M6是GM6的换代车型，M6的外观设计和性能都获取了更新，更显大气，性能也更高，车身尺寸方面，M6的长宽高区分为4780毫米，1837毫米，1730毫米，轴距为2810毫米，两款车都搭载了1.5升四缸涡轮增压发起机，最大功率为124kW，最大扭矩为265牛米，这款发起机的最大功率转速为500...。
飞驰c180作为梅赛德斯，飞驰品牌的入门级轿车，不时深受生产者的青眼，不只从外观上看，内饰性能也不逊色于上流奢侈品牌，飞驰c180报价作为入门级轿车，飞驰c180的多少钱相对亲民，目前国际新车的厂商指点价在25，33万元不等，依据地域差异或者有所浮动，生产者可以依据自身经济才干、购车需求还有外地的多少钱状况，做出正入选用，飞驰c180...。
myResources是一款硬件监视软件，使用图表和活动图标显示计算机的基本资源（磁盘、CPU、内存、网络）的负载状态，该程序还可以将资源显示在合并的图形图表(SumGraph)上
VirtualAudioCable是一种在应用程序之间传输音频流的音频桥接设备，可以从应用程序到设备之间传输声音。
大多数的孩子都对美术绘画有着浓厚的兴趣，运用手中小小的画笔，就可以勾勒出心中向往的世界，也是了解孩子比较好的窗口，橡皮虫国际教育，为不同年龄阶段的孩子们带来了适合的美术教育课程，那么，如何加盟橡皮虫国际教育，品牌特色是什么，如何加盟橡皮虫国际教育首先，创业者应该对照公司给出的加盟条件，检查自己是否具备加盟资格，完善了各项资料之后，向总...。
近几年中，国内的干洗行业一直发展的都很迅速，如今是一个很不错的行业，作为现在想要智慧之选的人来说是一个可以快速致富的项目，这个洗衣行业中，超能干洗店是行业中很知名的品牌，这个品牌在行业中是一个拥有很强的发展前景，所以深受消费者的喜爱，也是智慧之选者看中的发展商机，公司拥有专业的团队进行制作方案，可以免费的提供给加盟店，带动加盟店的生意...。
蛋糕店是专门出售蛋糕的店铺，蛋糕是指以面粉、甜味剂、黏合剂、起酥油，一般是牛油或人造牛油，低脂肪含量的蛋糕会以浓缩果汁代替，，液体，牛奶，水或果汁，，香精和发酵剂，例如酵母或者发酵粉，为基本原料制成的含水量较高、质地柔软的糕点，所用原料种类及其配比的变化，外观形状的差异，馅芯饰花的多样，使蛋糕的花色品种很多，蛋糕能够给人一种美的视觉享...。
首部西藏都市生存剧，日光之城，在全国播出后观众好评连连这几天，日光之城，藏语版也正在西藏广播电视台藏语卫视热播当中藏语版电视剧一经开播收视率就一路下跌拉萨地域收视率高达百分之7你和你的家人们有围坐在一同追剧吗，以治愈基调达到高原的，诗与远方，这几天，日光之城，藏语版也正在西藏广播电视台藏语卫视热播当中，从荧幕到事实，观众不只被剧中的美...。
[全球时报记者丁雅栀全球时报特约记者任重]据美国，政治资讯网，报道，随着特朗普在2024年美国总统选举中获胜，拜登政府正在加紧与英特尔、三星电子等芯片公司谈判，敲定，芯片和迷信法，中的最终协定，力争在特朗普入主白宫之前坚固这项拜登任内的标记性产业政策，思考到新旧政府将在明年1月实现交接，关于仍在谈判环节中的20多家公司来说，接上去的两...。
