焦李成院士 进化优化与深度学习的思考 (焦李成团队)
2021年12月17日，西安电子科技大学人工智能学院教授、欧洲科学院外籍院士、IEEE Fellow焦李成受邀参加2021中国计算机大会“下一代演化计算发展趋势”论坛，并做了 “进化优化与深度学习的思考” 的主旨报告。
梳理了“进化”相关的发展渊源与思想起源，指出了当前人工智能的学术缺陷与实际困境，并从类脑的角度给出了解决路径：
“神经网络不应该是目前的意义上进行权重调参，它的结构应该具备变化性、可塑性、学习性和动态性；在类脑感知的过程中，脑的奖惩、学习、信息表征机制，以及突触的学习记忆、再生长和发育的机制对于信息的重建及编码和处理具有重要的作用。上述特性是现有深度网络所没有重视的。”
以下是报告全文，AI科技评论做了有删改的整理：
今天的演讲主要分为五个部分： 发展渊源与思想起源、进化优化与学习、类脑表征学习与优化、进化优化与深度表征学习，以及思考与挑战。
人工智能几十年来得到了长足的发展，而进化优化和类脑启发的深度学习是现在人工智能技术的核心，其关键是： 用脑处理知识和自然演化思想发展人工智能技术。 这两个思想的发展可以通过历年颁发的科学奖项窥得一二。
例如通过梳理脑科学诺贝尔奖可以明晰“人类如何思考”，回顾图灵奖可以讨论“机器如何进行学习和推理”，了解历年生物相关的诺贝尔奖，可以在“生物如何选择优化”方面给我们启示。那么这些工作对现在的人工智能技术发展有什么启示？
其实，目前学者用人工智能解决实际问题可以分为以下几个步骤：机器学习推导符号=>深度学习=>深度强化学习（感知+决策）=>深度迁移学习（环境适应）=>深度元学习（自动学习）。对于这一步骤路径，徐宗本院士曾经有一段关于机器自动学习的描述：
从这段话也可以看出，这几个步骤环环相扣，一层比一层有难度，那么我们应该如何更加有效的优化这条路径？
进化优化的思想起源很早，达尔文提出的全局优化以及拉马克、班德温提出的局部学习奠基了如今进化算法的学术思想。在进化学习语境下，我们希望无组织机器通过进化、学习、反馈的路径找到通用的机器学习方法。
1948年，图灵在《智能机》报告中也指出从婴儿到成人，人类大脑皮层可以看做从无组织机器进化为通用机器。在这之后，进化优化发展出了四大基本分支：
根据进化计算思想，科学家们又设计了它的动力学过程： 群体智能，它可以由混沌状态出发，通过价值启发信息探索规律、模式和知识，最终得到解。 它的过程是通过动力学的演化过程，以概率1收敛到全局最优解，特点表现为随机、非线性、遍历、自组织性、适应性、多样性、稳定性和高度并行性。
如上图所示，群体智能的思想起源很早，其代表性的方法包括蚁群优化、粒子群优化、免疫算法、萤火虫算法等等。 利用进化优化求解复杂问题， 主要是利用它的并行性、奇异性、易修改性、高度的非线性以及广泛的应用性等特点，从而匹配NP难问题和组合爆炸问题。
此外，在进化优化算法发展的过程中，自然免疫学理论为人工免疫进化优化提供了坚实的理论基础。从信息负表示算法到免疫进化算法，再到人工免疫的网络、克隆选择算法，以及树突细胞算法，让进化优化算法有了“利用先验知识，具有容错性、免疫性、鲁棒性”等特点，使其和实际问题更加靠近，能够在动态中寻求最优解。
生物免疫同样也证明了这一点， 生物诺奖的领域也为发展新的算法提供了坚实的理论基础。 “在记忆中学习，在遗忘中加速”使最优解算法更加有效，符合优胜劣汰的根本思想。
人工免疫系统模型的特点是：学习记忆性、多样性、分布性、容错性和被动免疫性 。这也为构造高效、鲁棒、容错的算法提供了生物的基础。 人工免疫系统方法应用在各个领域，已经有非常好的表现，希望它能够和进化计算、深度学习结合起来，共同推动领域发展。
提及进化，一定离不开类脑的感知和认知，离不开神经网络以及深度学习。2021年诺贝尔医学奖颁给了David Julius和Ardem Patapoutian，当时给出的获奖理由是：
这给我们带来了“类脑感知与认知研究非常有意义”的启示。从类脑的感知到认知是长时间的过程，而认知科学是一门对心智及其过程进行多学科研究的科学，如果说感知包含视觉、听觉、触觉、味觉等，而认知是教会我们理解、思考、推断、决策，那么如何对心智及其过程进行准确而全面的观察是认知科学的基础，也是巨大的挑战。Tomaso A.Poggio教授认为： 人工智能过去的突破来自于神经科学，将来的突破也来自于神经科学。
回忆类脑的感知和认知，首先要了解脑的生物机理和基本特性。如上图所示，人脑的六个特性是近20年生物界最新发现：稀疏性、学习性、选择性、方向性、知识性和多样性。
而现在的深度学习只建立在巨量神经元的并行上，更热衷于前向的网络，而对于神经元与神经元之间的反馈连接却没有多少研究。因此，对于类脑的感知和认知，无论从宏观层面、介观层面以及微观层面，都需“再出发”，都需要利用上述机理和特性进行分析、模拟、构造模型。
神经网络的发展有很长的历史，上述图片展示了一些卓越贡献者。例如最早生物神经元的提出者、MP神经元模型的提出者、感知机的提出者、连续神经元的提出者以及到后来明斯基提出感知器只能解决线性可分问题而不能解决非线性异或问题。
其他学者在神经网络领域的贡献更加出色和难能可贵，例如Grossberg夫妇奋斗一生提出了自适应共振机理论和三个ART系统。
在中国层面，提出发育神经元模型的吴文俊先生，提出视觉通路中三色传导学说的张香桐先生，模式识别的创始人傅京荪以及提出了忆阻器、Chua电路、细胞神经网络等理论的蔡少棠先生为神经网络的发展做出了巨大贡献。
值得一提的是，郭爱克、陈霖、蒲慕明等学者在生物领域的工作，为建立神经网络提供了良好的基础。
时刻不能忘记前辈的努力，当代华人学者也在接力，他们卓越的学术工作使得中国在国际上更有影响力。
另外，在2021年，深度卷积网络发明者日本学者福岛邦彦获鲍尔奖，表彰他通过发明第一个深度卷积神经网络「 Neocognitron」将神经科学原理应用于工程的开创性研究，这是对人工智能发展的关键贡献。LeCun也曾评价：福岛邦彦教授1980年的卷积网络工作给了他很大的启发，促使了他1989,1998年分别提出CCN和LeNet。
人工智能的发展和深度学习的兴起分不开，从1943年、1944年、1949年到今天，已经经历了几起几落。值得一提的是， BP算法的出现让神经网络可以学习多层网络，从某种意义上回答了明斯基“单层感知器不能解决非线性可分”的问题。
BP算法出现自1974年，P.Werbos在其哈佛大学博士论文中首次给出详细的数学推导。之后众多学者在其基础上进行改进才有了今天神经网络的发展。2021年Francis Crick最新工作指出：大脑实际上不太可能使用反向传播，也就是说BP复制或传递突触权重的信息进行更新，但是在生物网络中，神经元只能接收到其他神经元的输出信息，而不能接收到突触权重或内部过程。这一发现也指出， 更具生物学意义的学习机制，或许可以替代反向传播机制 例如反馈比对、预测性编码、锥体神经元、注意力机制等等。
因此，神经网络不应该只是如今意义上的权重调参，更重要的是其结构要具有变化性、可塑性、学习性和动态性，目前这些特性是现在深度网络所没
在类脑感知的过程中，奖惩机制、学习机制、信息表征机制、再生长和发育机制等，对于信息的重建、记忆编码和处理具有重要的作用。目前这些特性在深度神经网络中也没有得到重视。
人工智能中的“特征工程”、“特征搜索”、“表征学习”的说法，应该换成“大数据驱动下的表征学习”、“大数据和知识先验驱动下的表征学习”，这样显然更有意义。
在研究认知建模、自动学习以及渐进演化的过程中，应该结合环境的变化、自然的演化以及学习动态变化，能够帮助我们在认知、学习、优化、计算、识别的道路上构造新的模型，构造新的算法，创新新的有潜力的途径。
目前，我们将物理的Wishart极化特性与大脑的稀疏性相结合，提出了一种快速提取目标信息的非线性稀疏变换网络——Wishart Deep Stacking Network(W-DSN),设计了初级快速感知与高级层次感知模块，能够在噪声未知时对目标数据自动抽取高层语义特征，实现自动、高效、精准的分类。
把物理特征、脑的稀疏特征、多尺度特征与卷积神经网络相结合，提出Contourlet卷积神经网络，解决了稀疏的、方向的、多非变的尺度特征的提取和表征问题。
人脑的进化，包括神经网络的进化，其实是参数的进化、超参数调整，以及结构进化和动力学过程。而 进化算法其实是从人工到自动的突围，深度学习与进化相结合或许是让机器学习拥有自动进化能力的一种路径
深度与进化结合的研究有两方面的优势。其一，进化解决深度网络结构、权重、参数等优化的科学问题；其二，深度解决进化搜索效率低、复杂度高的科学问题。具体而言， 深度学习改善进化计算收敛速度慢、解多样性退化、质量低的问题。
例如，利用深度神经网络表征问题的特性，维持群体多样性；深度神经网络代替昂 利用深度神经网络学习进化计算的选解机制。
进化计算和深度学习相结合在谋求自动求解非线性、小样本、大数据、高维度、组合爆炸等复杂向题非常有潜力。这方面的代表性工作是“神经结构进化搜索(NAS)”。
神经网络结构的进化研究已经有几十年的历程，如上图所示，已经出现了一些出色的工作。它有如下特点：
2021年的最新工作中，加拿大渥太华以及麦吉尔大学的研究人员表明：使用突发规则构建的深度神经网络具有良好性能，为进化神经网络架构搜索供了更加坚实的理论基础。换句话说， 机器正在进行的学习方式可以通过生理过程来逼近。
神经网络权值优化也经过了多年的发展。80年代提出的权重优化相关工作包含动力学过程；而目前神经网络的进化优化，主要局限于权值的优化和超参的优化。这是组合爆炸问题，使得优化过程收敛速度慢、计算时间长、复杂度高，而难以使用。因此，梯度优化算法容易受到局部最优的影响，而进化算法在存在鞍点的情况下表现非常好。
当前超参数选取大多依靠堆叠GPU，这只能缓解计算量问题，但从机理上而言， 需要找到自动学习的方法。 超参数优化的问题在于：非线性、非凸、组合优化、混合优化、试错成本高、组合爆炸。经过几十年的发展，这些问题仍然没有解决。
同样有几十年研究底蕴的领域还有元学习，它需解决的基本问题是：元知识的表征、元学习器以及元目标。现在已经有一系列的办法解决可解释性和鲁棒性，但远远不够，因为对泛化性能的提高、对可解释性的追求、对进化全局最优解的追求永远在路上。
因此我们需要通过自然智能（包括类脑智能学习和优化）来达成这些目标。在进化的路上，我们需要做到“耳聪目明”，例如表征的紧促、正交、准确，学习的明确，解释的清楚。 以雷达研究为例，从最早的看得见，到测得准，再到观得清，最后到辨得明，这恰恰印证了人工智能（包括进化计算和深度学习）的发展特点。
ABC，也就是 人工智能（AI）、生物智能（BI）、计算智能（CI） 有无限光明。希望我们共同牢记初心、不负使命、砥砺前行，认认真真、扎扎实实做学问。
时间的力量——1991 人工智能大辩论 30 周年纪念：主义不再，共融互生｜GAIR 2021
2021-12-12
论智三易，串联通讯，贯通边缘，演进认知，汇于机器：听五位IEEE Fellow畅谈AI未来 | GAIR 2021
2021-12-25
新一代AI人才从哪里来，该往哪里去？| GAIR 2021院长论坛
2021-12-29
原创文章，未经授权禁止转载。详情见 转载须知 。
《跑跑卡丁车》是世纪天成代理，NEXON出品的休闲赛车竞速网游。游戏涵盖了当下年轻人最喜欢的竞速、漂移、冒险等玩法。曾创休闲网游最高在线记录！总用户注册达3亿！
淘宝合作伙伴后台
艾奇百科为广大网友提供全方面的百科知识，包括有生活百科、知识百科、百科问答等百科知识资料，帮助大家解决生活、学习、工作中遇到的问题，让您的生活变得更加简单。
康明斯发电机（深圳）有限公司是专业的发电机厂家,生产各种类发电机,柴油发电机,拥有进口发电机等,具有噪声低、废气少、耗油省、起动性能好、运行性能稳定、可靠等优点。已被广泛应用于电厂、电信、军工、能源、交通、铁路等不同领域。
南通中意精密磨床制造有限公司（南通得鼎精密机床有限公司）生产车间占地面积约10000㎡，拥有二十多年的平面磨床等各类机床生产制造经验以及从事机床设计研发、生产制造的专业技术团队。
名厨是中国领先的专注餐饮行业的专业媒体，专业的创新平台，这里汇聚全球优秀的厨师，专业创意菜谱，前沿餐饮资讯。
轻疗科技专注于体检系统品牌化解决方案，主要提供高端体检系统设计、定制开发、公众号开发及用户体验运营、解决方案及数字营销服务。
剑灵私服发布网为广大玩家分享2024年最流行剑灵私服玩法技巧,剑灵sf图片,剑灵私服等文章;收集剑灵私服的玩家心得以及玩法技巧!
有生意网(有生意网)是一家真正为中小企业服务的全球企业间（B2B）电子商务平台，为数千万网商提供海量商机信息和便捷安全的在线交易市场，也是商人们以商会友、真实互动的社区平台。目前唉客网已覆盖原材料、工业品、服装服饰、家居百货、小商品等24个行业大类，上千个专业的产品门户网站和服务频道。
天津普尔兰德旅游装备有限公司是集研发、生产、销售于一体的中国户外品牌公司.企业致力于户外生活的推广,倡导更多的人去体验露营休闲、山野探险等户外活动，放松心情，去感受大自然的种种乐趣。“PURELAND”带给大家的是一种健康向上的生活态度，用我们的专业引领大众享受到休闲、自在、无压力的生活状态，用独特的角度去扩展大众在社会压力下的另一番视野。公司以自身独特的企业文化、高效的运营管理模式，已使公司旗下品牌“PURELAND”成为中国本土户外品牌的中坚力量。
移花宝贝
如您之前绑定过微信或QQ，请用下方快捷登录后，，资料修改，中重新修改密码，如确实遗忘密码请准备，您的帐号，注册时留的原始QQ、原始微信号、原始手机号、付款截图、实名认证等一切相关凭证！请发送以上信息到邮件，songsongyun@qq.com...。
甜品行业非常的畅销，甜品店的加盟怎么样，怎样加入甜品行业，玛丽莲甜品是行业当中的引路者，收银至少有一半以上，款式新颖，口感正宗，味道香甜而不腻，超低的价格吸引了无数消费者前来购买品尝，产品更新不断，能够满足不同人的味蕾，好吃不胖更好，，精益求精的制作得到了创业者的认可，越来越多的人喜欢了这个品牌，能给你带来时间久的财富，玛丽莲甜...。
一、川能动力锂矿业潜在企业龙头四川省新能源动力股份有限公司主营业务为风力发电和光伏发电，以及新能源综合服务业务，公司的主要业务为风力发电和光伏发电业务、新能源综合服务业务，二、江苏新能风能发电龙头企业江苏省新能源开发股份有限公司的主营业务为新能源项目的投资开发及建设运营，目前主要包括风能发电、生物质能发电和光伏发电三个板块，三、天顺风...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
FlashPlayer为消弭歧义，特分为两局部说明，一、swf格局文件播放器AdobeFlashPlayer的前身是MacromediaFlashPlayer，在2005年12月5日，被Adobe公司以34亿美元的天价收买，这个Flash播放器是指独立的swf格局文件播放器，或装置于阅读器的Flash插件，FlashPlayerPlu...。
当下在国际汽车市场上，韩系车在国产自主品牌以及其它合资品牌的挤压下存在感是越来越低，但这并不示意韩系车真的不行了，同样韩系车还是有不少实力微弱车型的，近日咱们就从海外得知了一组全新现代Accent，雅绅特，新车到店的实拍图，要说现代Accent或者有些好友不太了解，其实它对应的国产版车型就是悦纳，置信大家还是比拟相熟的，未来国产版车型...。
在经过较为安稳的路段，该车在滤震成果上解决的不是很好，车内有显著的安稳感，乘坐感触不是很好团体觉得在车子的动力方面和悬架调校成果上，秦pro体现更好些作为燃油车油耗是个无法防止的疑问，试驾秦pro燃油版将近3，比亚迪秦Pro燃油版跟长劳碌动蓝鲸版相比，比亚迪秦Pro燃油版愈加省油，比亚迪秦Pro的车身长度为4740mm×1770mm×...。
克莱斯勒PT散步者是一款外型共同的小型轿车，其外观设计遭到很多人的参观和追捧，但是在实践经常使用中，这款车也存在一些缺陷，首先，克莱斯勒PT散步者的外部空间相对较小，虽然该车的外型看起来十分宽阔温馨，但实践上驾驶室外部空间较为狭窄，特意是在后排座椅局部，小孩儿坐在其中会感到相当拥堵，因此，该车并不适宜小家庭或经常搭载多人出行的用户，其...。
侍道1才干最强在刀藏画面输入，上高低下左左左左左右，，随机得，硬度5，攻防，99%，体力，999，刀技全开，的剑更改客人公选用客人公时将光标停在名字输入处输入LRLRLL而后按住R不松再按□，可以将客人公变为游戏里恣意1名角色全藏刀产生新游戏，选用客人公时的藏刀画面中输入↓↓↓↓→→←←←→侍道2游戏中进入恣意街道按START暂停后输...。
如何查询linux系统中所有用户的用户名和密码 首先我们得知道，在linux系统中，用户名被存放在了/etc/passwd这个文件中；密码存放在/etc/shadow中。知道这两条重要的信息，那么后面的事情就简单很多了。查询linux系统中
连接专题,提供连接的相关文章和相关资讯,在本栏目你可以看到连接这个内容的相关各类文章很多篇,如有不足请提供给我们更多连接的文章供大家查阅.
选择人物后黑屏的可能原因在传奇游戏中，选择角色后画面黑屏，这通常会出现以下几种情况：1.1.游戏客户端或服务器出现故障或网络不稳定。1.2.电脑硬件配置低，无法支持游戏的运行需要。1.3.游戏安装文件或相应组件缺失或损坏。1.4.显卡、声卡驱动程序与游戏版本不兼容。2.解决方式以下是针对选择人物后黑屏情况的解决方式，你可以逐一尝试：2.1.检查网络，尝试重新登录游戏，或重新连接网络，确保网络稳定。2.2.检查计算机配置，如内存、显卡、CPU等，确保其能够运行游戏。2.3.检查游戏文件，如重新安装游戏、
微信营销是什么，简单理解就是在微信上做运营，销售，再白话一点就是在微信上卖东西，这么说懂了吧，哈哈哈，可以再多说一点，就是利用微信好友、朋友圈、微信群、微信公众号等进行营销，微信营销这个词汇从微信出来没多久就有了，再比如先出来的微博，在微博上卖东西就叫微博营销，因为传统企业不懂，或者说没有通过网络卖东西，最多也就在淘宝或者天猫或168...。
Listing优化是一件非常重要的事情，在亚马逊，可以说产品的选择是根本，Listing的优化是关键，如果你想要商店生存和发展，首先，你必须选择一个好的产品，然而，当你选择了一个好的产品时，就需要用优质的Listing的内容把产品的亮点或功能优势描述出来，换句话说，你的产品listing页面实际上就像你每天出门时穿的衣服和脸上的化妆品...。
终于来了！4月1号晚间，微医向港交所递交上市申请的消息在朋友圈传开后，看到最多的评价就是，微医终于来了，事实也确实如此，这不是微医第一次被传出赴港股上市，从2018年5月完成5亿美元Pre，IPO轮融资，估值达55亿美元后，微医几乎每年都会传出上市消息，这也从侧面说明了，顶着，中国最大的数字医疗服务平台，的头衔，微医承载了很多人对...。
外地期间2024年9月28日，中共中央政治局委员、外交部长王毅在纽约联结国总部缺席第79届联结国大会普通性答辩，就台湾疑问论述中方立场，王毅说，台湾是中国领土无法宰割的一局部，这既是历史，也是事实，开罗宣言，、，波茨坦通告，明白规则把日本窃取的中国领土，包含台湾、澎湖列岛出借中国，导致了二战后国际次第的关键组成局部，53年前，就是在...。
做梦梦见血好不好汇总不少人做梦会梦见血，那么梦见血好不好呢?事实生存中见血往往都是不吉利了，尤其是睡梦中见血更是给人一种未来有什么危险和预兆的觉得，上方是我帮大家整顿的做梦梦见血好不好，仅供参考，大家一同来看看吧，做梦梦见血好不好1梦见血好不好，血代表着财富，还有生命力的意味，梦见血是好的，最近要提防不老实的好友，免得受骗受骗，最近的...。
