不 闯祸 怎么使未来机器人 乖乖听主人的话 (怎样才能不闯祸)
摘要
我们围绕一个问题来研究机器学习的八个领域：随着机器学习系统日益变得智能化与自动化，应当制定什么样的原则以确保机器学习的行为与操作者的利益相一致？我们聚焦于实现AI一致性过程中遇到的两个技术瓶颈：确定一个合适的目标函数遇到的挑战；即使目标函数未能与设计者的意图达到完全匹配，设计出能够避免超出预料范围的结果与不可取的行为的AI系统所遇到的挑战。
在本研究中涉及到的开放性问题包括：我们如何通过强化手段训练学习者采取行动，以便他们能够经得起智能化监督器的有意义的评估？应当选用何种目标函数，以便系统“不会产生过大的影响”，“也不会产生太多负面影响”？在文章中，我们将讨论这些问题，相关的研究及对未来研究产生的潜在影响，旨在强调机器学习领域中目前可以驾驭研究的相关研究话题。
引言
近年来人工智能研究领域取得的进步再次激发了人们对Russell和Norvig(2010)所提出的问题兴趣，“倘若我们成功了？”如果AI研究者成功地设计出能与人类媲美的具有跨领域学习与决策能力的机器，这将会对科学，技术，人类的生活产生不可估量的影响。
比如，假设一个研究团队希望运用一种高级的ML系统制定相关方案，以发现治疗帕金森综合症的方法。如果这种高级ML系统能够制定计划，从而提供计算资源在治疗方法空间内开展广泛且有效的搜索，该团队将对这一高级ML系统持肯定支持的态度。如果该高级ML系统能够制定出计划，快速扩展机器人实验室，该种类型的机器人实验室能够实施快速而有效的实验，却会对生物圈产生大规模的负面影响，该团队将对这一系统持反对的态度。问题在于，我们应当如何设计系统（及选择目标函数），以使我们的ML系统能够可靠地实现第一个目标，而非第二个目标？
凭直觉来讲，倘若我们能够规范自己想要表达的意思---“找到一种治疗帕金森综合症的方法，而非使用任何极端的手段”，那么Bostrom(2014)在“超智能化”一书中描述的危险将会被减少。但是，为了实现这一目标而为正式确定令人满意的目标函数作出任何不成熟的尝试，这种行为通常将生成产生超出人们预期的行为的函数。
主要的技术难题表现在哪些方面？Russell（2014）强调两点：由于很难对人类的价值观念进行清晰界定，如此便难以找到一种与人类价值体系完美匹配的系统目标函数；任何具有实力的智能系统均偏重于保证自身的存在性与获取物理和计算资源---不是为了其自身的利益，而是为了成功地完成既定的任务。换句话讲，至少存在两种明显的研究类型：这两种研究类型能够提高未来研究者设计出具有一致性AI系统的能力：我们能够可以做一些研究以便较容易确定目标函数；我们可以做一些研究以设计出能够避免大量负面影响和负面刺激的AI系统，即便有时目标函数不能与设计者的意图达到完全的一致。Soares与Fallenstein（2014）称前面一种方法为“价值规范”，后一种为“错误容忍”。
本研究基于这两种保持高级ML系统一致性的方法，探索8个研究领域，其中一些领域已经在更大的ML研究社区中激起研究兴趣。其中，一些研究领域聚焦于价值规范，一些聚焦于错误容忍，还有一些将两者结合在一起。由于减少容易犯错的人类程序员可能到来的错误风险本身就是人类共享的价值理念，这两种研究目标之间的界限可能并不是那么清晰。
为了使下文讨论的解决问题的方案在未来更为有用，这些方案必须能够适用于那些比现存的ML系统更为有效的系统。那些主要依靠于系统对于某个可发现的事实的不敏感，或依靠于系统无法提出一个特殊的策略的解决方案，从长远来看，这些方案都不甚令人满意。正如Christiano(2015c)所讨论的，如果用于保持ML系统与其设计者的意图相一致的技术不能与智能相匹配，那么在我们可以运用ML系统在保守条件下可以取得的成果与可以运用该系统有效取得的成果两者之间将出现差异。
我们将聚焦于安全保障，在目前运用ML的典型环境中，这些安全保障可能会显得极端，例如保障形式，“过一段时间后，该系统将会出现零显著错误”。这些保障形式在以安全为主的系统中是不可或缺的，因为一个小错误将在现实世界中产生灾难性的后果。（这种形式的保障之前是有先例的，例如，Li,Littman,与Walsh（2008）的KWIK学习框架中提及到的）。当我们在考虑小问题和简单的例子时，我们应当把这些强有力的保障方式记在心中。
我们考虑的八个研究主题如下：
1.归纳式歧义识别：我们如何训练ML系统来检测并告知我们通过训练数据并不能够确定测试数据的分类？
2.强健的仿真方法：我们如何设计并训练ML系统以有效地模仿复杂且困难任务中人类的行为活动？
3.知情式监督：我们如何训练一种强化学习系统，在精确评估系统性能方面能够帮助一个智能监督者，如人类？
4.可普及的环境目标：我们如何创建一些系统，使这类系统能够强健地追求环境状态下确定的目标，而非追求基于感官数据确定的目标？
5.保守性的概念：如何训练一个分类器，以提出一些有用的概念来排除那些极为非典型的例子和边缘化的案例？
6.影响措施：应当采取什么样的措施来刺激系统以最小的负面影响来追求目标？
7.温和型优化措施：我们如何设计出不会过分追求其目标的系统，即当所追求的目标已经得到很好的实现时便适可而止，而不是为了实现绝对优化的预期成果，投入过多的精力搜索资源？
8.避免工具性激励措施：我们应当如何设计并训练系统，使这些系统缺少默认的激励措施来操纵与欺骗操作人员，竞争稀缺资源等？
在第2部分，我们将轮流简要介绍每一个研究主题及每一个研究领域中相关的研究案例。接下来我们将讨论对于未来研究的启示，即鉴于大量的计算资源和自动化，我们期望能够衍生出有助于设计出强健且可靠的ML系统的工具来。
研究动机
近年来，机器学习领域已经取得突飞猛进的发展。Xu等(2015)运用一个基于注意的模型能够极为精确地评估并描述图像（通过字幕）。Mnih等(2016)运用深度神经网络和强化学习在多种Atari围棋比赛中取得了好的性能测试结果。Silver等(2016)运用经由监督式学习和强化学习训练，且与蒙特卡洛模型技术相匹配的深度神经网络战胜了人类围棋世界冠军。Lake,Salakhutdinov及Tenenbaum(2015)运用分级式Bayesian模型仅需要使用一个单一的例子便可以学习视觉概念。
从长远看来，运用机器学习和其他AI技术的计算机系统将会变得越来也智能，人类也将有可能相信那些系统可以作出更多的决策，变得更加自动化。随着这些系统的性能越来越高，使这些系统的行为与操作者的意图保持一致，不会对全社会造成危害，这一点变得尤为重要。
当AI系统在性能方面得到越来越快的提升，设计出能够可靠地把这些系统与预期的目标保持一致的训练程序和测试准则将变得越来越困难。例如，我们来看一下下面这个例子：依据得分实施奖励，训练一个强化学习者来玩视频游戏的任务（per Mnih等，2013）。倘若学习者在游戏过程中找到一些能够使其获得高分的漏洞，他将采取措施利用那些漏洞，忽视程序员感兴趣的游戏特征。与我们的直觉相反，提高系统的性能将减少这些学习者在游戏中取胜的机率，这在某种程度上与我们的感觉相反，由于系统越智能，越能够找出训练程序与测试准则中的漏洞（如若获取一个较弱强化学习者的这种行为的简单实例，请参照Murphy(2013)）。
智能系统能够以惊人的方式解决问题的能力称得上是一种特征，而非一种瑕疵。它们能够以一种连程序员都无法想出的聪明的方式来达到目标，这是这类学习系统具有吸引力的重要特征之一。但是，这一性质是一柄双刃剑：当这一系统变得更善于找到与人们直觉相反的解决方法，它也将更善于找到能够形式上实现操作者的直接目标，而不满足其预期的目标的方法。
由于这些智能系统追求现实生活中目标，这些漏洞也将变得更为微妙，更为冗余，且更为重要。就此，我们可以考虑一下为学习系统设计出强健的目标函数，以使得这些学习系统能够代表程序员观点与欲望，在此过程中会遇到的挑战与困难。当程序员了解到该系统的目标函数未得到正确规范，他们便想要修复这一缺陷。然而，当学习者意识到这样一点，他将视其为一个自然的刺激，便会想办法掩盖目标函数中存在的这些缺陷，因为如果该系统被用于追求不同的目标，其当前目标将不可能得到实现。（这一现象将在Bostrom,2014与Yudkowsky,2008一文中作详细讨论。BenSON-Tilsen与Soares(2016)提供了一个简洁的阐释）。
上述讨论结果激励我们研究规范目标函数的工具与方法，使得这些目标函数能够避免那些默认的激励措施，及研发ML系统的工具与方法，使得这些机器学习系统在追求那些目标时不要过度优化。
下文是对提到的八个研究主题及相关研究成果作详细介绍，在此不做赘述。
结论
能够更好地理解上述描述的八个开放性研究区域中的任何一个领域均将提高我们未来设计出强健且可靠的AI系统的能力。以下是对上文讨论结果的回顾：
1,2,3---更好地理解强健的归纳式歧义识别，仿人类，知情式监督将有助于设计出能够由人类进行安全地监督（必要时询问人类）的机器学习系统。
4---找到规范环境目标的更好的方法，这将使得设计出追求我们真正关心的目标的系统更为容易。
5,6,7---更好地理解保守型概念，低影响力的措施，温和型优化方案会使得设计出高级系统更为容易，这种系统的错误率将降低，并且允许在线测试和调整等操作。与一个试图实现某个特殊目标函数最大化的超智能系统相比，一个集保守型，低影响力，温和型优化三种特征于一体的超智能系统能够得到更为简单安全地运用。
8---一个避免收敛工具子目标的通用策略将帮助我们构建一类能够避免不可取默认激励措施，如欺骗操作人员，竞争资源的激励策略，的学习系统。
在研究诸如上述讨论过的问题时，我们应当记得，这些研究是用于解决我们未来可以预见的高智能系统可能带来的长期问题的，这一点极为重要。正如那些在理论层面可行，在实践中费用惊人的方案一样，那些适用于当代智能系统，却能够预测到不适用于更高性能学习系统的的解决方案同样是不可取的。
这八个研究领域支持以下观点：存在一些开放性的技术问题，其中一些问题已经得到学术界的注意，为此所做的研究可能会对一些试图构建强健且有益的高级ML系统的研究者有所帮助。
如需对本文作多了解，请访问原文链接 细节
原创文章，未经授权禁止转载。详情见 转载须知 。
ProcessOn是一款专业在线作图工具和知识分享社区，提供AI生成思维导图流程图。支持思维导图、流程图、组织结构图、网络拓扑图、鱼骨图、UML图等多种图形，同时可实现人与人之间的实时协作和共享，提升团队工作效率。
欢迎来到MicroStrain传感器系统,我们生产用于各种应用的微小传感器和系统,包括先进制造、非公路车辆、商用和军用载人和无人驾驶车辆、民用结构和井下工具。我们引进先进的传感技术,提供专业的传感器解决方案。
柏庆网络网站建设公司专注网站建设、网站制作、网站设计、网站开发、网页设计、做网站,为深圳、东莞、广州等全国各地企业高端网站建设与制作、网站改版与定制等服务。
深圳爱夫卡科技有限公司专业生产汽车诊断仪,汽车解码器,汽车故障诊断仪,汽车故障电脑检测仪,是集研发,生产,销售汽车诊断产品于一体的高科技企业.电话:0755-82904729
南京方德工程咨询有限公司专注江苏工程师评审,南京方德主要业务有:助理工程师职称评审,中级工程师职称评审,高级工程师评审,主做范围不仅是南京工程师评审,还包含整个江苏省工程师评定报名,所有工程师评审后均为人社局下证,安全无忧!
超静音门窗-中国十大铝合金门窗品牌-铂尊门窗专业从事四川、成都铝合金门窗招商加盟及中高端系列产品研发、生产、销售与服务为一体的四川门窗十大品牌、钛合金门窗加盟品牌综合型企业。以提供“安全、优质的门窗产品于客户”为己任，为广大客户提供环保的家居体现。四川门窗哪个品牌好、十大铝合金门窗品牌、铝合金门窗招商加盟热线电话：0838-5887818
中胜涂料（宁波）有限公司主营业务为船舶油漆，工业重防腐水性漆，销售网络遍布国内国外，并与多家公司合作代理各种品牌油漆。
申能财产保险股份有限公司
创头条为您提供最新鲜的双创资讯、投资资讯、科创资讯等信息,致力于帮助创新创业者、投资人、双创载体、政府主管单位实现个性化定制,为创新创业企业提供优质的企业服务。
一个技术出身的站长，没有什么逆天的好创意，只是希望能按照自己的想法完成一个网站，将自己喜欢的内容放到网站中，能帮助到一些人。没有什么远大的目标，认真做事，看看最终能有多少的访问量，算是对自己的一次考试。
编程猫专注于青少年编程教育，提供图形化编程课、python编程课等在线编程课程。这里有源码编辑器kitten、移动创作工具nemo，这里有少儿编程在线教育体验课、幼儿编程启蒙课和小学生学编程游戏课程，想了解少儿编程机构排名，编程猫怎么收费，编程猫课程多少钱，就到编程猫官网。
香港国际ESG联盟
雷锋网消息，本周，西部数据，WesternDigital，针对其去年推出的RISC，V处理器计划发布了三项重要公告，公布了基于RISC，V指令集的自研通用架构SweRV和开源的SweRV指令集模拟器，ISS，，以及基于以太网OmniXtend的缓存一致性技术，西部数据预计硬件和软件将用于大数据和快速数据应用的各种解决方案，包括闪存控制...。
本文是计算机视觉领域顶级会议ICCV2021入选论文，AnEmpiricalStudyoftheCollapsingProbleminSemi，Supervised2DHumanPoseEstimation，半监督二维人体姿态估计中的模型坍塌问题研究，的解读，该论文由北京大学王亦洲课题组与微软亚洲研究院合作完成，研究了一致性学习算法...。
近两年，，大力，算力，出奇迹，的大模型成为人工智能领域多数研究者的追求趋势，然而，其背后巨大的计算成本与资源耗费问题也弊端渐显，一部分科学家开始对大模型投以严肃的目光，并积极寻求解决之道，新的研究表明，要实现AI模型的优秀性能，并不一定要依靠堆算力与堆规模，论文作者，马毅、曹颖、沈向洋深度学习火热十年，不得不说，其机遇与瓶颈在这十年的...。
快餐连锁餐厅是指经营快餐饮食同类商品和服务的同一品牌的快餐餐厅，具有经营理念、企业识别系统及经营商标、商品和服务、经营管理四个方面的一致性，在全球中，肯德基、麦当劳、汉堡王、必胜客、吉野家等是知名的快餐连锁餐厅....。
摘要我们围绕一个问题来研究机器学习的八个领域，随着机器学习系统日益变得智能化与自动化，应当制定什么样的原则以确保机器学习的行为与操作者的利益相一致，我们聚焦于实现AI一致性过程中遇到的两个技术瓶颈，确定一个合适的目标函数遇到的挑战；即使目标函数未能与设计者的意图达到完全匹配，设计出能够避免超出预料范围的结果与不可取的行为的AI系统所遇...。
医生专家的手动标注是医学影像AI研究的基石，标注软件需要尽可能节省医生手动标注的耗时，减少医生标注的痛苦，并帮助医生提高标注的质量与一致性，作为首款国产一站式医学影像标注软件，Pair软件具备专业便捷、通用易用且智能化的特点，据了解，Pair由深圳大学医学超声影像计算实验室，MedicalUltrasoundImageComputin...。
数据共享对药企模型的提升有一些帮助，但并不像大家预测中的那么大，有很多算法的细节仍有待突破，比如不同药企的数据存在不一致性等问题，近日，，医健AI掘金志，推出，AI制药十人谈，系列，探究AI制药的前景与隐忧，浙江大学药学院教授谢昌谕在与，医健AI掘金志，的对话中，提到了欧洲的药企数据共享项目MELLODDY，指出数据共享这一...。
本文部分内容整理自钛媒体相关分享会活动，在现如今，我们面对的黑产欺诈者呈现流窜性、专业化、团伙化等特征，行业内更需要共筑风控智能网络，通过联防联控让欺诈者寸步难行，同盾科技联合创始人兼反欺诈及基础风控部产品总监祝伟如此说道，随着互联网科技日新月异，区块链等底层技术的开始在比特币以外得到应用，比如跨境金融支付，那在追求效益的基础下，...。
字节跳动正式宣告进军AI视频生成，9月24日，字节跳动旗下火山引擎在深圳举办AI创新巡展，一举发布了豆包视频生成，PixelDance、豆包视频生成，Seaweed两款大模型，面向企业市场开启邀测，活动现场展示的视频生成效果令人惊叹，无论是语义理解能力，多个主体运动的复杂交互画面，还是多镜头切换的内容一致性，豆包视频生成大模型均达到业...。
ScalingLaw或将终结——这是最近备受热议的话题之一，该讨论最初源自于哈佛大学一篇名为，ScalingLawsforPrecision，的论文，其研究表明当下的语言模型在大量数据上经历了过度训练，继续叠加更多的预训练数据可能会产生副作用，这释放的信号是，在自然语言处理领域，ScalingLaw目光所及地到达瓶颈，单纯依靠增加模型...。
雷锋网按，上一期公开课提到了指纹的传感方法，传感器把真实的指纹采集为图像，算法来识别指纹的一致性，而万能指纹是目前还没有开始研究的一种攻击方法，在雷锋网的上一期硬创公开课中，迈瑞微电子创始人李扬渊为大家分享了，指纹传感器原理和假指纹攻防技术，的内容，其中，就提到了在系统层面，假指纹攻击有三个等级，这三个等级对指纹识别的技术需求都不一样...。
11月26日消息，阿里云人工智能平台PAI通过中国信通院组织的ITU，TAICP，GA，TechnicalSpecificationforArtificialIntelligenceCloudPlatform，GeneralArchitecture，人工智能云平台技术规范国际标准和，智算工程平台能力要求，国内标准一致性测评，成为国内首...。
据DigitalTrends网站报道，谷歌一直以来都在智能家居领域做着领先的尝试和努力，这其中就包括盥洗室，近日，谷歌申请的一项专利显示，可以帮助用户在家中的洗手间中随时监测自己的健康状况，通过在盥洗室中的一些构造——例如马桶座圈、浴室脚垫等嵌入传感器来实现这项功能，举个例子，就像专利申请材料中描述的那样，在浴室的脚垫中嵌入一个传感器...。
2024年Sora的横空出世，再次将人工智能推向了新高度，全行业都在积极拥抱AIGC，新的AI时代来临，也引出了随之而来的安全问题，时至今日，网络安全已经成了企业的底板工程，离开安全，任何AI技术的产业化落地都缺乏根基，难以走远，安全和AI的关系，二者相互博弈，也在相互成就，正如新华三所说，，安全是保障AIGC的核心基石，AIGC是提...。
要闻提示1.网传平安银行上海部分部门回迁深圳，变相裁员，公司回应，少量员工工作地点有变化调整2.微软云中国裁员，约80余人受影响，EC部门成重灾区3.网红品牌AMIRO觅光被曝大裁员，700人公司仅剩不到300人，赔偿方案0.5n和发放最低工资二选一4.建行不允许员工回应降薪问题，员工表示，较为敏感，，公司已不允许对外回应5.马斯克...。
所有银行，都在数字化时代大潮中，亲历着转型，或主动为之，躬身入局，其业务模式、运营模式在技术支撑下不断重塑，或被裹挟前行，从众登场，在长期目标与短期利益面前寻求妥协，平衡前进，从结果上看，有的银行颇见成效，喜讯连连；有的银行历经艰辛，曲折向前，那么，早在10年前就开始发力数字化的，建设银行，，数字化之路是如何的，一，6年磨一剑，打造...。
对于前阵子上海十个警察被一个歹徒砍死，我觉得很遗憾，因为袭警是重罪，这个人却冲进派出所就是警察聚集的地方伤人，一定没有考虑过后果，因为人死了，故意杀人或者故意伤人致死都是要被判死刑的再次不管死者是什么身份失去的都是鲜活的生命，伤害的都是他家人的感情我觉得这个人做错了，无论怎样的愤怒，都不用应该用杀人这种方式解决，很多年前，上海的杨某杀...。
