不 闯祸 怎么使未来机器人 乖乖听主人的话 (怎样才能不闯祸)
摘要
我们围绕一个问题来研究机器学习的八个领域：随着机器学习系统日益变得智能化与自动化，应当制定什么样的原则以确保机器学习的行为与操作者的利益相一致？我们聚焦于实现AI一致性过程中遇到的两个技术瓶颈：确定一个合适的目标函数遇到的挑战；即使目标函数未能与设计者的意图达到完全匹配，设计出能够避免超出预料范围的结果与不可取的行为的AI系统所遇到的挑战。
在本研究中涉及到的开放性问题包括：我们如何通过强化手段训练学习者采取行动，以便他们能够经得起智能化监督器的有意义的评估？应当选用何种目标函数，以便系统“不会产生过大的影响”，“也不会产生太多负面影响”？在文章中，我们将讨论这些问题，相关的研究及对未来研究产生的潜在影响，旨在强调机器学习领域中目前可以驾驭研究的相关研究话题。
引言
近年来人工智能研究领域取得的进步再次激发了人们对Russell和Norvig(2010)所提出的问题兴趣，“倘若我们成功了？”如果AI研究者成功地设计出能与人类媲美的具有跨领域学习与决策能力的机器，这将会对科学，技术，人类的生活产生不可估量的影响。
比如，假设一个研究团队希望运用一种高级的ML系统制定相关方案，以发现治疗帕金森综合症的方法。如果这种高级ML系统能够制定计划，从而提供计算资源在治疗方法空间内开展广泛且有效的搜索，该团队将对这一高级ML系统持肯定支持的态度。如果该高级ML系统能够制定出计划，快速扩展机器人实验室，该种类型的机器人实验室能够实施快速而有效的实验，却会对生物圈产生大规模的负面影响，该团队将对这一系统持反对的态度。问题在于，我们应当如何设计系统（及选择目标函数），以使我们的ML系统能够可靠地实现第一个目标，而非第二个目标？
凭直觉来讲，倘若我们能够规范自己想要表达的意思---“找到一种治疗帕金森综合症的方法，而非使用任何极端的手段”，那么Bostrom(2014)在“超智能化”一书中描述的危险将会被减少。但是，为了实现这一目标而为正式确定令人满意的目标函数作出任何不成熟的尝试，这种行为通常将生成产生超出人们预期的行为的函数。
主要的技术难题表现在哪些方面？Russell（2014）强调两点：由于很难对人类的价值观念进行清晰界定，如此便难以找到一种与人类价值体系完美匹配的系统目标函数；任何具有实力的智能系统均偏重于保证自身的存在性与获取物理和计算资源---不是为了其自身的利益，而是为了成功地完成既定的任务。换句话讲，至少存在两种明显的研究类型：这两种研究类型能够提高未来研究者设计出具有一致性AI系统的能力：我们能够可以做一些研究以便较容易确定目标函数；我们可以做一些研究以设计出能够避免大量负面影响和负面刺激的AI系统，即便有时目标函数不能与设计者的意图达到完全的一致。Soares与Fallenstein（2014）称前面一种方法为“价值规范”，后一种为“错误容忍”。
本研究基于这两种保持高级ML系统一致性的方法，探索8个研究领域，其中一些领域已经在更大的ML研究社区中激起研究兴趣。其中，一些研究领域聚焦于价值规范，一些聚焦于错误容忍，还有一些将两者结合在一起。由于减少容易犯错的人类程序员可能到来的错误风险本身就是人类共享的价值理念，这两种研究目标之间的界限可能并不是那么清晰。
为了使下文讨论的解决问题的方案在未来更为有用，这些方案必须能够适用于那些比现存的ML系统更为有效的系统。那些主要依靠于系统对于某个可发现的事实的不敏感，或依靠于系统无法提出一个特殊的策略的解决方案，从长远来看，这些方案都不甚令人满意。正如Christiano(2015c)所讨论的，如果用于保持ML系统与其设计者的意图相一致的技术不能与智能相匹配，那么在我们可以运用ML系统在保守条件下可以取得的成果与可以运用该系统有效取得的成果两者之间将出现差异。
我们将聚焦于安全保障，在目前运用ML的典型环境中，这些安全保障可能会显得极端，例如保障形式，“过一段时间后，该系统将会出现零显著错误”。这些保障形式在以安全为主的系统中是不可或缺的，因为一个小错误将在现实世界中产生灾难性的后果。（这种形式的保障之前是有先例的，例如，Li,Littman,与Walsh（2008）的KWIK学习框架中提及到的）。当我们在考虑小问题和简单的例子时，我们应当把这些强有力的保障方式记在心中。
我们考虑的八个研究主题如下：
1.归纳式歧义识别：我们如何训练ML系统来检测并告知我们通过训练数据并不能够确定测试数据的分类？
2.强健的仿真方法：我们如何设计并训练ML系统以有效地模仿复杂且困难任务中人类的行为活动？
3.知情式监督：我们如何训练一种强化学习系统，在精确评估系统性能方面能够帮助一个智能监督者，如人类？
4.可普及的环境目标：我们如何创建一些系统，使这类系统能够强健地追求环境状态下确定的目标，而非追求基于感官数据确定的目标？
5.保守性的概念：如何训练一个分类器，以提出一些有用的概念来排除那些极为非典型的例子和边缘化的案例？
6.影响措施：应当采取什么样的措施来刺激系统以最小的负面影响来追求目标？
7.温和型优化措施：我们如何设计出不会过分追求其目标的系统，即当所追求的目标已经得到很好的实现时便适可而止，而不是为了实现绝对优化的预期成果，投入过多的精力搜索资源？
8.避免工具性激励措施：我们应当如何设计并训练系统，使这些系统缺少默认的激励措施来操纵与欺骗操作人员，竞争稀缺资源等？
在第2部分，我们将轮流简要介绍每一个研究主题及每一个研究领域中相关的研究案例。接下来我们将讨论对于未来研究的启示，即鉴于大量的计算资源和自动化，我们期望能够衍生出有助于设计出强健且可靠的ML系统的工具来。
研究动机
近年来，机器学习领域已经取得突飞猛进的发展。Xu等(2015)运用一个基于注意的模型能够极为精确地评估并描述图像（通过字幕）。Mnih等(2016)运用深度神经网络和强化学习在多种Atari围棋比赛中取得了好的性能测试结果。Silver等(2016)运用经由监督式学习和强化学习训练，且与蒙特卡洛模型技术相匹配的深度神经网络战胜了人类围棋世界冠军。Lake,Salakhutdinov及Tenenbaum(2015)运用分级式Bayesian模型仅需要使用一个单一的例子便可以学习视觉概念。
从长远看来，运用机器学习和其他AI技术的计算机系统将会变得越来也智能，人类也将有可能相信那些系统可以作出更多的决策，变得更加自动化。随着这些系统的性能越来越高，使这些系统的行为与操作者的意图保持一致，不会对全社会造成危害，这一点变得尤为重要。
当AI系统在性能方面得到越来越快的提升，设计出能够可靠地把这些系统与预期的目标保持一致的训练程序和测试准则将变得越来越困难。例如，我们来看一下下面这个例子：依据得分实施奖励，训练一个强化学习者来玩视频游戏的任务（per Mnih等，2013）。倘若学习者在游戏过程中找到一些能够使其获得高分的漏洞，他将采取措施利用那些漏洞，忽视程序员感兴趣的游戏特征。与我们的直觉相反，提高系统的性能将减少这些学习者在游戏中取胜的机率，这在某种程度上与我们的感觉相反，由于系统越智能，越能够找出训练程序与测试准则中的漏洞（如若获取一个较弱强化学习者的这种行为的简单实例，请参照Murphy(2013)）。
智能系统能够以惊人的方式解决问题的能力称得上是一种特征，而非一种瑕疵。它们能够以一种连程序员都无法想出的聪明的方式来达到目标，这是这类学习系统具有吸引力的重要特征之一。但是，这一性质是一柄双刃剑：当这一系统变得更善于找到与人们直觉相反的解决方法，它也将更善于找到能够形式上实现操作者的直接目标，而不满足其预期的目标的方法。
由于这些智能系统追求现实生活中目标，这些漏洞也将变得更为微妙，更为冗余，且更为重要。就此，我们可以考虑一下为学习系统设计出强健的目标函数，以使得这些学习系统能够代表程序员观点与欲望，在此过程中会遇到的挑战与困难。当程序员了解到该系统的目标函数未得到正确规范，他们便想要修复这一缺陷。然而，当学习者意识到这样一点，他将视其为一个自然的刺激，便会想办法掩盖目标函数中存在的这些缺陷，因为如果该系统被用于追求不同的目标，其当前目标将不可能得到实现。（这一现象将在Bostrom,2014与Yudkowsky,2008一文中作详细讨论。Benson-Tilsen与Soares(2016)提供了一个简洁的阐释）。
上述讨论结果激励我们研究规范目标函数的工具与方法，使得这些目标函数能够避免那些默认的激励措施，及研发ML系统的工具与方法，使得这些机器学习系统在追求那些目标时不要过度优化。
下文是对提到的八个研究主题及相关研究成果作详细介绍，在此不做赘述。
结论
能够更好地理解上述描述的八个开放性研究区域中的任何一个领域均将提高我们未来设计出强健且可靠的AI系统的能力。以下是对上文讨论结果的回顾：
1,2,3---更好地理解强健的归纳式歧义识别，仿人类，知情式监督将有助于设计出能够由人类进行安全地监督（必要时询问人类）的机器学习系统。
4---找到规范环境目标的更好的方法，这将使得设计出追求我们真正关心的目标的系统更为容易。
5,6,7---更好地理解保守型概念，低影响力的措施，温和型优化方案会使得设计出高级系统更为容易，这种系统的错误率将降低，并且允许在线测试和调整等操作。与一个试图实现某个特殊目标函数最大化的超智能系统相比，一个集保守型，低影响力，温和型优化三种特征于一体的超智能系统能够得到更为简单安全地运用。
8---一个避免收敛工具子目标的通用策略将帮助我们构建一类能够避免不可取默认激励措施，如欺骗操作人员，竞争资源的激励策略，的学习系统。
在研究诸如上述讨论过的问题时，我们应当记得，这些研究是用于解决我们未来可以预见的高智能系统可能带来的长期问题的，这一点极为重要。正如那些在理论层面可行，在实践中费用惊人的方案一样，那些适用于当代智能系统，却能够预测到不适用于更高性能学习系统的的解决方案同样是不可取的。
这八个研究领域支持以下观点：存在一些开放性的技术问题，其中一些问题已经得到学术界的注意，为此所做的研究可能会对一些试图构建强健且有益的高级ML系统的研究者有所帮助。
如需对本文作多了解，请访问原文链接 细节
原创文章，未经授权禁止转载。详情见 转载须知 。
勒索病毒、永恒之蓝、wannacry、安全卫士离线救灾版、文档卫士、安全卫士
Python、JAVA、大数据、互联网架构、C语言、PHP、区块链、前端开发、中小学编程等多个专业领域，也会随着行业发展推出更多系统化的课程。让初学者一套课程就能成为所学专业的高手。
苏迪扬科技有限公司是一家有十二年开发经验的老牌互联网企业,公司拥有一批年轻活力的技术精英，以诚信、专业、共赢为企业指导思想，是在全国基于互联网络提供全面电子商务咨询与解决方案的高新科技企业,业务范围:域名服务器、网站建设(PC站/手机站)、微信二次开发、电商平台、APP开发、网站推广、企业内部信息化、软件开发和系统集成等。
三思查询网免费提供大众日常生活实用查询工具服务。
瑞安市傲瑞机械有限公司
佰益建建站平台是专业的企业网站建设模板站,是企业快速建站的快速选择,五合一建站平台,企业网站建设建好网站
陕西齐禾天地建材是透水砖的生产厂家，也叫渗水砖,属于绿色环保新型建材，使用寿命长；外表光滑，边角清晰，线条整齐；抗冻性能和抗盐碱性高；我公司产品有透水砖厂家、西安吸水渗水砖、植草砖厂家、PC彩砖、草坪砖、道沿石、盲道砖、渗水砖、护坡砖等。定制各种规格的PC透水砖，品种多规格全，质量高，售后无忧，其产品质量得到了用户的高度认可，工厂交通运输及其便利。
广东珠三角环卫分类垃圾桶、垃圾箱、果皮箱、不锈钢垃圾桶20年专业定制品牌厂家,深圳机场、贵阳机场、广州白云机场垃圾桶等大型企业单位及市政街道景区环保垃圾箱优质生产商,分类垃圾桶垃圾箱果皮箱产品遍布全国为各大城市环卫清洁做贡献.
9466创作助手是思拓面向自媒体博主、媒体记者编辑、企业内容营销团队和组织机构宣传员打造的全流程一站式新媒体内容创作智能工具集。9466创作助手支持多模态创作、多场景应用、多平台发布、多系统接入、多终端协同和多模型选择，深度集成了AI驱动的聊天、搜索、阅读、翻译、校对、全网热点、素材搜集、一键转稿、文生文、文生图、文生音、音转文、视频理解、OCR、图片处理和样式排版等工具，提供沉浸式智能文稿创作体验。
金瀚教育成立于2017年，助考王致力于为医疗大健康从业者提供职业资格考证培训、学历提升、技能培训服务，是一家以医药护行业人才培训为主导，推动大健康产业发展的教育企业。多年来一直致力于医药护考前培训，专业提供执业药师、执业医师、护士资格、卫生资格、口腔技术、中医技能、健康管理师、论文评审、学历提升等多个项目培训咨询服务，课师资力量雄厚，老师认真负责。
宁海影响力网络媒体，全面提供宁海本地综合信息资源，是了解宁海、互动宁海、共建宁海的渠道。
广东金雷环保设备科技有限公司系高科技民营企业,主要产品有:加湿机,工业加湿机,工业加湿器,高压微雾加湿机,超声波加湿机,超声波加湿器,园林景观喷雾机,食用专用加湿机,烟叶加湿机等工业加湿设备
斗罗大陆2电视剧演员表阵容官宣，周翊然饰演唐三，张予曦饰演小舞，陈牧驰饰演戴沐白，孔雪儿饰演朱竹清，许佳琪饰演胡列娜，斗罗大陆2剧情，全大陆高级魂师学院精英赛决赛后，唐三与小伙伴们依依惜别，他们约定五年后再聚首，随即分头踏上各自的人生道路，之后，唐三跟随父亲唐昊来到隐秘山谷特训，精进能力，在唐昊帮助下，唐三在增强经验的同时愈发沉稳，能...。
随着知识付费产业的发展，越来越多的听到一种声音，就是很多人会说，知识付费都是割韭菜，这句话虽然有些偏颇，但是仔细想想，也不无道理，知识付费总会被认为是割韭菜，其实是有他的内在必然性的，那么，什么情况下，用户会认为自己被割了韭菜呢?无非就是买完了东西，消费者觉得自己的钱花的不值当，上当受骗了，就会认为是被割韭菜了，这句话里有一个重点，，...。
3月12日雷锋网消息，今日，百度宣布战略投资极米科技，并通过增资成为后者除创始团队外最大股东，但本次投资金额具体多少，百度方面表示并不知情，据雷锋网了解，此轮投资将主要用于极米无屏电视与激光电视的研发，加强产品与人工智能技术结合，扩展内容方面优势，实际上，百度DuerOS与极米科技之间的合作始于2017年7月，雷锋网查阅公开资料得知，...。
2016年，在Gartner数据中心年度会议上，谷歌风投大佬PeterLevine曾认为，边缘计算将是云计算的，终结者，现在看来，这一激进的论断并未得到印证，倒是云、边、端协同的业态格局逐渐成形，边缘计算作为云、端之间的，中间件，，成为两大势力角逐的灰色地带，这一地带既有微软、亚马逊、阿里、腾讯等云厂商的业态下沉，也有英特尔、高通、...。
小米10手机的价格因不同的配置和地区而有所不同，明确答案，小米10手机的价格在中国市场大致在3999元至5999元之间，具体价格取决于不同的配置和销售渠道，例如，基础版本的小米10可能售价为3999元，而更高配置版本，如更大的内存或更高的处理器版本，可能会有更高的价格，另外，促销活动或特殊节日可能会影响价格，所以请关注最新动态以获得最...。
学校没收学生手机后，手机去向不明，是否已被分配给他人使用，或者已经转售，在手机被没收时，教师通常会说明取回手机的时间，比如一个月后或学期末，且并未赋予权利进行销毁或不予归还，此行为不可取，建议报警处理，如果手机未被归还，且为个人行为，教育局可能认为员工缺乏道德，可对相关人员进行谴责、解雇，或不予追究，但教育局并无责任追回物品，若情况属...。
用电脑下载当贝市场安装包安装包下载并拷贝到U盘中，2、将U盘插入当贝投影的USB接口，识别U盘后，打开U盘3、选择，当贝市场，安装包，进行安装即可当贝市场安装好之后，就可以随意在里面安装你需要的第三方点播、游戏、工具等应用，例如，哈趣影视、当贝酷狗音乐、当贝投屏等如在安装过程中，有任何疑问的，或更多投影安装软件教程，请参考智能电视网，...。
衣食住行四大项，服装和餐饮是频繁被选择的加盟项目，但其实，住，之一项中也蕴含着巨大商机，一方面，我国每年旅游人数都是呈直线上升趋势的，另一方面，商务出差越发频繁，商旅人士对于酒店质量的要求也逐渐提高，市场迫切需要更有特色的酒店产品填补空白，，旗下经济型连锁酒店，拥有合格的发展前景和爆棚的市场口碑，是创业优选品牌，那么，贝壳酒店怎么加盟...。
选择一台家用车时，国际消费者愈加青眼于有着牢靠质量良好口碑的合资品牌，即使售价上有些虚高，也不情愿选择曾经缓缓崛起的国产自主品牌，但作为一个竞争市场，多少钱必需是能够选择产品竞争力下限的，面对国产品牌的强势逆袭，合资品牌只管还没有被自主品牌齐全顶替，但洞悉到这一危机后的合资车企也是开局缓缓拉低身价，将旗下车型售价降落，只要这样才干稳住...。
帕萨特御尊版1.8t的按键经常使用说明书如下，1、定速，首先将定速巡航的拉杆上的滑动按钮向左拉到ON的位置，而后加油或管理车速将车速维持到想要设定的速度，按拉杆顶端的SET钮，此时脚松开油门，你会发现车曾经智能向前走了，帕萨特，PASSAT，是德国公众汽车公司设计的一款中型轿车，在公众汽车谱系中划为B级车，帕萨特自1973年降生，40...。
刷机精灵，怎样下载刷机精灵这个网络搜查下就有很多下载了刷机精灵图标怎样亮呢，首先进入刷机精灵官方，详细操作方法看图片...。
绅宝x35发起机是四缸的，发起机的作用是将汽油柴油的热能经过在密封气缸内熄灭后收缩气体，推进活塞做功，转变为机械能以2016款绅宝x35为例，其是一款小型suv，车身尺寸是长4300mm宽1815mm高1640mm，轴距为2570mm；一绅宝发起机北汽绅宝发起机是什么SicBoX35仅提供代号为A151的15L发起机，最大功率和峰值扭...。
服务器、IP、域名三者有什么关系?ddos攻击为什么换ip?介于太多人对这三者之间的概念模糊不清，小编来用通俗易懂并且用实例举例来给大家讲述一下相互的关系以及攻击对于它们是怎么般的存在，其实服务器，本身也就是一个台硬件设备，我们想象成是一房子A，那么对应房子A，房管局，代表IDC，给小名的房子分配了一个ip地址，就是，也就是平常我们看...。
艺术教育机构现在有很多，特别是美术类的教育，能够让很多孩子满意，现在孩子对美术教育机构的认可度，依赖性都很大，市场也因此出现了很多不错的美术教育机构，希望美术少儿美术教育自从成立以来，就能做到规范化的办学，希望美术少儿美术教育加盟有潜力吗，希望美术少儿美术教育自从创办以来，从事少儿美术教育的课程研发和办学，是个连锁性的教育机构，总部对...。
由中国计算机学会，CCF，主办，福州市人民政府、福州大学承办的2017中国计算机大会，CNCC2017，将于10月26，28日重磅来袭，作为国内计算领域规模最大、规格最高的学术与技术盛宴，CNCC2017亮点满满，高质量的大会，票价向来不菲，作为一个囊中羞涩的穷学生or上班族，你将有机会获得此次会议的免费门票，在了解如何获得免费门票之...。
4月13日，滴滴自动驾驶举办开放日活动，详细分享了对自动驾驶运营的探索和思考，在活动中，滴滴自动驾驶发布了首个自动驾驶自动运维中心，以及首款未来服务概念车DiDiNeuron，同时还公布了在技术、硬件、量产以及新业务探索方面的进展，首款量产车型计划于2025年接入滴滴共享出行网络，实现全天候、规模化的混合派单，城市泛化引擎，让体验逐步...。
获悉，谷歌云大中华区总裁李孔源，KathyLee，或将卸任，多位消息人士称，此次人事变动的主要原因是内部权斗，此前，李孔源与谷歌亚太之间一直有不和传闻，此前了解到，李孔源最早曾在AWS中国工作，曾与AWS中国首任一把手容永康共事，据说其离开AWS后，带了两人来到谷歌云，一为田灼，一为李善瑞，后来田灼离开谷歌云，加入微软云中...。
