大数据背景下的最佳异常检测算法 孤立森林 (大数据背景下财务会计的转型与发展)
双语原文链接： Isolation Forest is the best Anomaly Detection Algorithm for Big>"iForest" 是一个优美动人，简洁优雅的，只需少量参数就可以检测出异常点。原始论文中只包含了最基本的数学，因而对于广大群众而言是通俗易懂的。在这篇文章中，我会总结这个算法，以及其历史，并分享我实现的代码来解释为什么是现在针对而言最好的异常检测算法。
为什么iForest是现在处理大数据最好的异常检测算法
总结来说，它在同类算法中有最好的表现。在多种数据集上的表现和精确度都比大多数其他的异常检测算法要好。我从的作者们那里取得了基准数据，并在中逐行使用绿红梯度的条件格式化。用深绿色来标识那些在这个数据集上有最好的表现的算法，并用深红色来标识那些表现得最差的：
绿色表示好而红色表示差。我们看到在很多的数据集以及总体的角度上是领先的，正如平均值，中位数，标准差的颜色所表示。图源：作者。数据源：
我们看到在很多的数据集上以及总体上的表现是领先的，正如我计算出来的平均值，中位数，标准差的颜色所表示的一样。从（最重要的项指标的准确度）的表现来看也能得出同样的优秀结果。
图源:author.Data
源:
可扩展性。以它表现出来的性能为标准而言是最快的。可以预料到的是，和基于频数直方图的异常点检测算法（）在所有的数据集上都有更快的速度。
近邻算法（）则要慢得多并且随着数据量变多它会变得越来越慢。
我已经成功地在一个包含一亿个样本和三十六个特征的数据集上构建出孤立森林，在一个集群环境中这需要几分钟。而这是我认为的算法没办法做到的。
图源:author.Data
源:
要点/总结
我通过下面的综述来非常简洁地总结原来有10页内容的论文：
孤立树节点的定义：T或是一个没有子节点的叶子节点，或者是一个经过检验的内部节点，并拥有两个子节点（Tl，Tr）。我们通过递归地进行下述过程来构造一棵iTree：随机选择一项特征q和一个分割值p来划分X，直到发生下列情形之一为止：（i）树到达了限制的高度，（ii）所有样本被孤立成一个只有他们自己的外部节点，或者（iii）所有数据的所有特征都有相同的值。
路径长度：一个样本x的路径长度h（x）指的是从iTree的根节点走到叶子节点所经历的边的数量。E（h（x））是一组孤立树的h（x）的平均值。从这个路径长度的平均值，我们可以通过公式E（h（x））：s（x，n）= 2^[^[− E（h（x）） / c（n）]来得到一个异常分数s（x，n）。基本上，s和E（h（x））之间存在一个单调的关系。（想知道细节的话请查阅文末的附录，有一张图描述了他们之间的关系）。这里我不会讨论c（n），因为对于任意给定的静态数据集而言它是一个常数。
用户只需要设置两个变量：孤立树的数量和训练单棵树的子采样大小。作者通过对用高斯分布生成的数据做实验来展示了只需要少量的几棵树和少量的子采样数量就可以使平均路径长度很快地收敛。
小的子采样数量（抽样的抽样）解决了和问题。造成这两个问题的原因是输入的数据量对于异常检测这个问题来说太大了。是指由于某个正常的样本点被异常点所包围而被错误地标注为异常，则是相反的情况。也就是说，如果构建一个树的样本中有很多异常点，一个正常的数据点反而会看起来很异常。作者使用乳房线照相的数据来作为这个现象的一个例子。
小的子采样数量使得每一棵孤立树都具有独特性，因为每一次子采样都包含一组不同的异常点或者甚至没有异常点。
不依赖距离或者密度的测量来识别异常点，因此它计算成本低廉且有较快的速度。这引出了下一个议题。
线性的时间复杂度，（）。不正规地说，这意味着运行时间随着输入大小的增加最多只会线性增加。这是一个非常好的性质：
历程
见多识广的读者应该知道一个优秀的新想法出现与它的广泛应用之间可能会有数十年之久的间隔。例如，逻辑函数在年被发现，在年被重新发现（更多信息可参考）而到如今才被数据科学家频繁地用于逻辑回归。在最近几十年，一个新想法和它被广泛应用的间隔时间已经变得更短了，但这仍然需要一段相对较为漫长的时间。最先在年公开，但直到年后期才出现了可行的商业应用。 这是其时间线：
12/2008 -iForest的原始论文发布(论文)
07/2009 -iForest的作者们最后一次修改其代码实现(代码)
10/2018 -h2o小组实现了版和R版的iForest(代码)
01/2019 -PyOD在Python上发布了异常检测工具包(代码,论文)
08/2019 -Linkedln 工程小组发布了 iForest的Spark/Scala版本实现(代码,通讯稿)
代码实现
由于这篇文章是关于的，我采用了的集群环境。这里省略的大部分的脚手架（软件质量保证和测试之类的代码）的代码。如果在配置集群环境中需要帮助，可以参考我的文章：如何为搭建高效的
集群和
我发现能很轻易且快捷地处理万行，个特征的数据，只需几分钟就完成计算。
| importh2o#h2oautomateddatacleaningwellformydatasetimportpkg_resources###################################################################printpackages+versionsfordebugging/futurereproducibility###################################################################dists=[dfordinpkg_resources.working_set]#Filteroutdistributionsyoudon'tcareaboutanduse.dists.reverse()dists###################################################################initializeh2oclusterandloaddata##################################################################h2o.init()#importpyarrow.parquetaspq#allowloadingofparquetfilesimports3fs#forworkinginAWSs3s3=s3fs.S3FileSystem()df=pq.ParquetDataset('s3a://datascience-us-east-1/anyoung/2_processedData/stack_parquetFiles',filesystem=s3).read_pandas().to_pandas()#checkinputdataloadedcorrectly;prettyprint.shapeprint('('+';'.join(map('{:,.0f}'.format,df.shape))+')')#ifyouneedtosampledatadf_samp_5M=df.sample(n=5000000,frac=None,replace=False,weights=None,random_state=123,axis=None)#convertPandasDataFrameobjecttoh2oDataFrameobjecthf=h2o.H2OFrame(df)#dropprimarykeycolumnhf=hf.drop('referenceID',axis=1)#referenceIDcauseserrorsinsubsequentcode#youcanomitrowswithnasforafirstpasshf_clean=hf.na_omit()#prettyprint.shapewiththousandscommaseparatorprint('('+';'.join(map('{:,.0f}'.format,hf.shape))+')')fromh2o.estimatorsimportH2OIsolationForestEstimatorfromh2o.estimatorsimportH2OIsolationForestEstimatorfullX=['v1','v2','v3']#splith2oDataFrameinto80/20train/testtrain_hf,valid_hf=hf.split_frame(ratios=[.8],seed=123)#specifyiForestestimatormodelsisolation_model_fullX=H2OIsolationForestEstimator(model_id="isolation_forest_fullX.hex",seed=123)isolation_model_fullX_cv=H2OIsolationForestEstimator(model_id="isolation_forest_fullX_cv.hex",seed=123)#trainiForestmodelsisolation_model_fullX.train(training_frame=hf,x=fullX)isolation_model_fullX_cv.train(training_frame=train_hf,x=fullX)#savemodels(haven'tfiguredouthowtoloadfroms3w/opermissionissuesyet)modelfile=isolation_model_fullX.download_mojo(path="~/",get_genmodel_jar=True)print("Modelsavedto"+modelfile)#predictmodelspredictions_fullX=isolation_model_fullX.predict(hf)#visualizeresultspredictions_fullX["mean_length"].hist() |
如果你使用来验证你的带标签数据，你可以通过比较数据集中的正常数据的分布，异常数据的分布，以及原来数据集的分布来进行进一步推理。例如，你可以查看原本数据集中不同的特征组合，像这样：
| N=df.count()df[['v1','v2','id']].groupby(['v1','v2']).count()/Ndf[['v1','v3','id']].groupby(['v1','v3']).count()/N... |
并与使用得出的正常异常数据集进行比较。正如下面所展示的这样：
| ###################################################################columnbindpredictionsfromiForesttotheoriginalh2oDataFrame##################################################################hf_X_y_fullX=hf.cbind(predictions_fullX)###################################################################Sliceusingabooleanmask.Theoutputdatasetwillincluderows#withcolumnvaluemeetingcondition##################################################################mask=hf_X_y_fullX["label"]==0hf_X_y_fullX_0=hf_X_y_fullX[mask,:]mask=hf_X_y_fullX["label"]==1hf_X_y_fullX_1=hf_X_y_fullX[mask,:]###################################################################Filtertoonlyincluderecordsthatareclearlynormal##################################################################hf_X_y_fullX_ml7=hf_X_y_fullX[hf_X_y_fullX['mean_length']>=7]hf_X_y_fullX_0_ml7=hf_X_y_fullX_1[hf_X_y_fullX_0['mean_length']>=7]hf_X_y_fullX_1_ml7=hf_X_y_fullX_3[hf_X_y_fullX_1['mean_length']>=7]###################################################################ConverttoPandasDataFrameforeasiercounting/familiarity##################################################################hf_X_y_fullX_ml7_df=h2o.as_list(hf_X_y_fullX_ml7,use_pandas=True)hf_X_y_fullX_0_ml7_df=h2o.as_list(hf_X_y_fullX_0_ml7,use_pandas=True)hf_X_y_fullX_1_ml7_df=h2o.as_list(hf_X_y_fullX_1_ml7,use_pandas=True)###################################################################LookatcountsbycombinationsofvariablelevelsforInference##################################################################hf_X_y_fullX_ml7_df[['v1','v2','id']].groupby(['v1','v2']).count()hf_X_y_fullX_0_ml7_df=h2o.as_list(hf_X_y_fullX_0_ml7,use_pandas=True)...#Repeataboveforanomalousrecords:###################################################################Filtertoonlyincluderecordsthatareclearlyanomalous##################################################################hf_X_y_fullX_ml3=hf_X_y_fullX[hf_X_y_fullX['mean_length']<3]hf_X_y_fullX_0_ml3=hf_X_y_fullX_1[hf_X_y_fullX_0['mean_length']<3]hf_X_y_fullX_1_ml3=hf_X_y_fullX_3[hf_X_y_fullX_1['mean_length']<3]###################################################################ConverttoPandasDataFrameforeasiercounting/familiarity##################################################################hf_X_y_fullX_ml3_df=h2o.as_list(hf_X_y_fullX_ml3,use_pandas=True)hf_X_y_fullX_0_ml3_df=h2o.as_list(hf_X_y_fullX_0_ml3,use_pandas=True)hf_X_y_fullX_1_ml3_df=h2o.as_list(hf_X_y_fullX_1_ml3,use_pandas=True) |
我完整地实现了上面的代码并把我的数据输出到中，很快就可以得到如下的一些累积分布函数：
图源：作者自己的作品。绿线表示标识为的数据，即正常样本红线
代表的是标识为的样本，被认为有可能是异常的。
参考文献
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
中国知网知识发现网络平台—面向海内外读者提供中国学术文献、外文文献、学位论文、报纸、会议、年鉴、工具书等各类资源统一检索、统一导航、在线阅读和下载服务。涵盖基础科学、文史哲、工程科技、社会科学、农业、经济与管理科学、医药卫生、信息科技等十大领域。
快创云是一个自媒体文案聚合分享平台,提供多种类型的文案创作服务,包括自媒体解说影评文案、优质的电影解说文案、好看的电视剧解说文案、精选文案创作、快创解说影评文案、动漫解说文案以及纪录片解说文案大全。我们致力于帮助自媒体创作者实现解说文案影评创作和丰富的文案经验和深厚的文化底蕴,能够根据对应文案的需求,量身定制高质量、有创意的文案,让您的自媒体解说文案内容更加精彩,吸引更多的粉丝和关注
喜娃游乐是一家主营儿童乐园类无动力游乐设施的生产厂家。所生产的设备适用于各大景区、儿童游乐场、室内乐园、公园、广场等多种地方。是一家集设计、生产、销售为一体的的生产企业。产品包含无动力乐园设备、大型景区设备、室内儿童乐园设备以及各种景观装饰类产品。厂家直销，品质有保证。
广州方舟市场研究咨询有限公司——市场调查公司|满意度测评供应商|患者满意度调查
艺术收藏网是具有中国特色的全亚洲地区最的专业艺术收藏平台，该平台致力于弘扬中国传统文化,典藏名家艺术珍品，集艺术品收藏、拍卖、展览、市场动态，艺术品行情资讯为一体的权威性的艺术收藏门户网站。
佰益建建站平台是专业的企业网站建设模板站,是企业快速建站的快速选择,五合一建站平台,企业网站建设建好网站
过去30余年的发展我们把握机遇，不断拓宽业务领域，提升企业品牌，逐渐发展成拥有多专业、能力强、作风正、效率高的专业团队。
济宁鼎元机械有限公司主要经营塑料网材机械、管材机械、往复螺杆式塑料瓶吹塑机、钢丝包塑生产设备、手扶式自走小吊车以及部分塑料制品。公司尊崇“创新、灵活、勤奋、进取”的企业精神，本着为客户创造价值的信念，专注于持续不断的技术更新和新产品的开发，坚持而扎实地走科研与生产紧密结合的专业道路，重视客户需求，重视市场信息，创造良好的企业环境，以全新的管理模式、完善的技术、周到的服务来打动客户。
爱开大学生网提供大学生新闻网上投稿平台，支持大学生社会实践网上投稿，包括大学生新闻、大学生社会实践、大学生活等栏目信息，大学生自己的网上投稿平台。
陕西英联环保科技有限公司伸缩接头水处理设备
西安海程科技有限公司
项目商讯网是免费综合型B2B电子商务平台,分类信息平台,面向五金工具,机械设备,电力电子,设备维修,服装服饰,化工原料,物流运输,酒店餐饮等各大热门行业,帮助企业进行免费的高效推广
雷锋网消息，2021年1月27日，28日，由帕特森RISC，V国际开源实验室，RIOS，、鹏城实验室、清华，伯克利深圳研究院主办的第二届，RISC，V国际开源论坛，顺利举办，清华，伯克利深圳研究院共同院长、清华大学深圳国际研究生院执行院长高虹、深圳市科技创新委员会副主任钟海、鹏城实验室主任高文等领导致开幕词，2017年图灵奖得主、加州...。
1961年，，人工智能之父，约翰·麦卡锡提出UtilityComputing，效用计算，的目标，他认为，有一天，计算可能会被组织成一个公共事业，就像电话系统是一个公共事业一样，如今，他的设想已经成为现实，在数字浪潮下，算力已经成为像水、电一样的公共基础资源，我们每个人的生活，还有工厂企业的运转，政府部门的运作，都离不开算力，它已经...。
这里面有的自己仔细找找一定有的，恩恩下好记的采纳就行了突然出现的锦旗瞬间放大，挡在小羽身前哗哗作响，那锦旗突然的阻隔顿时那股吞噬之力却是小了许多，小羽趁此时机再次稳住身体，嘤……，小羽的身后幻化出一只凤凰的模样，只是有些虚渺的感觉，但那凤鸣却清亮的很，在小羽身后幻化出凤凰的口中喷出一道巨火向玄冥蛇的口中而去，玄冥蛇被那突然出现的龙魂...。
现在工作越来越难找，同质化竞争也越来越严重，职场中能不能脱颖而出、成为这个领域的高手，是升职加薪的通道，找工作时，如果更加优秀，更加突出，也会有更多的企业愿意聘用，创业时，如果是这个行业、领域的高手，也会增加成功的概率，那如何才能成为一个行业或者领域的高手呢?其实只要具备这三种思维就行，一、学习思维学习的过程是，从认识、了解、思考、实...。
安装第三方软件看电视直播教程，1.从电脑里下载好当贝市场apk，点击立即下载，或下载创维酷开破解版当贝市场apk，点击立即下载，并拷贝到U盘，然后将U盘连接，这时在电视主界面点击，我的应用，；在我的应用中，进入，U盘安装，，选择当贝市场安装包进行安装；安装好打开当贝市场，选择你想下载的电视软件，比如优酷TV版应用；4.但下载完成后点击...。
财联社11月13日电，特朗普通知盟友，他宿愿莱特希泽担任贸易代表，华尔街日报，关系资讯，莱特希泽或重担美国贸易代表，对华，鹰派，，主张贸易包全主义，观察者网，[文，观察者网齐倩]美国大选刚刚完结，无关未来特朗普政府的人员组成，成为外界关注话题，据英国，金融时报，11月8日报道，多名据称相熟特朗普过渡团队外部探讨的知情人士泄漏，特朗普...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
手机qq是日常必备的交换工具，有时刻须要多个qq启动切换上班，那么怎样收费放开注册多个QQ号并且不要手机验证呢，小编教你方法，1、在网络搜查外面输入QQ注册，单击进入，2、在进入到注册页面后，咱们先注册一个号，可以看到是须要输入手机验证码的，3、在注册成功后，就智能跳转页面，这个时刻再次放开注册账号，点击邮箱注册，4、而后输入自己的消...。
哈弗H7L蓝标车是由一汽，公众汽车公司推出的一款中级SUV，领有极具奢侈感的外观设计，融入了时兴、静止、智能的元素，充沛表现出哈弗标记性的家族设计理念，它搭载了双离合变速箱，品牌自主研发的1.5T涡轮增压发起机，带来能源更微弱，百公里减速仅需9.9秒，给驾驶者带来更多的乐趣，1.安保性能哈弗H7L蓝标车最大的好处就是它装备了多项先进的...。
跑腿加盟全国招募城市合伙人总部扶持微顶跑腿限时加盟费免保证金免收品牌费总部大力扶持开店门槛轻运营区域独家实时分润电话咨询加盟详情...
重庆分类目录网站将2012年07月共87个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
在金融支持民企发展高规格会议上发言，这五家民营企业大有来头,金融,制造业,亨通集团,民营经济,民企发展,民营企业
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
你以为AI只会打王者，NO，踢足球也溜的很！先来欣赏两个精彩片段，快、准、直！一记完美的长传后，直射球门！连续突破重围，轻松传球4次，看到如此娴熟的球技，你是不是和小编一样误以为是人类，其实赛场上的球员全部是AI代理，刚刚完成传球、射门的黄色球衣球员正式腾讯的绝悟AI——足球版WeKick，绝悟，是腾讯AILab与王者荣耀联合研发的策...。
雷军，小米手机超苹果晋升全球第二，被冷嘲热讽，不可理喻8月4日，雷军发微博称，小米手机销量超苹果，晋升全球第二，不可思议的是，网上居然出现一些冷嘲热讽的声音，不可理喻！雷军表示，小米，仅11年历史的中国科技企业，面对苹果、三星这样的世界级科技巨头，要想赶超，谈何容易，小米手机称，中关村一家小公司，刚开始三年做到全球第三，创造奇迹，接着...。
9月6日，第十四届智慧城市与智能经济博览会，以下简称智博会，开幕主题活动在宁波举办，本届智博会着重围绕，数字赋能新型工业化，主题，设置开幕活动、展览展示和前瞻研讨、产数合作、赛事赋能、开放活动等4大板块活动，旨在着力深化数字经济交流合作，助力省、市数字经济高质量发展，培育壮大新质生产力，中国工程院院士、浙江大学教授潘云鹤，浙江省人大常...。
说到小龙虾想必很多人都十分的熟悉了，小龙虾是近年来深受人们喜爱的一种美食，小龙虾的美食制作方式非常丰富，而且口味多样，可以添加进来的食材也非常的丰富，这种有着多种食材以及丰富口味加持的美食，是很多人的休闲餐饮选择，虾客食光小龙虾作为一家知名的品牌，在小龙虾美食制作上有着好的口碑加持，那么，虾客食光小龙虾可以加盟吗，虾客食光小龙虾总部位...。
