机器学习算法实践 K均值聚类的实用技巧 (机器学习)
编者按：本文作者为美国数据分析专家 Bilal Mahmood，他是用户数据分析平台 Bolt 的创始人之一。在本文中，他详细介绍了一种称为 K-Means Clustering（k均值聚类）的算法，其中包括如何衡量算法效果，以及如何确定你需要生成的数据段集数量。雷锋网编译整理，更多AI开发技术文章，关注AI研习社（微信号：okweiwu）。
Bilal Mahmood：我们最常做的分析之一,便是在数据中提取模式。 比方说，某公司的客户可被划分入哪些细分市场？ 我们如何在用户网络中找到特定群体的聚类？
通过机器学习的方式，我们可以得到这些问题的答案。 即使当我们不知道需要查找哪些特定数据段，亦或我们的数据格式是非结构化数据，我们都可以有这么一种技术手段，在算法上，分析出数据中合理的数据模式，合适的数据段和分类结果。
在本文中，我们将会详细介绍一种算法，K-Means Clustering(K均值聚类)，包括如何衡量其效果，以及如何确定我们要生成的数据段集数量。
监督VS无监督学习
在数据分类领域里，有两种有效的机器学习方式。
通过监督学习，如果你搞清楚哪些输入能映射到哪些离散数据段，便可以对结果的分类做预测。 但在许多情况下，实际上不会有这些预定义好的标签，而只有非结构化数据——根本没有定义好的数据段。这时，您可能就需要借助无监督学习，从未标记的数据中推理出目标数据段。
为了更清楚一些，我们以分类T恤尺寸为例
如果我们拿到如图1A所示数据集，我们将有一组宽度（X1）和长度（X2）的输入，以及他们对应的T恤衫尺寸（S（蓝色）L（绿色）） 。 在这种情况下，我们就可以通过监督学习的技术，如逻辑回归，来绘制一个明确的决策边界，并分离出各类T恤。
但如果我们得到一个如图1B所示的数据集，我们得到一组宽度（X1）和长度（X2）的输入，但没有对应的T恤衫尺寸标签。 在这种情况下，我们就需要使用K均值聚类等无监督式学习技术，来找到相似的T恤衫，并将它们聚集到小（蓝色圆圈）和大（绿色圆圈）的各个类中。
在现实世界的许多应用中，你将面临如图2A所示的情况，因此搞明白如何从非结构化的数据中提取出结构，会有很大的用处。
K均值聚类
K均值聚类给无监督机器学习提供了一个非常直观的应用，在非结构化的数据中归纳出结构，
K均值聚类，正如其名，会将您的数据中相似的观察结果，分配到同组簇中。 它包括4个简单重复的步骤，迭代地评估对每个观察值有最近（平均）距离的簇。 因此，如果一组观察结果彼此接近，它们可能属于一组簇。
让我们逐步细细了解该算法。 第一步，随机初始化一组聚类中心（上面图2A中的X），或者说，是各组簇的中心。在开始之前，你可以将这些聚类中心设置在任何地方，但我们建议，在你对其初始化的时候，用与你设定的观察值相匹配的随机点。您将依次利用这些类中心，来对你的观察值进行分组，将那些与类中心平均距离最近的观察值（图2B中的蓝色和绿色圆圈）确定一个聚类归属。
该步骤会将数据初始化成几组簇，将你的数据中与类中心最接近的观察值聚集到一起。 但是这些第一次分配后的数据簇，可能不是十分合适的。 所以下一步，你会将你的聚类好的数据簇移动到一个更接近，更合适的位置。即在每个当前已有的各个簇中 找到它们的平均观察值，然后你的聚类中心移动到该位置来（图2C）。 然后，以新的聚类中心为基准，找到的平均距离最近的观察值，并将其分配到新的簇（图2D）
您可以重复进行此过程：簇分配-查找平均距离-移动聚类中心，直到达到收敛。 一旦你找到了一组簇，而且其中所有的观察值都能找到最接近的聚类中心，那就不需要再继续评估最近的平均距离和移动了。 那些分组在一起的观察值将被聚类，这样的话它们可以在输入中共享相似性（如由它们对同一聚类中心所表现出的接近度），你也为你的数据找到了一组合适的聚类方式。
你使用了多少组簇？
K均值聚类是一种有效的方法，可以为你的数据找到一个良好的聚类方式。 但仍然有一个问题，一开始你如何决定要使用多少组簇？
当你不清楚非结构化数据集的标签或者分类时，需要无监督学习的方式（如K均值聚类）来辅助。 因此，数据本身不会告诉你，簇的正确数量（或标签）是多少。
那么，你该如何衡量自己数据用多少组簇呢？ 最简单的方法是利用测量簇的误差，具体如下：
此函数通过比较观察值（X）与其指定的聚类中心（μ）之间的距离来评估簇的误差。 如果每个对应的聚类中心均呈现最低距离，或者最低总体误差最低，那么这些聚类中心就是与数据最符合的聚类结果。
回到我们T恤衫尺寸的示例，我们如何使用该误差函数来确定正确的簇的数目？ 一种方法是“肘部法则”，如上图3所示。 通过绘制数据相对于你初始化的簇的数量的误差，你可以发现误差变化率最尖锐的点。 图3中似乎是在两个簇的地方，表明我们应该可能去划分为小和大两种。
雷锋网提醒，该方法需要注意：通常在你的误差曲线中没有明显的拐点。 因此，不可能总是使用肘部法则来确定合适数量的簇。
在这种情况下，建议依靠你的直觉或者待解决的问题的上下文。 例如，在T恤尺寸案例中，你可能很清楚你想将T恤分为5种尺寸 - 超小型，小型，中型，大型和超大型。但这并不是数据给你提示清楚的，但基于你的直觉，你可以初始化为五个簇数量，并得到合适的聚类。
总而言之，对于到一个聚类问题，K均值聚类提供了一种可迭代的并且有效的算法来发掘数据中的结构。
雷锋网注：这篇博文是基于吴恩达在 Coursera 机器学习课程 中教授的概念。
版权文章，未经授权禁止转载。详情见 转载须知 。
通过该工具可以扫描常用的端口和指定的端口是否开放。
安徽德科电气科技有限公司是一家以德国工艺生产与销售高压发电机,AVR发电机电动电压调节器,陆用/船用发电机,单支点发电机，双轴承发电机，柴油发电机，无刷励磁发电机，圆筒发电机EvoTec德科柴油发电机柴油发电柴油发电机组EvoTec德科发电机。服务热线：4008805328
大哲网-学习成就梦想!大哲网(www.dazhe5.cn)成立于2019年，是国内大型公益性英语学习平台。提供在线英语阅读、英语音标、英语单词查询、英语语法、英语听力、英语口语、少儿英语、高中英语、四六级、雅思托福、高考英语、中考英语等各个阶段的英语学习资源。学习者不仅可以提高自己的语言水平，还可以了解到丰富多彩的英语国家文化和社会知识。
西北政法大学劳动法诊所
验房师人才网：专注于房屋查验咨询师职业技能培训及技能证书报考工作，同时收录大量验房师人才及第三方独立验房机构信息，为广大有验房需求的业主提供免费信息咨询服务。
品控描述
脚本,js脚本,脚本库,动态脚本,网页脚本，脚本代码,搜易脚本,Mysql
广源动力(武汉)科技股份有限公司
浙江飞虎新材料专业致力于PVC刀刮涂层织物的研究与开发,业务涵盖整经，织造，涂层，检验,销售以及售后服务各个环节，提供客户专属定制服务。
深圳市诗美广告服务有限公司11年广告制作经验,专注于广告牌,门头招牌,发光字,标识牌,形象墙,品牌设计,喷绘印刷等广告制作安装服务,服务电话：15014104403
青岛亚星机械有限公司，始建于1989年，具有二十几年的历史，拥有大型精密加工设备，是青岛平板硫化机生产企业，公司是集研究、开发、生产制造各种规格系列硫化机等橡胶机械产品和轮胎机械于一体化的专业性生产制造厂家。
南通天畅纺织机械有限公司_经营范围包括纺织机械及配件、纺织辅助设备及配件的销售，服务热线：0513-82577173
编者按，近日，谷歌大脑负责人JeffDean在接受Fortune杂志采访时讲述了他对无监督学习和增强学习在人工智能领域应用的看法，雷锋网进行编译，下一次你在使用谷歌搜索引擎或者使用地图导航的时候，你需要记住他们背后有一个很大的大脑为你提供搜索结果，并确保你不会迷路，当然，它并不是一个真正的大脑，而是谷歌大脑研究团队，财富，杂志的Ro...。
作为Facebook人工智能部门主管，YannLeCun是AI领域成绩斐然的大牛，也是行业内最有影响力的专家之一，近日，LeCun在卡内基梅隆大学机器人研究所进行了一场AI技术核心问题与发展前景的演讲，他在演讲中提到三点干货，演讲完整视频如下，该视频长75分钟，并包含大量专业术语，因此雷锋网节选关键内容做了视频摘要，以供读者浏览，以下...。
编者按，近日，谷歌把神经网络算法加入手机端搜索，为了让搜索更智能，谷歌在全世界聘用了百名语言学博士，夜以继日地标注文本数据，来训练神经网络，虽然无监督学习成为热点已有些时日，谷歌还未能摆脱人工处理数据的困境，搜索，世界上最快的鸟是什么，谷歌会告诉你，游隼，根据Youtube，游隼被记录下最高389km，h的时速，这的确是正确答案...。
雷锋网AI科技评论按，Facebook列出了自己的9篇ICML2017论文，WassersteinGAN赫然位列其中，ICML2017仍然在悉尼火热进行中，Facebook研究院今天也发文介绍了自己的ICML论文，Facebook有9篇论文被ICML2017接收，这些论文的主题包括语言建模、优化和图像的无监督学习；另外Facebook...。
雷锋网AI科技评论按，近几年，由于深度神经网络的快速发展，自然语言处理借此取得了重大突破，但同时也达到了它的发展瓶颈期，因此，研究如何让AI像人类一样去学习自然语言成为了现在研究者们最关心的问题，近期，在雷锋网GAIR大讲堂上，来自卡内基·梅隆大学三年级博士生杨植麟同学分享了无监督学习和情景化学习的一些最新进展，其中包括一篇ICLRO...。
编者按，本文作者为美国数据分析专家BilalMahmood，他是用户数据分析平台Bolt的创始人之一，在本文中，他详细介绍了一种称为K，MeansClustering，k均值聚类，的算法，其中包括如何衡量算法效果，以及如何确定你需要生成的数据段集数量，雷锋网编译整理，更多AI开发技术文章，关注AI研习社，微信号，okweiwu，Bi...。
唐尚珺被退档的原因，未达专业录取线且未服从调剂，据报道，华中师范大学相关负责人回应称，唐尚珺未达到所填报专业的录取分数线且未服从调剂，因此被退档，唐尚珺原本当天已填写补录志愿院校，因院校和专业选择较少，在系统关闭前仍犹豫，遂决定放弃此次补录，高考志愿被退档的原因政策性退档志愿填报的时候，各高校的招生章程中都会规定提档比例，一般为1，1...。
4月8日，有道知识库问答引擎QAnything更新至1.3.0版本，该版本带来了两大主要功能升级，发布纯python的轻量级的版本，该版本支持在Mac上运行，也可以在纯CPU机器上运行；同时支持BM25，embedding混合检索，可以实现更精准的语义检索和关键字搜索，本次更新后，QAnything能为开发者探索大模型落地提供更强大的...。
尘埃落定！京东100亿拿下1号店今日凌晨，京东宣布与沃尔玛达成一系列深度战略合作，而此前盛传京东400亿人民币收购1号店的消息得到回应，作为此次协议的一部分，沃尔玛将获得京东新发行的144，952，250股A类普通股，约为京东发行总股本数的5%，若按当前京东市值计算，298.5亿美元*5%=14.9亿美元，，京东接盘1号店仅花了14....。
微软2016Build开发者大会已经结束，虽然大会中的内容基本都集中于Windows10上，但事实上微软也并没有忘了给OfficeforMac添加点新功能——这意味着Mac的第三方开发者将能够自主向OfficeforMac添加新的功能和特性，事实上这一特性已经被添加到OfficeforWin和iOS上，所以增加对Mac的支持将能够在一...。
今年春节期间，复星的办公室里，一群人围在电脑跟前紧张而兴奋地盯着屏幕，屏幕上正在展示的，是，豫园灯会，慢直播的后台数据，过年到豫园赏灯会，是上海本地人的习俗，今年春节期间，为了让全国人民一扫疫情的阴霾，豫园文化商业集团以，山海经，为蓝本，精心打造了一场，山海奇豫记，主题灯会，并第一次将其搬上了支付宝开展慢直播，这场慢直播到底能不能一炮...。
