Kaggle 面向 解决特征工程与验证两大难题 nyaggle 附代码 和离线比赛实用工具库 (kaggle官网)

在大多数机器学习竞赛中,特诊工程的质量通常决定着整个作品的得分与排名,也是参赛者们非常看重的一部分。在 GitHub 上,作者 Nomi(专注于计算机视觉与嵌入式技术,也是 tiny-dnn 的原作者)向我们介绍了一个面向 kaggle 数据科学和离线竞赛的实用工具库 nyaggle,可供开发者专用于特征工程与验证。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

在机器学习和模式识别中,特征工程的好坏将会影响整个模型的预测性能。其中特征是在观测现象中的一种独立、可测量的属性。选择信息量大、有差别性、独立的特征是模式识别、分类和回归问题的关键一步,可以帮助开发者最大限度地从原始数据中提取特征以供算法和模型使用。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

而 nyaggle 就是一个特定于 Kaggle 和离线比赛的实用工具库,它主要作用于四个部分,即:特征工程、模型验证、模型实验以及模型融合,尤其在特征工程和模型验证方面有较强的性能。

其中,在特征工程方面,nyaggle 包含了 K 个特征目标编码和 BERT 句子向量化。目标编码使用的是目标变量的均值编码类别变量,为训练集中的每个分组计算目标变量的统计量,之后会合并验证集、测试集以捕捉分组和目标之间的关系。BERT 句子向量化则是对 Bert 模型的输入做一个向量化,提取词句的三维信息。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

API 详情说明: nyaggle.experiment 类,实现模型实验的各个功能

在典型的表格数据竞赛中,开发者可能会通过交叉验证重复进行评估,并记录参数和结果以跟踪实验。

其中,run_experiment()正是用于此类交叉验证实验的高级 API,它在指定目录下输出参数、指标、异常预测、测试预测、功能重要性和 SubMITting.csv。

它可以与 mlflow 跟踪结合使用,如果使用 LightGBM 作为模型,则代码将非常简单如下所示:

值得注意的是,默认的验证策略是包含了 5 个特征的计算机视觉,开发者可以通过传递 cv 参数来更改此行为(可参阅 API 参考,)。

之后,run_experiment API 执行交叉验证后,会将工件存储到日志目录。输出文件存储如下:

而如果要使用 XGBoost、CatBoost 或其他 sklearn 估计器,则需要在代码开头指定算法类型,其中的参数将传递给 sklearn API 的构造函数(例如 LGBMClassifier)。

如果想让 GUI 仪表板管理实验,开发者则可以通过只设置 with_mlfow = True 来将 run_experiment 与 mlflow 一起使用(需要预先安装 mlflow)。然后在与执行脚本相同的目录中,运行即可。

然后在与执行脚本相同的目录中,运行即可,相关结果(带有 CV 得分和参数的实验列表)可在 http:// localhost:5000 页面上查看。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

注意:如果要自定义日志记录的行为,可以在 mlflow run 上下文中调用 run_experiment;如果正在运行,则 run_experiment 将使用当前正在运行的运行,而不是创建新的运行。

nyaggle.feature 类——以特征格式管理运行系列功能

nyaggle.validation 类——对抗性验证,其中的验证拆分器与 sklearn 兼容

nyaggle.hyper_parameters 类——从以往的解决方案中选取 Hypara 相关参数

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

雷锋网 AI 开发者

原创文章,未经授权禁止转载。详情见 转载须知 。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

全局中部横幅
河南网站

河南网站排名,根据网站的综合值按照不同的河南网站进行筛选排名结果,通过筛选河南网站可以看到每个河南网站里面的网站排名优质的网站是哪些

又快又好智能建站

又快又好智能建站-傻瓜式操作、定制型效果,0经验也能做出精美网站。电脑网站、手机网站、微网站三站合一,一键同步。模板丰富、功能完善、优化轻松。欢迎免费体验。

数控钢板切割

无锡市正都金属材料有限公司专业从事钢板切割加工、中厚钢板零割、数控钢板切割、数控火焰切割加工、钢板火焰切割等服务,同时经销各类中厚板,花纹板,开平板,无缝方管,焊管等型材。热诚欢迎新老客户来电垂询洽谈业务!

兆信科技官网

兆信科技是一家专注于一物一码全链路数字化解决方案服务商,基于一物一码的产品数字化身份管理,为每一个产品提供唯一的身份ID。兆信科技六大核心业务品牌防伪、品质溯源、数字化营销、数字化赋码、数字化渠道、数据洞察为企业提供产品全生命周期管理。欢迎电话咨询:400-815-5999

app开发

深圳市浩太科技有限公司是一家专注于手机app开发、软件开发、智慧农业、物联网,智慧城市等综合型互联网企业,为顾客提供app软件开发、小程序开发、软件外包服务一站式解决方案,开发流程透明,源码交付,开发效率高等优势。

德国红外测温仪,德国欧普士,德国optris

北京欧万电子科技有限公司在北京,上海,山东,浙江,江苏,辽宁,河北,陕西等地供应(销售)上等的德国红外测温仪,德国欧普士,德国optris,高速红外测温仪,双色红外热像仪,在线红外热像仪,高温红外热像仪,更提供产品多元方案,如德国红外测温仪厂家,德国欧普士价格,德国optris电话,高速红外测温仪授权代理,双色红外热像仪授权代理专业团队,在线红外热像仪专业团队,高温红外热像仪大量现货,德国红外测温仪图片,德国欧普士型号等!

斗式提升机,刮板输送机,螺旋输送机,开封政翰粮油机械有限公司【官网】

开封政翰粮油机械有限公司是专业从事粮油机械设计、研发、制造、安装、经营为一体的高科技企业。详询:0371-67813066

长春SEO

长春网站优化专注长春seo,搜索引擎优化推广,整站优化,✅长春seo优化✅长春百度排名✅长春seo外包✅长春关键词排名,长春网站优化公司专注于服务企业公司进行长春网站优化,提供长春seo服务,长春seo优化以及百度优化、对企业网站进行整站优化和对网站版块及布局等局部优化调整,手法正规。年网络优化经验,服务过家企业客户,网站优化成功率高达%以上。保证网站优化后在百度首页拥有长期稳定排名,使让企业网站更容易被搜索引擎收录,排名更靠前

【杭州湾写字楼出租

杭州湾写字楼网,提供杭州湾写字楼租赁,杭州写字楼网,提供杭州写字楼租赁,杭州办公楼出租,杭州商务楼招租,杭州写字楼出租,免费发布求租求购信息,提供杭州房产信息、家居装修资讯杭州房产楼盘详情、杭州租房二手房商业地产信息.

小程序开发公司

远近互联科技集数据IDC,软件开发/桌面应用开发,小程序开发,网站建设,品牌形象设计,短视频营销,中英文数字化营销(SEO),电子商务平台运营,互联网教育等服务于一体的综合性网络服务提供商.将前端的技术研究转化为更好的网络产品与专业的服务,力求为客户提供一站式的互联网解决方案.

星流

更适合设计师的专业AI绘画工具,比stablediffusion更易用,比Midjourney更可控

首页

高速石墨立式带锯床_高速石墨卧式带锯床_金刚砂环线锯切机

全局底部横幅