工作分享 百度资深工程师带来全新 聚焦迁移学习反向传播缺陷 ICML (工作分享范文大全)

文章编号:41862 资讯动态 2024-12-03 ICML百度迁移学习

聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 ICML 工作分享

CV 在前,NLP 在后,迁移学习技术的应用为这两个领域所带来的进展和突破,不可谓不瞩目。

其中,预训练模型作为当下迁移学习的一种主流方法,让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后,便能够较好地适配类似的新目标任务,可以极大地节约时间和成本。

不过,天下没有免费的午餐,这种方法看似“一劳永逸”,也需要付出一定的代价,其中的一大问题便是,由于反向传播带给深层卷积层的更新较小,微调得到的模型往往被“吸引”在预训练模型附近,无法得到充分更新。

对此,百度的一篇 ICML 2020工作《 RIFLE: BackPROpagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr 》,提出了一种简单有效的策略RIFLE,通过周期性的重新初始化全连接层,给深层的特征提取网络带来有意义的更新,提升低层次特征的学习,从而显著提升迁移学习的效果。 聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 ICML 工作分享

据悉,该方法已超过已有同类方法如 Dropout、Dropconnect、Stochastic Depth、 Disturb Label以及Cyclic Learning Rate 等,在多个数据集上的效果提升0.5%-2%。

为了深度解析这项工作背后的算法原理以及应用效果,AI 科技评论特别邀请到了论文一作、百度大数据实验室资深工程师李兴建,来做论文直播分享!

时间就定在7月24日 20:00整,各位同学记得准时收看~

分享主题 RIFLE算法:通过重新初始化全连接层加深迁移学习中的梯度反向传播

分享嘉宾: 李兴建,百度大数据实验室资深工程师,多年自然语言处理、深度学习、迁移学习等领域工作经验

分享时间: 7月24日(周五晚) 20:00整

聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 ICML 工作分享

分享背景:

基于一个预训练的深度学习模型进行微调,成为一种主流的迁移学习方式。该方法虽然简单有效,但微调得到的模型经常被『吸引』在预训练模型附近,无法得到充分更新。我们的工作提出一种简单有效的策略RIFLE,通过周期性的重新初始化全连接层,给深层的特征提取网络带来有意义的更新,提升低层次特征的学习。

分享提纲:

如何加入?

扫码关注[ AI研习社顶会小助手] 微信号,发送关键字“ICML 2020+直播”,即可进群观看直播和获取课程资料。

聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 ICML 工作分享

版权文章,未经授权禁止转载。详情见 转载须知 。

聚焦迁移学习反向传播缺陷,百度资深工程师带来全新 ICML 工作分享

全局中部横幅
最新热门电视剧分集剧情介绍

剧情百科网是专业的电视剧分集剧情介绍网站,提供最新热门电视剧及分集剧情介绍,热门电影剧情介绍及演员表资料等.看剧情,就来剧情百科!

辽宁工程职业学院

辽宁工程职业学院是经辽宁省人民政府批准,国家教育部备案的公办全日制普通高等职业院校,是一所以工科为主培养高技能复合型、应用型、创新型人才的高等学府。

湖南强泰环保科技有限公司

湖南强泰环保科技有限公司是一家集“三废”治理工程的设计、生产、施工、调试及售后服务为一体的股份制高科技企业,公司专业从事各种污水处理、黑臭水体治理、废气处理、噪音治理及环保器材设备和环保药剂的销售。咨询热线:400-007-3067

深圳市林昌科技有限公司

深圳市林昌科技有限公司是一家专业互联网应用服务提供商、企业网络服务。致力于为大中型企业提供高品质的互联网应用服务,包括:企业qq、营销qq、腾讯企点、腾讯企业邮箱、网站建设、网页制作、国内主机服务、海外主机服务、网站推广、SEO优化集一体的高端企业电子商务解决方案,以帮助企业客户应用互联网,实现电子商务平台,提高企业品牌、企业形象,同时也提高了企业行业的竞争能力,更是让企业获得利润走向世界的网络平台。

电动搬运车平板车,AGV小车,电动平车报价,轨道平车厂家

河南省新乡市帕菲特搬运设备有限公司,工厂是一家集智能研发、设计、制造、销售、无轨电动平车,RGV轨道电动平车,蓄电池电动平车,AGV小车等。厂家报价电话19337383013!

CEM华盛昌

上海基睿仪器专业销售:cem红外测温仪,cem华盛昌照度计,CEM代理温湿度计,交直流钳形表,代理,大量存货,原装正品,CEM代理华盛昌售后保障,均已批发价销售.

首页成都熙南一卡通

成都大华翼闸,大华门禁系统推荐成都熙南一卡通科技有限公司.我司主要从事成都门禁系统,成都售饭机,成都磁力锁,成都大华摆闸,成都大华道闸,成都大华三锟闸,成都大华翼闸,成都广告道闸,成都车牌识别,成都人行通道,仓储式批发一体化企业,专做经销商渠道批发!

位移传感器,直线位移传感器,拉绳位移传感器,压力传感器,LVDT传感器

东莞市首普机电有限公司专业销售位移传感器,直线位移传感器,拉绳位移传感器,压力传感器,LVDT传感,公司具有位移传感器,压力传感器两条生产线。并不断向传感器领域的深度发展推出性价比高的各种工业工控传感器。

全局底部横幅