样本和标签? 合并 IBM 为多标签小样本图像分类带来新进展! (样本和标签怎么对应)

文章编号:43778 资讯动态 2024-12-09 多标签小样本数据增强LaSO

目前大多数关于图像小样本分类的研究工作都是研究单标签场景,每个训练图像只包含一个对象,然而现实中的场景中以多对象多标签居多,因此对于多标签小样本的图像分类研究更 具现实意义。ibm 的研究人员对多标签小样本的图像分类进行了研究,并在 CVPR 2019 大会上进行了论文分享,相关成果发表在 IBM 官网博客上,雷锋网 AI 科技评论编译如下。

当我们将人工智能和机器学习扩展到面向企业和工业界应用的更广泛的任务集时,从更少的数据集中学到更多是必要的。数据增强是一个重要的工具,特别是在没有足够的训练数据的情况下,它通过自动合成新的训练样本来改进学习。小样本学习就是这样的一个例子,其每个类别只有一个或很少的样本可用。之前大多数关于图像小样本分类的研究工作都是研究「单标签」场景,其中每个训练图像只包含一个对象,因此只有一个类别标签。然而,更具有挑战性和现实意义的场景是多标签、小样本的图像分类,其训练数据样本较少,图像具有多个标签,而之前的研究工作尚未对该场景进行广泛的研究探索。

为了研究上述课题,我们在 2019 年 6 月举行的 IEEE 计算机视觉与模式识别(CVPR 2019)大会上发表了相关论文,对多标签、小样本图像分类进行了研究。本论文题目为《LaSO:面向多标签小样本学习的标签设置操作网络》(「LaSO:label-Set Operations networks for multi-label few-shot learning」,论文地址:),提出了一种训练深度神经网络的新方法,即将图像样本对与一定的标签集相结合,合成具有「合并」标签的新样本。例如,考虑图 1 中的两幅图像,一幅描绘的是「一个人遛羊和狗」,另一幅描绘的是「一个人抱着一只狗和一只猫」。第一张图片的标签是「人」、「羊」和「狗」,第二张是「人」、「狗」和「猫」。通过给定的这两幅图像,LaSO 网络合成了新的训练样本,这些样本通过对标签执行联合、交叉和减法操作而产生。「联合」生成了一个标有「人」、「狗」、「猫」和「羊」的样本,「交叉」和「减法」生成了分别标有「人」、「狗」和「羊」的多个样本。LaSO 网络直接在深度神经网络学习的特征空间进行操作。

「合并」 样本和标签? IBM 为多标签小样本图像分类带来新进展!| CVPR 2019

图 1:在两幅图像上进行 LaSO 网络操作的案例

作为一个单一的多任务网络,LaSO 网络通过使用特定的损失函数共同训练,以使其操作适应相应的标签集操作任务(图 2)。

「合并」 样本和标签? IBM 为多标签小样本图像分类带来新进展!| CVPR 2019

图 2:支持交叉、联合和减法操作标签集的 LaSO 网络体系结构

多任务网络是在一个大规模的多标签数据集上进行训练的,每个图像的多个标签与出现在图像上的目标相对应。我们通过使用不同的方法对产生的 LaSO 网络进行了测试,以评估它们在操作多标签内容方面的潜力。这些测试包括使用在真实、留存的多标签数据上经过预训练的分类器对生成的示例进行分类,以及使用 LaSO 网络合成的特征向量来测试源自留存的测试集的检索(图 3)。

「合并」 样本和标签? IBM 为多标签小样本图像分类带来新进展!| CVPR 2019

图 3:基于合成 LaSO 向量进行的图像检索的定性结果

LaSO 网络被设计成直接在图像表征进行操作,而不需要任何额外的输入来控制操作。换句话说,就是不需要人工干预来指示它们要操作哪些标签。因此,在训练过程中,它们可以潜在地泛化到包含尚未见过的新类别的图像上。在这方面,LaSO 网络可以用来挑战多标签小样本的分类任务。在这种情况下,LaSO 网络从所提供的训练样本随机对中合成新的训练样本。在本文中,我们将 LaSO 网络的这种能力应用到一个新的多标签小样本分类基准中,希望能引起对这一重要问题的更多研究。通过使用 LaSO 网络在所给出的基准上进行数据增强的结果表明,将其推广到新的类别具有很强的潜力(图 4)。

「合并」 样本和标签? IBM 为多标签小样本图像分类带来新进展!| CVPR 2019

图 4:LaSO 增强表现(底部四行)VS 基准(顶部三行)

多标签小样本分类是一项全新的、具有挑战性和实用性的研究工作。我们为这个研究工作提出了第一个基准。在该基准上利用神经网络对 LaSO 标签集操作进行了评估,结果表明 LaSO 具有很好的应用潜力。我们希望本次工作能激励更多的研究人员去研究这个有趣的问题。

原创文章,未经授权禁止转载。详情见 转载须知 。

「合并」 样本和标签? IBM 为多标签小样本图像分类带来新进展!| CVPR 2019

全局中部横幅
首页

中国人民解放军总医院第六医学中心组建于2018年11月,前身为原海军总医院,是集卫勤、医疗、教学、科研、保健于一体的医学中心。主要担负驻京海陆空三军101个体系单位6万余名军队人员和潜水、潜艇、航空兵等约1.8万余名海军特勤人员的医疗保障任务,以及5000余名师以上干部医疗保健任务。现设56个专业科室,包括高压氧科、神经外科、耳鼻喉科、眼科和空潜科5个国家临床重点专科,1个全军微创神经外科研究所,耳鼻喉、高压氧、航海航空医学和优生优育技术指导4个全军医学专科中心,腰椎间盘、结节病和视光学疾病3个全军医学专病中心,全军海战伤救治研究重点实验室和全军药理试验基地。

贵州蔡雨迎科技有限公司

产品包括:汽车电瓶,汽车配件,汽车音响。公司的研发人员在吸收世界先进技术的基础上将科学技术知识应用的实际设计中,生产出了极具竞争力的产品。公司秉承顾客至上,锐意进取的经营理念,坚持客户第一的原则为广大客户提供优质的服务。在经济全球化的今天,将不断提升自我,打造完美诚信企业。 公司始终坚持科技领先,

软木颗粒

河南维科特利,专业生产由天然橡木、栓木皮制成的软木颗粒精料及毛料,60-80目,1-15mm多种规格,欢迎垂询合作,考查洽谈。

闸阀

上海卡比阀门有限公司拥有集科研、设计制造、销售服务于一体的综合性企业。本公司主要产品:闸阀,截止阀,止回阀,安全阀,疏水阀,隔膜阀,减压阀,球阀,柱塞阀,蝶阀,防爆阀门,电动阀门,气动阀门,水力控制阀,化工通用阀门等,阀门可采用手动、电动、齿轮传动、气动等各种驱动装置。

本原同济

本原同济---致力工业物联网,洞见智能化未来北京本原同济科技发展有限公司(BeijingBytechCo.LTD.),致力于工业智能化、工业物联网领域的系统设计、项目集成、产品研发、销售及技术服务。

免费信息发布网

财发网(免费信息发布网)是一个免费发布信息的B2B电子商务网站,供求信息都经过审核才能发布,为企业节省销售成本,找企业、找客户、做生意就上财发网。

上海金艺美家居有限公司

上海金艺美家居科技有限公司成立于2008年,注册资金500万元,是一家集开发、设计、生产和销售为一体的大型家居专业生产企业,公司引进国际先进设备,培养并引进了一批专业技术人员,拥有先进的全屋定制生产线,凭借高标准的原材料采购,严格规范的生产流程控制,稳定的生产质量,便捷的物流配送服务,凭借雄厚的技术优势和锐意进取的创新精神,逐渐壮大。同时公司通过了ISO9001质量体系认证,ISO14001环境体系认证,ISO45001职业健康体系认证,FSC国际森林体系认证,AAA级企业信用认证。公司本着以人为本、质量保障、诚信经营、客户至上的原则,获得了代理商和消费者一致的信赖。

透光率仪「免费测试」透光率雾度测试仪

三恩时(3nh)是国家高新技术企业,专业从事3nh品牌国产台式透光率雾度测试仪研发生产厂家,测量精度与进口透光率仪比肩,在玻璃,塑料,薄膜,显示屏加工等行业均有广泛应用,免费提供透光率仪样品测试服务。

月老网脱单

上海月老婚介是一家诚信的婚姻介绍机构,上海交友征婚相亲、想脱单上月老网,江浙沪三地单身人士提供一个大龄单身男女相亲交友、征婚脱单的交流平台,上海征婚交友,注册月老网,大龄单身、离异男女征婚相亲网,助力单身男女快速脱单。

全局底部横幅