自然场景下文字检测的几何归一化网络 GNNets (自然场景下文案怎么写)

文章编号:44118 资讯动态 2024-12-09 iccv2019商汤科技计算机视觉

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

该文章通过对待处理图像的特征图进行几何变换,从而将待处理图像中几何分布差异较大的文本框归一化到一定的几何分布范围内,提高了自然场景下文本测检的效果。

一、研究背景

随着深度学习的迅速发展,计算机视觉技术对实际生产具有影响越来越重要的影响。对图像中的文本进行检测和识别,有助于计算机理解视觉内容。

由于卷积神经网络(CNN)方法的通用性,自然场景文本检测受益于常规物体检测而快速发展。但由于自然场景中的文本在实际应用场景中具有较大的几何变化(例如宽高比或文字方向),所以其自身仍存在巨大的挑战。

对于尺度变化问题,现有方法一般通过使用一个检测头(detection header)对不同层级的特征进行检测,利用 NMS 融合结果后作为输出或者使用类似 FPN [1] 的网络将多尺度特征融合然后进行文本检测。

对于角度变化问题,现有方法一般通过直接回归文本框角度或使用对方向敏感的卷积来预测任意方向。

但目前的方法中要求检测头(detection header)需要学习到文字巨大的几何差异或者检测头(detectionheader)仅在所有训练样本中一个子集进行学习,这可能导致性能欠佳。

作者研究了几何分布对场景文本检测的影响,发现基于 CNN 的检测器只能捕获有限的文本几何分布,但充分利用所有训练的样本可以提高其泛化能力。

为了解决上述难题,作者提出了一种新颖的几何规范化模块(GNM)。每个自然场景图片中的文本实例可以通过 GNM 归一化到一定的几何分布范围内。这样所有训练样本均被归一化为有限的分布,因此可以有效地训练一个共享的文本检测头。

本文提出的 GNM 是通用的,可以直接将该模块插入到任何基于 CNN 的文本检测器中。为了验证提出方法的有效性,作者针对文字方向的差异性新建了一个测试集(Benchmark)并发布。雷锋网

二、方法描述

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

Fig. 1 是 GNNets 的整体网络结构图。总体网络结构由 Backbone,GNM,SharedText Detection Header 组成。通过 Backbone 提取的特征图会被输入到具有多个分支的几何规范化模块(GNM)中,每个分支由一个尺度归一化单元(SNU)和方向归一化单元(ONU)组成。

SNU 有两个不同比例的尺归一化单位(S,S1/2)和四个方向归一化单位(O,Or,Of,Or + f)。通过 SNU 和 ONU 的不同组合,GNM 会生成不同的几何归一化特征图,这些特征图将被输入到一个共享文本检测标头中。

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

Fig.2 是作者提出的 ONU 模块的示意图。通过应用 ONU 可以更改文本框方向。如图所示「绿色」框是原始框,「灰色」框是转换过程中的中间框,「红色」框是 ONU 的输出的结果框。

θ和θ' 分别是原始框和结果框的角度。(a),(b),(c)和(d)分别是 O,Or,Of,Or + f 的过程的示意图。由上图可以简单明了的表示 ONU 具有将 [0,π/4],[-π/2,-π/4],[-π/4,0] 和 [π/4,π/2] 角度的文本转换为在 [0,π/4] 角度的文本。

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

Fig. 3 展示了 GNM 在网络中的结构设置。对于 SNU 中的 S 使用 1x1 的卷积操作和 3x3 的卷积操作;S1/2 使用 1X1 的卷积,步长为 2 的下采样以及 3x3 的卷积。对于 ONU 中的 O,Or,Of,Or + f 中的 Operations 则分别采用不操作,旋转 feature maps,翻转 feature maps 和旋转后再翻转 feature maps。

由于多分支网络的影响,作者提出了一个针对 GNNets 的抽样训练策略。

在训练期间,作者随机采样一个文本实例,并通过旋转和调整大小 7 次来对其进行扩充,以使 GNM 的每个分支在每批次中都具有有效的文本实例用于训练。这样可以对 GNM 的所有分支进行统一训练。并且在训练过程中如果文本实例不在预先设定的几何区间内,则忽略分支中的该文本实例。

在测试过程中,作者将 GNM 中所有分支输出文本框相应地反向投影到原始比例和方向。不在分支预先设定的几何区间内的文本框会被丢弃。其余的文本框通过 NMS 合并。

三、实验结果

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

与原始的 PSENet[2] 相比,作者提出的 GNNets 在 ICDAR 2015[3] 和 ICDAR 2017 MLT [4] 上分别实现了约 1.3%和 2.1%的性能提升。

与 ICDAR 2015 上的 EAST[5] 和 ITN [6] 相比,GNNet 的 F-score 比它们分别高出 8%和 9%。与 FTSN [7] 相比,获得了 4.5%的性能提升。GNNets 在 ICDAR 2015 上的表现优于 FOTS [8],在 ICDAR 2017 MLT 上的 F-score 更超出其 7.3%。并且 FOTS 使用了文字识别的数据。

在单尺度测试中,作者提出的 GNNets 在 ICDAR 2015 和 ICDAR2017 MLT 上均达到了 state-of-the-art 的性能。Fig. 5 可视化了 GNNets 和其他文本检测方法在 ICDAR 2015 和 ICDAR 2017 MLT 上的检测结果。

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

四、总结及讨论

1、在本文中,作者提出了一种新颖的几何归一化模块(GNM)以生成多个几何感知特征图。并且 GNM 是通用的,可以应用到任何基于 CNN 的检测器中,以构建端到端的几何归一化网络(GNNet)。

实验表明,GNNet 在检测几何分布较大的文本实例方面相较于 baseline 表现出出色的性能。并且,GNNet 在两个文字检测主流的数据集上较最新的方法获得了显著的性能提升。

2、文中研究了几何分布对场景文本检测的影响,发现基于 CNN 的检测器只能捕获有限的文本几何分布,但充分利用所有训练的样本可以提高其泛化能力,对后续文字检测以及其他相关领域有启发性影响。

3、综上所述,文本检测是 OCR 任务的首要前提,但自然场景下文字的字体变化、悬殊的宽高比、任意角度给检测任务带来巨大的挑战,本文为我们提出了目前研究方向上忽略的点,并提供了一个新颖的解决方法,但是相较与常规物体检测,文本检测领域仍然有其特殊性以及较大的提升空间。

参考文献

[1]Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan,and Serge Belongie. Feature Pyramid Networks for Object Detection. In CVPR,2017.

[2]Xiang Li, Wenhai Wang, Wenbo Hou, Ruo-Ze Liu, Tong Lu, and Jian Yang. ShapeRobust Text Detection with Progressive Scale Expansion Network. arXiv preprintarXiv:1806.02559, 2018.

[3]Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh,Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay RamaseshanChandrasekhar, Shijian Lu, and Others. ICDAR 2015 Competition on RobustReading. In ICDAR, 2015.

[4]ICDAR2017 Competition on Multi-Lingual Scene Text Detection and ScriptIdentification.2017.

[5]Xinyu Zhou, Cong Yao, He Wen, Yuzhi Wang, Shuchang Zhou, Weiran He, andJiajun Liang. EAST: An Efficient and Accurate Scene Text Detector. In CVPR,2017.

[6]Fangfang Wang, Liming Zhao, Xi Li, Xinchao Wang, and Dacheng Tao.Geometry-Aware Scene Text Detection with Instance Transformation Network. InCVPR, 2018.

[7]Yuchen Dai, Zheng Huang, Yuting Gao, Youxuan Xu, Kai Chen, Jie Guo, andWeidong Qiu. Fused Text Segmentation Networks for Multi-Oriented Scene TextDetection. In ICPR, 2018.

[8]Xuebo Liu, Ding Liang, Shi Yan, Dagui Chen, Yu Qiao, and Junjie Yan. Fots:Fast Oriented Text Spotting with a Unified Network. In CVPR, 2018.

雷锋网报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

GNNets:自然场景下文字检测的几何归一化网络 | ICCV 2019

全局中部横幅
山西网站

山西网站排名,根据网站的综合值按照不同的山西网站进行筛选排名结果,通过筛选山西网站可以看到每个山西网站里面的网站排名优质的网站是哪些

4399在线玩h5游戏

4399h5游戏,4399h5小游戏,4399h5游戏平台收录了大量不用下载的在线玩h5游戏、免费h5小游戏在线玩,h5游戏排行榜等资讯,更多好玩h5游戏尽在4399h5游戏平台。

小流量玻璃转子流量计

金湖县华升计量仪器有限公司是优质的远传玻璃转子流量计,面板式流量计,塑料管转子流量计,全不锈钢玻璃转子流量计,玻璃管浮子流量计供应商,主要经营产品有:远传玻璃转子流量计,面板式流量计,塑料管转子流量计,全不锈钢玻璃转子流量计,玻璃管浮子流量计!

留学指南星

留学指南星(www.liuxue20.com),欢迎访问我们的留学网站!我们是您实现留学梦想的专业伙伴。作为留学教育领域的领先者,我们致力于为全球留学生提供全面、可靠的信息和服务。在我们的网站上,您将找到丰富的留学指南,覆盖从选校、申请、签证到生活适应的方方面面。我们的专家团队为您提供最新的留学趋势和建议,帮助您做出明智的决策。

浙江明枫智能科技有限公司

浙江明枫智能科技有限公司|天盾遮阳板|浙江遮阳板|明枫智能科技|汽车遮阳板|汽车遮阳板厂家

广州极云网络科技有限公司

广州市极云网络科技有限公司(简介极云网络),专注于企业工作执行协作沟通管理、个人/家庭健康管理、中小微电商解决方案、高端网站构建等服务,专业的品质化互联网服务研发及运营的提供商。

东莞网络公司

东莞智林科技专注于营销型网站建设8年,系知名东莞网络公司,成立于2007年,是东莞电子商务协会发起单位,首届理事单位.

湖州玖信财团

同城免费发布广告信息,就上玖信财团分类信息网。dyc400000.com是本地生活分类信息免费查询及发布平台。兼职、房产、招聘、二手、车辆、培训及生活服务等尽在玖信财团分类信息网。

安徽鼎彩光电新能源科技有限公司

安徽鼎彩光电集团坐落于安徽滁州,专业从事电子电器生产、销售的大型综合性企业。联系电话:15005504847/18055026808

速配网

速配网是最真实的全球华人征婚网和婚恋交友中心,速配功能强大,免费征婚!免费联系会员!找恋人-找对象-找老公-找老婆-找老伴-就来速配网!

奥士康科技股份有限公司

奥士康科技股份有限公司秉承“连接你我、导通未来”的企业使命,经过近20年的稳步发展,现已成为拥有奥士康科技股份有限公司、奥士康精密电路(惠州)有限公司、广东喜珍电路科技有限公司等三家经营实体的股份制企业,公司于2017年12月1日在深交所主板成功上市(股票代码:002913)

助约

助约专注球场在线预订,羽毛球馆,足球场,网球场,球场在线预订,游泳馆查询预订,手机在线预订,运动场馆价格表,运动场馆优惠信息,助约就上助约.

全局底部横幅