自然场景下文字检测的几何归一化网络 GNNets (自然场景下文案怎么写)
该文章通过对待处理图像的特征图进行几何变换，从而将待处理图像中几何分布差异较大的文本框归一化到一定的几何分布范围内，提高了自然场景下文本测检的效果。
一、研究背景
随着深度学习的迅速发展，计算机视觉技术对实际生产具有影响越来越重要的影响。对图像中的文本进行检测和识别，有助于计算机理解视觉内容。
由于卷积神经网络（CNN）方法的通用性，自然场景文本检测受益于常规物体检测而快速发展。但由于自然场景中的文本在实际应用场景中具有较大的几何变化（例如宽高比或文字方向），所以其自身仍存在巨大的挑战。
对于尺度变化问题，现有方法一般通过使用一个检测头（detection header）对不同层级的特征进行检测，利用 NMS 融合结果后作为输出或者使用类似 FPN [1] 的网络将多尺度特征融合然后进行文本检测。
对于角度变化问题，现有方法一般通过直接回归文本框角度或使用对方向敏感的卷积来预测任意方向。
但目前的方法中要求检测头（detection header）需要学习到文字巨大的几何差异或者检测头（detectionheader）仅在所有训练样本中一个子集进行学习，这可能导致性能欠佳。
作者研究了几何分布对场景文本检测的影响，发现基于 CNN 的检测器只能捕获有限的文本几何分布，但充分利用所有训练的样本可以提高其泛化能力。
为了解决上述难题，作者提出了一种新颖的几何规范化模块（GNM）。每个自然场景图片中的文本实例可以通过 GNM 归一化到一定的几何分布范围内。这样所有训练样本均被归一化为有限的分布，因此可以有效地训练一个共享的文本检测头。
本文提出的 GNM 是通用的，可以直接将该模块插入到任何基于 CNN 的文本检测器中。为了验证提出方法的有效性，作者针对文字方向的差异性新建了一个测试集（Benchmark）并发布。雷锋网
二、方法描述
Fig. 1 是 GNNets 的整体网络结构图。总体网络结构由 BackbONE，GNM，SharedText Detection Header 组成。通过 Backbone 提取的特征图会被输入到具有多个分支的几何规范化模块（GNM）中，每个分支由一个尺度归一化单元（SNU）和方向归一化单元（ONU）组成。
SNU 有两个不同比例的尺归一化单位（S，S1/2）和四个方向归一化单位（O，Or，Of，Or + f）。通过 SNU 和 ONU 的不同组合，GNM 会生成不同的几何归一化特征图，这些特征图将被输入到一个共享文本检测标头中。
Fig.2 是作者提出的 ONU 模块的示意图。通过应用 ONU 可以更改文本框方向。如图所示「绿色」框是原始框，「灰色」框是转换过程中的中间框，「红色」框是 ONU 的输出的结果框。
θ和θ' 分别是原始框和结果框的角度。（a），（b），（c）和（d）分别是 O，Or，Of，Or + f 的过程的示意图。由上图可以简单明了的表示 ONU 具有将 [0，π/4]，[-π/2，-π/4]，[-π/4，0] 和 [π/4，π/2] 角度的文本转换为在 [0，π/4] 角度的文本。
Fig. 3 展示了 GNM 在网络中的结构设置。对于 SNU 中的 S 使用 1x1 的卷积操作和 3x3 的卷积操作；S1/2 使用 1X1 的卷积，步长为 2 的下采样以及 3x3 的卷积。对于 ONU 中的 O，Or，Of，Or + f 中的 operations 则分别采用不操作，旋转 feature maps，翻转 feature maps 和旋转后再翻转 feature maps。
由于多分支网络的影响，作者提出了一个针对 GNNets 的抽样训练策略。
在训练期间，作者随机采样一个文本实例，并通过旋转和调整大小 7 次来对其进行扩充，以使 GNM 的每个分支在每批次中都具有有效的文本实例用于训练。这样可以对 GNM 的所有分支进行统一训练。并且在训练过程中如果文本实例不在预先设定的几何区间内，则忽略分支中的该文本实例。
在测试过程中，作者将 GNM 中所有分支输出文本框相应地反向投影到原始比例和方向。不在分支预先设定的几何区间内的文本框会被丢弃。其余的文本框通过 NMS 合并。
三、实验结果
与原始的 PSENet[2] 相比，作者提出的 GNNets 在 ICDAR 2015[3] 和 ICDAR 2017 MLT [4] 上分别实现了约 1.3％和 2.1％的性能提升。
与 ICDAR 2015 上的 EAST[5] 和 ITN [6] 相比，GNNet 的 F-score 比它们分别高出 8％和 9％。与 FTSN [7] 相比，获得了 4.5％的性能提升。GNNets 在 ICDAR 2015 上的表现优于 FOTS [8]，在 ICDAR 2017 MLT 上的 F-score 更超出其 7.3％。并且 FOTS 使用了文字识别的数据。
在单尺度测试中，作者提出的 GNNets 在 ICDAR 2015 和 ICDAR2017 MLT 上均达到了 state-of-the-art 的性能。Fig. 5 可视化了 GNNets 和其他文本检测方法在 ICDAR 2015 和 ICDAR 2017 MLT 上的检测结果。
四、总结及讨论
1、在本文中，作者提出了一种新颖的几何归一化模块（GNM）以生成多个几何感知特征图。并且 GNM 是通用的，可以应用到任何基于 CNN 的检测器中，以构建端到端的几何归一化网络（GNNet）。
实验表明，GNNet 在检测几何分布较大的文本实例方面相较于 baseline 表现出出色的性能。并且，GNNet 在两个文字检测主流的数据集上较最新的方法获得了显著的性能提升。
2、文中研究了几何分布对场景文本检测的影响，发现基于 CNN 的检测器只能捕获有限的文本几何分布，但充分利用所有训练的样本可以提高其泛化能力，对后续文字检测以及其他相关领域有启发性影响。
3、综上所述，文本检测是 OCR 任务的首要前提，但自然场景下文字的字体变化、悬殊的宽高比、任意角度给检测任务带来巨大的挑战，本文为我们提出了目前研究方向上忽略的点，并提供了一个新颖的解决方法，但是相较与常规物体检测，文本检测领域仍然有其特殊性以及较大的提升空间。
参考文献
[1]Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan,and Serge Belongie. Feature Pyramid Networks for Object Detection. In CVPR,2017.
[2]Xiang Li, Wenhai Wang, Wenbo Hou, Ruo-Ze Liu, Tong Lu, and Jian Yang. ShapeRobust Text Detection with Progressive Scale Expansion Network. arXiv preprintarXiv:1806.02559, 2018.
[3]Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh,Andrew BagDanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay RamaseshanChandrasekhar, Shijian Lu, and Others. ICDAR 2015 Competition on RobustReading. In ICDAR, 2015.
[4]ICDAR2017 Competition on Multi-Lingual Scene Text Detection and ScriptIdentification.2017.
[5]Xinyu Zhou, Cong Yao, He Wen, Yuzhi Wang, Shuchang Zhou, Weiran He, anDJIajun Liang. EAST: An Efficient and Accurate Scene Text Detector. In CVPR,2017.
[6]Fangfang Wang, Liming Zhao, Xi Li, Xinchao Wang, and Dacheng Tao.Geometry-Aware Scene Text Detection with Instance Transformation Network. InCVPR, 2018.
[7]Yuchen Dai, Zheng Huang, Yuting Gao, Youxuan Xu, Kai Chen, Jie Guo, andWeidong Qiu. Fused Text Segmentation Networks for Multi-Oriented Scene TextDetection. In ICPR, 2018.
[8]Xuebo Liu, Ding Liang, Shi Yan, Dagui Chen, Yu Qiao, and Junjie Yan. Fots:Fast Oriented Text Spotting with a Unified Network. In CVPR, 2018.
雷锋网报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
人保官网直销省更多，安全有保障，无中间环节，其他保险产品更优惠。优质理赔服务，享受与线下同等理赔服务，更可拥有网上投保专属特色服务；全国10万个网点，30万个专业理赔服务人员。方便快捷，条款、金额公开透明，自助选择，轻松对比，我的保险我做主。优惠享不停，网购保险，享受更多惊喜优惠,尽在PICC中国人保官网
网易房产是房地产权威门户，每天发布房地产行业新闻、房价走势、专题报道，提供新房、二手房、新盘评测、楼盘搜索、成交数据分析、业主论坛，是广大买房者最贴心的置业俱乐部平台。
百度手机助手,app,应用商店,应用市场,软件商店,安卓应用游戏,安卓应用游戏下载
Yestar西安艺星整形医院,品质医美,连锁品牌;特色项目:整形美容,皮肤美容,微整形,口腔美容...Yestar艺星整容西安整形美容医院,西安整形医院排名,咨询热线:4000601992.
蓝院建筑规划设计公司主营北京设计院加盟,资质加盟,设计资质加盟,消防设计加盟,建筑设计院加盟,设计公司加盟,消防设计公司加盟,建筑设计资质加盟,设计加盟合作,消防设计合作,乙级设计院电话:13910867774
过去30余年的发展我们把握机遇，不断拓宽业务领域，提升企业品牌，逐渐发展成拥有多专业、能力强、作风正、效率高的专业团队。
宏奥卷帘门风淋室厂家为客户提供更好的快速卷帘门风淋室批发货源，可提供非标尺寸的订购。咨询热线：189-7131-0042~
台湾美光金银丝
2345.com热门网址导航站网罗精彩实用网址，如音乐、小说、NBA、财经、购物、视频、软件及热门游戏网址大全等，二三四五网址导航提供了多种搜索引擎入口、实用查询、天气预报、个性定制等实用功能，帮助广大网友畅游网络更轻松。
25年专业生产各种交通信号灯交通信号杆,交通标志杆监控杆,交通信号机,免费电话15189893388微信同号,提供咨询报价-生产运输-指导安装一整套厂家服务,产品销往全国各地,老客户回购率高,质好价优,欢迎前来咨询选购！
进口品牌化妆品(护肤品,彩妆,香水)零售,批发,团购,代销
大众养生网作为养生第一门户，秉承传播科学养生方法和理念将养生贯穿于日常生活，真正做到让养生大众化，全民化，科学化。
在大多数机器学习竞赛中，特诊工程的质量通常决定着整个作品的得分与排名，也是参赛者们非常看重的一部分，在GitHub上，作者Nomi，专注于计算机视觉与嵌入式技术，也是tiny，dnn的原作者，向我们介绍了一个面向kaggle数据科学和离线竞赛的实用工具库nyaggle，可供开发者专用于特征工程与验证，在机器学习和模式识别中，特征工程的...。
不差钱的苹果又开始买买买了，据彭博社报道，苹果今年早些时候已以5000万美金的价格收购了一家计算机视觉初创公司，这家AI初创公司名为Vilynx，成立于2011年，总部位于巴塞罗那，据悉，他们约有50名工程师和数据科学家已加入苹果，其中包括Vilynx的联合创始人兼首席技术官ElisendaBou，Balust，这50名员工会继续在他...。
苹果第一财季营收突破1000亿美元，iPhone收入同比增长17%北京时间1月28日凌晨消息，苹果今天发布了2021财年第一财季业绩，报告显示，苹果公司第一财季净营收为1114.39亿美元，比去年同期的918.19亿美元增长21%，创下纪录新高；净利润为287.55亿美元，比去年同期的222.36亿美元增长29%，其中，苹果第一财季i...。
雷锋网AI科技评论按，2018年，AI研习社又为大家呈上了一系列公开课，AI研习社的粉丝们也再度与我们相伴走过了一年，作为一个针对AI开发者的公开课类目，，猿桌会，自去年推出以来广受各位的喜爱，在今年雷锋网AI研习社依旧以最饱满的诚意为大家邀请了领域内的各路大神进行分享，具体内容涵盖深度学习开源框架、神经网络调参和优化、开发语言使用技...。
2018年，零售市场多了几分热闹，旷视、依图、地平线等AI新星不约而同地选择客流分析作为切入点，先后推出了智慧零售解决方案，这并不意外，一方面，客流分析是人、货、场数字化中的重要组成部分，市场空间广阔；另一方面，这些企业都以计算机视觉技术为核心，而计算机视觉在目前所有客流分析技术中前景最为明朗，正当AI新秀们的客流分析方案进入线下门店...。
编者按，本文内容来自速腾聚创CEO邱纯鑫在雷锋网硬创公开课的分享，由雷锋网旗下栏目，新智驾，整理，激光雷达与摄像头性能对比在无人驾驶环境感知设备中，激光雷达和摄像头分别有各自的优缺点，摄像头的优点是成本低廉，用摄像头做算法开发的人员也比较多，技术相对比较成熟，摄像头的劣势，第一，获取准确三维信息非常难，单目摄像头几乎不可能，也有人提出...。
字节跳动人工智能实验室总监王长虎已于近期离职据官方介绍，王长虎于2017年加入字节跳动人工智能实验室担任总监一职，主要研究方向包括计算机视觉、视频理解、多媒体检索和机器学习等，今年1月字节跳动内部职位调动，王长虎转任字节跳动的商业化，视觉技术负责人，负责抖音、火山、fauce、今日头条等多条主要产品线，近一年多来，字节跳动AILab频...。
VincentVanhoucke是Google的首席科学家，斯坦福大学电子工程学博士，目前在GoogleBrain主导机器人相关的项目，Vanhoucke主要的研究领域是语音识别、计算机视觉和机器人等领域，他还即将主持机器人领域的盛会CoRL2017，ConferenceonRobotLearning，Vanhoucke认为，机器智...。
雷锋网AI科技评论按，生成对抗网络是一类功能强大、应用广泛的神经网络，它们基本上是由两个神经网络组成的系统——生成器和判别器，这两个网络相互制约，计算机视觉和人工智能的爱好者BharathRaj近日发布以一篇博文，总结了生成对抗网络的原理、缺点和为了克服这些缺点所做的研究的最新进展，雷锋网AI科技评论编译整理如下，生成对抗网络的工作原...。
雷锋网AI科技评论按，7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在...。
CVPR是IEEE一年一度的计算机视觉与模式识别技术会议，也是计算机视觉的世界三大顶会之一，2017年的CVPR会议将于7月21日到26日于夏威夷会议中心召开，雷锋网将赴前线做覆盖与报道，今天是CVPR大会的首日，一大早，CVPR的签到台就井然有序地排起了长龙，与其它国际会议相似的是，会议采用扫码打印名牌的方式入场，此外也支持通过下载...。
在刚刚过去的2017年，国内外人工智能界的突破层出不穷，在自然语言处理和计算机视觉领域，国内发展势头迅猛，在人工智能最前沿研究上，国外独领风骚，2月初，南京大学周志华教授在他的论文中提出一种新的集成机器学习方法gcForest，利用级联森林，决策树集成，方法去学习生成模型，引发学术界大讨论，3月，腾讯AILab研发的围棋人工智能程序，...。
100万年前的人类可能曾在以色列的一个遗址处做过饭！火的使用是智人进化的一个关键因素，火不仅可以用于创造更复杂的工具，还可让食物变得更安全，从而有助于大脑的发育，迄今为止，全球范围内仅发现了5个可追溯到50万年前用火证据的遗址，包括位于南非的Wonderwerk洞穴和Swartkrans、肯尼亚的Chesowanja、以色列的Gesh...。
MagicLeapD轮融资再次拿到5亿美元，产品一直未对外公布，拿融资却拿到手软，此番融资也让他们的估值飙到60亿美元，是不是骗子还不好说，但业内人士纷纷表示，MagicLeap是有干货的，投资者都不是傻瓜，6年了，MagicLeap引来了瞩目，更引来了质疑，而从现有的一些公开信息中，不仅能看到这家公司的变化，也让我们对其迟迟不肯...。
中餐，Chinesefood，，即指中国风味的餐食菜肴，其中有粤菜、川菜、鲁菜、淮扬菜、浙菜、闽菜、湘菜、徽菜，八大菜系，除，八大菜系，外还有一些在中国较有影响的菜系，如，东北菜、冀菜、豫菜、鄂菜、本帮菜、客家菜、赣菜、京菜、清真菜等菜系，在全球600多种不同食物中，意大利面受欢迎，中餐在不少地区同样受到青睐，排名世界第8，中国饮食...。
历史上，能够得到客户为一款ToB创新产品公开代言的现象，其实并不多见，飞书这一次，十分自信地将舞台的大半个时间都交给了客户来发声，因为飞书相信，互联网公司做出来的ToB产品是应该有情感共鸣的，那么，飞书的，好用，应该让客户来发声，11月17日，飞书5.0企业管理平台发布会上，这批已经深度应用飞书的的企业，包括万达、得到、文和友、旭辉集...。
10月1日开始，国内首个全国性综合化4K高清频道，央视4K频道落地，以每天18小时的节目量不间断播出4K电视节目，国内消费者纷纷表示，，买了5年的4K电视终于真正能发挥用武之地了，！央视4K频道落地，超高清技术最后一轮，实验，整个广电系统，为了4K时代所做的准备，远超过普通消费者的想象，，业内专家表示，央视4K频道的正是落地，可以视...。
