基于预训练的遥感农作物识别 ATEC2022赛题技术分享 (基于预训练的unet图像分割训练)
一、赛题背景
2019年，农业农村部提出数字农业农村发展规划（2019-2025），明确提出以农业数字化为重点发展主线，全面提升农业农村生产智能化、经营网络化、管理高效化、服务便捷化水平，以数字化引领驱动农业农村现代化，为实现乡村全面振兴提供有力支撑。这其中对核心主粮作物、经济作物种植区域进行数字化建模是实现农业数字化的基础一环。依托现代卫星遥感技术，对地物目标进行多光谱、多时段监测，可以获取大量信号特征，同时基于不同农作物对不同波段光谱的特异性反射差异、生长周期特点，可以实现低成本、高精度、大范围的农作物种类识别，为实现农业数字化生产、高效网格化经营提供基础数据。
二、赛题理解
本赛题主要目的是通过时序多光谱遥感数据序列，设计人工智能算法，识别出对应地点对应时间段的种植农作物种类。
（1）数据集 ：本赛题给出了约22万条的多光谱传感器数值时序序列，每条序列包含若干个时间点，每个时间点包含了11个通道的值，这些值均为整数。因此，一条多光谱传感器数值时序序列的数据可以表示为
其中T为时间点的数目。
（2）目标： 其目标是给定对应的多光谱传感器数值时序序列，以判定该地点种植作物种类（玉米、水稻、大豆中的其中一类），是个三分类问题。
（3）评价指标 ：本次赛题为机器学习经典的分类问题，评价指标采用分类准确率。
三、赛题分析
该赛题提供了一组序列数据，可以直接将该问题视为一个序列分类问题，并使用GRU（门控循环单元）或Transformer进行建模。对于输入数据，有两种可能的处理方法。
（1）第一种方法是将11个通道的值进行归一化，从而得到一个时长为T的序列，其中每个时刻的输入向量维度为11。这种方法相对简单，但有一个缺点：由于其数值是线性的，归一化后的数值对于相近的整数也是相近的，这使得模型难以区分这些相近的值。
（2）为了解决这个问题，我们的队伍采用了第二种方法：对11个通道的值进行embedding，从而得到一个11×h维度的向量。在输入到序列模型之前，我们通过一个线性变换将这个向量转化为一个[T, H]的矩阵，其中H是序列模型的隐藏层大小，例如256或512。这种方法的优点是能够将原始的、线性的输入值转化为一个更加丰富、更能表征数据特点的高维空间。这使得模型能够捕获到更多的数据特征，从而提高模型的分类性能。
四、解决方案
我们团队的解决方案如图1所示。在这个解决方案中，我们首先利用BERT模型对多光谱传感器的数值时序序列进行建模。BERT模型能够捕捉时序序列中的上下文信息，这对于理解农作物生长过程中的时空变化是很重要的。然后，我们将从BERT模型的最后一层得到的特征与光谱反射和农作物生长周期的特征进行拼接并通过4层的transformer。这样做的目的是将从不同源获取的信息融合在一起，以提供更全面的信息。最后，我们采用mean pooling和max pooling对transformer的输出进行池化操作，以得到最终的序列特征。这个特征会被用作分类模型的输入。接下来，我们将详细介绍如何预训练BERT特征，以及如何提取光谱反射与农作物生长周期的特征。
（1）BERT模型的预训练
为了更有效地捕捉序列中的语义信息和依赖关系，我们采用了改进的Masked Language Modeling（MLM）任务来对BERT模型进行预训练。具体地，我们并不是对一个时刻的所有传感器数值进行掩盖，而是随机掩盖掉20%的传感器数值。这样做的优点是，我们不仅可以使用不同时间点的传感器数值来预测当前的数值，还能使用当前时刻的其他传感器数值来预测某一个传感器的数值。这样的设计有助于模型更好地理解不同传感器数值之间的依赖关系，以及不同时间点之间的依赖关系。这对于捕捉多光谱传感器数据中的时空变化信息是非常重要的。
（2）光谱反射与农作物生长周期特征
遥感农作物识别时，光谱反射特性和农作物生长周期特性是两个关键特征。图3显示了豆科植物对不同光谱波段的反射率示意图，而图4展示了不同农作物生长周期中的NDVI指数变化示意图。这些示意图均来自公开资料，如果存在侵权问题，请联系我们删除。NDVI是一种常用的指数，用于衡量植被的生长状况。它的计算公式如下，其中NIR代表近红外波段，R代表红色光波段：
因此，我们计算每个时间点的NDVI值，并将其作为额外的输入特征。从图4中，我们还可以观察到，不同农作物的NDVI指数变化梯度也不同。这是一个重要的指标，可以帮助我们更好地区分特定地点适合种植哪些农作物。因此，我们也使用了梯度信息作为额外的特征。
五、致谢
首先，我们要对主办方在“科技助实”这一具有深远影响的主题上提供宝贵的数据和有趣的赛题表示感谢。这不仅为我们提供了一个展示科技创新能力的平台，还让我们有机会为农业持续发展贡献一份力量。"科技助实"不仅是一个充满意义的研究领域，而且具有极高的社会价值，它能够助力提高农作物产量、提升农业可持续性，并最终改善农民的生活质量。同时，我们也要对所有参与指导和支持的老师表示由衷的感谢。您们的专业知识和无私奉献为我们提供了强大的技术支持和指导，使我们能够更加自信地面对这个挑战。最后，我们期望接下来的比赛能够继续发扬光大，吸引更多具有激情和创新精神的人才参与，共同推动“科技助实”这一崇高事业不断向前发展。
版权文章，未经授权禁止转载。详情见 转载须知 。
PR值全称为PageRank(网页级别)，取自Google的创始人LarryPage。它是Google排名运算法则（排名公式）的一部分，PR查询可以根据域名查出对应网站(可查内页)的PR。
携程租车
北起院是一家国有大型科技型企业，是具有索道工程甲级设计证书的企业，专业从事索道,缆车设计，索道设备制造，提供各类索道工程项目调研、工程地质勘查和测量、设备设计制造、安装调试及验收等一体化服务。
4399托马斯小游戏大全收录国内外托马斯,托马斯小游戏,托马斯小火车,托马斯找铁轨小游戏,托马斯小游戏下载,托马斯过河小游戏,托马斯拼图小游戏等尽在4399小游戏。
大导电气股份有限公司（www.ddhzjk.com）是一家专业从事仪器仪表、工业自动化智能产品高科技企业，主要生产电气火灾监控探测器、消防设备电源监控系统、智慧消防、智慧用电，咨询热线：021-51035967
★动力无限★全国服务热线:400-0599-368,十多年品牌,三家分公司,专业致力于西安网站建设,网站制作,网站设计及万抖销短视频拍摄和运营.我们深知全域流量获客,数字化推动业务增长是中小企业数字化转型之关键,我们将以诚挚的心,专业的技术为中小企业网络营销贡献一份力量.
三三鱼是专业的在线编程考试答题及考试服务平台，平台提供编程考试搜试题、搜试卷、查答案、scratch考试题库、python考试题库、c\c++考试题库、机器人技术考试题库等服务。
山东儒工机械制造有限公司专注小型机械设备生产，沥青灌缝机，小型压路机，划线机，凿毛铣刨机等系列设备厂家直销，质量好、价格低
集中供气解决方案,天然气阀门,工厂集中供气专家-江苏宝德工业流体装备有限公司,全国销售热线：137-7537-7761
关注汽车行业的科技创新，报道自动驾驶、智能网联、新能源电池等前沿技术动态，探讨汽车行业未来发展蓝图。
邮编查,邮编查询,在线查询邮编,邮编大全
东莞市升旺塑胶原料有限公司创建于2001年,本公司是成立工、贸于一体，着重科技求发展，管理为主导，创新进取的精神，不断完善产品的市场竟争力，拓展业务团队，诚信服务，在客户群体中，有着极高的好评价，目前已发展成为一个拥有独资的工程塑胶原料加工厂，为合作企业，厂商提供了充足的货源保证。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
消息，2022年1月25日，百度研究院发布了2022年十大科技趋势，涵盖了AI核心技术、交叉学科与跨领域研究、AI的产业及社会价值三个层面，同时，这十大科技趋势分别涉及了预训练大模型、AIforScience，人工智能应用于科学研究，、基于AI的生物计算、隐私计算、量子软硬一体化、自动驾驶、深空探测、人机共生、绿色AI和普惠AI...。
核心技术快速演进、跨领域联结力増强、产业底座愈发坚实的人工智能技术，成为引领创新和发展的重要力量，希望在不确定的时代中，以AI为灯，照亮创新之路；以AI为桨，划起发展之舟，百度CTO、百度研究院院长王海峰这样期盼道，1月25日，百度研究院发布了2022年十大科技趋势，涵盖了AI核心技术、交叉学科与跨领域研究、AI的产业及社会价值三...。
10月31日，在杭州云栖大会上，光启慧语正式发布了与复旦大学附属中山医院，以下简称，中山医院，联合开发的多模态医疗大模型，光语医疗大模型，据获悉，光语医疗大模型是基于光启慧语数百亿参数规模、万亿token预训练语料的自研大模型，由中山医院深度参与、针对医疗场景定制而成，在通用基础语料之上，光语医疗大模型注入超百亿toke...。
新一代人工智能已经迈向，炼大模型，的时代，这一切源于GPT，3的横空出世，这个具有1750亿的参数的通用预训练模型不仅带来了超乎想象的生成能力，更让人们看到了，超大模型，实现通用人工智能的潜力，2021年1月，距离GPT，3问世不足一年，Google重磅推出SwitchTransformer模型，将参数量提升到1.6万亿，成为人类历史...。
看到这首诗歌，有超过50%的人误以为是人类的杰作但其实，它出自巨量模型源1.0经过图灵测试认证，源1.0写诗歌、写对联、生成新闻、续写小说的能力已经让人类的平均误判率达到了50.84%，超过30%即具备人类智能，9月28日，浪潮人工智能研究院正式发布全球最大中文预训练语言模型，源1.0，历时四个月研发，源1.0参数量已达2457亿...。
2006年，Hinton发表了一篇论文，AFastLearningAlgorithmforDeepBeliefNets，，提出了降维和逐层预训练方法，该方法可成功运用于训练多层神经网络，使深度网络的实用化成为可能，该论文也被视作深度学习领域的经典之作，从原理来看，深度学习与神经网络紧密相关，神经网络由一层一层的神经元构成，层数越多，神...。
悟道2.0，要怎么用起来，连创，中国首个，和，世界最大，两项记录后，悟道大模型的落地应用成为业界关心的热点话题，GPT，3的问世掀起了一股，炼大模型，的浪潮，去年10月，北京智源研究院集结中国产学界100多位AI专家联合攻关，在一年之内发布了1.75万亿级大规模预训练模型悟道2.0，超越GPT，3、SwitchTransformer，...。
字幕组双语原文，TensorFlow最出色的30个机器学习数据集英语原文，30LargestTensorFlow>，翻译，雷锋字幕组，TensorFlow是由谷歌大脑的研究人员创建、最大的机器学习和数据科学的开源数据库之一，它是一个端到端平台，适合完全没有经验的初学者和有经验的数据科学家，TensorFlow库包括工具、预训练模...。
雷锋网按，如何低成本高效率地利用少量带标注的数据，挖掘大量语音数据中的有效信息，半监督学习正成为当下研究趋势之一，在这种趋势背景下，端到端的训练方法也正尝试结合预训练或先验知识，投入在语音识别网络的探索中，在8月8日的CCF，GAIR2020全球人工智能与机器人大会·前沿语音技术专场上，俞凯教授分享了端到端和半监督学习技术在语音识别问...。
雷锋网AI科技评论按，谷歌云机器学习平台，GoogleCloudAI，自从上线以来就以预训练的、可以直接调用的高效机器学习模型吸引了许多企业级用户在其上构建简单的机器学习应用，然而企业总是会有自己专属的需求的，越来越多的企业会不再满足于预定义好的功能，而想要设计和应用更加自定义化的机器学习模型，今天，在谷歌云首席科学家李飞飞和谷歌云研...。
2021年是大规模预训练模型的爆发之年，掀起了人工智能又一波热潮，并迅速成为AI领域的技术新高地，助推人工智能从1.0的感知智能向2.0的认知智能转变，自从2012年深度学习的应用元年以来，人脸识别、语音识别等技术通过机器学习实现了大量应用场景突破，不仅提升了社会工作效率，同时改变了人们的生活出行模式，建立了人类对人工智能技术的基础认...。
未来企业的组织形式是怎样的，元宇宙时代，企业人才引进的方式还有哪些创新和可能，1月26日，网龙首席执行官熊立博士对外发布网龙华渔教育元宇宙组织战略，网龙将致力于打造，人人参与共创、人人享有价值，的未来组织新形态，熊立说，依托元宇宙组织，网龙将吸引全球最优秀的人才为网龙的使命服务，共创全人类教育元宇宙，打造元宇宙组织，人人参与共创、人人...。
在今年的CES上，来自全球155个国家、约3600家科技企业齐聚美国拉斯维加斯，向世界展示尖端电子技术和现代生活的前沿科技产品，在众多的面板厂商的展台及展品中，不难发现越来越多的显示厂商从LCD面板转向更轻、更薄、色彩更为艳丽的OLED面板，并将OLED面板作为主要发展方向，其中，柔性OLED显示作为高性能的新型显示技术，被行业认为是...。
作者，赖文昕编辑，陈彩娴2024年已经过半，大模型技术的角逐也逐渐从上半场的，百模大战，转向下半场聚焦落地，千行百业，的产业应用，过去短短2个月以来，全球AI界接连开展了数十场发布会，从海外的英伟达、OpenAI、谷歌、苹果，到国内的阿里巴巴、字节跳动、腾讯等一众企业纷纷出新，还不约而同地选择将大模型技术落地到产业应用之中，AI企业们...。
您好.首先感谢您及贵公司对西安创业项目博览会的关注和支持，由陕西省劳动厅、陕西省总工会、陕西省妇联和西安市创业指导办公室联合主办的第四届，西安，创业项目暨品牌连锁、特许项目招商博览会，定于2009年10月30日至11月1日在西安曲江国际会展中心隆重开幕，致力于打造一个西部乃至全国具有重要影响力的创业项目展示、交流、交易、合作平台，相信...。
最近很多做淘宝运营的粉丝找我，他们始终对搜索流量、推荐流量、标签的理解不够清晰，因此很难精准获取流量，为此我特写一篇文章，你们用心看完，店铺流量必定更上一层楼，如图所示，影响搜索流量和推荐流量的因素看似是一样的，那为什么搜索流量高的时候推荐流量少，推荐流量高了反而搜索流量就下降呢?淘宝流量制衡的底层逻辑，标签决定哪个流量渠道爆发，影响...。
