高光谱成像技术在农业的应用现状及发展趋势分析
前言:随着现代精准农业的发展,高光谱成像(HSI)在农业领域得到了广泛的使用,如病害检测、杂草检测、作物监测、养分应用、土壤矿物学、产量估计等。而高光谱传感器在精准农业中对数字图像的适应性还处于起步阶段,在现场进行实时解决问题方面还存在一定的困难,要充分发挥精准农业的潜力,需要在HSI技术方面取得重大进展。
2024年5月17日,由美国北达科他州立大学的Billy G.Ram及其合作者在Computers and Electronics in Agriculture上发表了题为“A systematic review of hyperspectral imaging in precision agriculture: Analysis of its current state and future prospects”的综述,文章回顾了过去20年(2003-2023)在农业农田中使用便携式高光谱传感器(地面、无人机、便携式手持和光谱辐射计)的文献,试图对精确农业中实时应用HSI的最新进展和趋势进行全面概述,并提供了对未来研究方向的见解。该文章主要内容如下:
1高光谱数据采集
高光谱数据采集模式包括点扫描、线扫描、波长扫描和快照扫描。点扫描传感器(图1a)能够提供非常高的光谱分辨率,因为需要与被测物直接接触,所以缺少空间信息。线扫描传感器(图1b)以推扫模式获取数据,并需要一个平移阶段来捕获完整的图像。这些传感器通常可提供高数据覆盖率和低数据冗余。波长扫描传感器(图1c)需要可变滤光片或分光仪来分配特定波长,滤波器通常安装在电荷耦合二极管(CCD)传感器上,这些传感器是光敏集成电路,可以显著降低高光谱数据采集的成本,但是它们的光谱维度受限于滤波器的规格。快照传感器(图1d)在整个场景中同时获取数据,提供高空间光谱分辨率。高效的数据管理是高光谱数据采集的一个关键方面,数据采集模式的选择会影响生成的数据量和可以执行的分析类型。
图1 不同的高光谱数据采集模式。(a)点扫描,(b)线扫描,(c)波长扫描,(d)快照扫描。
利用高光谱传感器在农田数据采集和应用的平台可以帮助这些传感器用于各种农业任务,这些平台可同时记录和分析数据,大多是在受控环境和封闭系统平台中完成的,通常采用前向馈入技术,利用CPU的一体化系统,设置传感器的视场,并部署训练好的模型,可对不同的数据进行分析。高光谱传感器捕获更少的波段,自动去除冗余,也已经成功地用于实时驱动任务。
利用平台进行高光谱利用主要分为两类:第一种是数据采集平台,这是所有高光谱仪器的基础,仅限于数据采集而不支持光谱数据实时处理;第二种是驱动任务平台,这些平台采集光谱数据并执行实时任务,但实时驱动平台目前仅限于室内系统。
图2 现场应用的高光谱平台
2高光谱数据处理
(1)高光谱数据预处理
在采集高光谱数据时,不可避免的会产生噪音,这就需要在提取有用信息之前,要对数据进行预处理。数据预处理可以降低高维数据的复杂性,但其本身并不能满足实时应用的要求。为了实现实时处理,要对数据压缩、板载处理和GPU处理。常规的高光谱数据分析方法一般采用前向馈入方法。通过获取高光谱图像立方体(图3a)或点光谱(图3f),然后进行黑白参考校准、分割(图3d)、光谱预处理(图3e、f)、特征选择、数据展开,并将其作为分析输入。
图3 (a)高光谱数据立方体的可视化;(b)不同波长的高光谱图像;(c-d)使用k-means聚类去除背面的基本分割过程地面;(e)原始光谱特征;(f)为以二阶导数为例,预处理后的光谱特征。
(2)机器学习(ML)和深度学习(DL)在高光谱数据中的应用
ML和DL是人工智能的两个专业,这两种技术已经在农业高光谱领域的各种应用中得到了广泛应用,包括研究作物产量、病虫害检测、执行分类任务和监测作物生长等 。ML模型依赖于光谱数据,不包含空间信息。DL是ML的一个子集,它实现了空间信息与光谱数据的集成。然而,像深度学习中的一维卷积神经网络(1D-CNN)这样的变化也只利用频谱信息。ML算法,如决策树(DT)、随机森林(RF)和支持向量机(SVM),可用于将高光谱数据分类为不同的类别。
(3)高光谱图像的数据增强
数据增强是一种成熟的深度学习技术数学运算(例如,旋转、模糊、剪切、锐化、亮度、相反,镜像)应用于数据,稍微调整它们以增加训练样本的数量。增加训练样本的数量有助于模型在分类任务中更好地泛化。基于空间变换的数据增强包括旋转、翻转、转置、随机遮挡和缩放(图4)。这些方法可以在线或离线模式下应用于数据。数据增强,无论是基于模型还是基于空间变换的方法,都已被证明有助于模型更好地泛化和分类精度。
图4 应用于高光谱图像的各种基于空间变换的数据增强技术的示例,红色标记描绘了原始数据的方向变化。
3高光谱技术在精准农业中的应用
(1)杂草鉴定或分类研究
因为杂草在空间上看起来与作物相似,利用HSI进行杂草识别被视为早期发现杂草的可能解决方案,对于RGB图像,训练模型主要依赖于物体的空间或纹理特征来进行推断,而高光谱传感器捕获的高光谱分辨率数据可以解决相似颜色和纹理物体的区分问题,这样更能提高杂草识别的精度。
(2)病虫害的检测
植物生长可能受到病害胁迫和虫害的不利影响,这可能导致产量和质量下降,甚至完全停止生长。基于高光谱数据训练的逻辑回归型可用于在症状前阶段对植物健康和不同阶段的病害进行分类。对于某些应用来说,移除背景和选择病害roi以提高数据质量是必不可少的,谱域研究还应用各种植被指数来确定病害与植物生长的相关性。
(3)生理性状监测
植物健康的表型和评价可由叶面积指数、叶绿素和氮含量、作物产量和水分含量等关键因素决定。与多光谱和热成像相比,使用光谱的HSI在检测这些参数的影响方面更有效。高光谱数据的预处理步骤也是非常重要的,使用原始光谱数据训练ML模型会降低确定生化和生物物理参数的准确性。对植物生理特性的监测通常依赖于光谱数据而不是空间数据,因此在测定水分含量、氮含量或植物胁迫的研究中经常使用点扫描光谱仪。
4高光谱成像在精准农业中的适应性
对于高光谱平台来说,目前可分为两大类:专门为数据收集而设计的平台,以及将驱动任务与数据收集结合起来的平台。当前执行驱动任务的平台实现了显著的降维技术,以实现实时处理速度。在空间和光谱差异极小的情况下,使用高光谱传感器是合理的,特别是当特定波长区域的低波段传感器不可用时。对于算法来说,机器学习技术能够在检测各种植物性状方面达到高精度,空间信息与光谱数据的结合主要利用的是深度学习技术,尽管这些模型具有很高的准确性,但仍然依赖于数据预处理和增强。
5高光谱在农业应用方面的情况
HSI在本文讨论的各种农业应用中表现出优异的效果,高光谱数据的高维性使其能够解决RGB和多光谱成像无法实现的问题。具体来说,它能够确定不同物体在宽波长范围内的相互作用,这样可以帮助我们发现相同纹理、颜色和物理性质的物体之间的不同之处,从而根据它们的化学成分来区分物体。
作者得出了以下重要结论:
(1)降维是一个重要步骤,在大多数研究中都很常见,选择最重要的波段有助于减少数据大小,消除数据冗余,并有助于实时应用。
(2)400-nm的波长范围是农业应用中最常见的范围,而不同应用的有效波长是不同的。
(3)预处理步骤的选择完全取决于研究者和模型的精度,对于预处理步骤的选择没有固定的规则集,最常见的预处理步骤是图像校准和散射校正。
(4)与ML模型相比,DL模型允许更精简的分析方法,ML模型高度依赖于预处理而深度学习模型不需要密集的预处理,有时甚至不需要预处理。
(5)数据增强对于深度学习模型的训练和在有限的高光谱数据下提高模型的泛化能力是一种有益的方法。
(6)植生理性状的解释通常是利用光谱数据来实现的,而不需要空间信息,这目前是在ML模型或1D-CNN模型的帮助下处理的,像2D-3DCNN这样的融合模型的准确性也有所提高。
(7)目前开发高光谱平台的农业研究正在增加,随着技术的进步,这一趋势预计将在未来几年继续增长。
6未来研究方向
目前正在向实时应用的方面转变,然而技术和分析都处于发展的初级阶段,这就需要更多的研究和开发。在此基础上,提出了未来的研究方向:(1)开发高光谱数据采集的开源软件、库和工具箱,应该支持无人机和ugv安装的传感器,与嵌入式系统或其他强大的便携式平台兼容。(2)开发具有成本效益和实用性的实时高光谱数据记录平台是未来研究和发展的关键领域。(3)为HSI实时PA应用部署ML和DL模型,尽管许多模型都训练得很准确,但目前部署的模型很少,应该研究使模型坚固耐用并适用于多种场景的模型的大规模整合。(4)制造和部署自主平台,使用独立开发的工具进行数据采集、导航、分析和模型部署,是未来研究的另一个关键领域。