01 摘要

高光谱成像(HSI)  最近已成为许多农业应用的有前途的工具；然而，由于捕获、处理和分析大量数据需要大量时间，因此该技术无法直接用于实时决策和行动。因此，使用当前的  HSI 系统无法开发简单、紧凑且经济高效的成像系统。因此，本研究的总体目标是通过深度学习从 RGB  图像重建高光谱图像以用于农业应用。具体来说，本研究使用高光谱卷积神经网络 - 密集 (HSCNN-D) 从 RGB  图像重建高光谱图像，以预测红薯中的可溶性固体含量 (SSC)。该算法从 RGB  图像重建高光谱图像，生成的光谱与地面实况非常接近。基于重建光谱的偏最小二乘回归 (PLSR) 模型优于使用全光谱范围的模型，证明了其在红薯  SSC 预测中的潜力。这些发现凸显了基于深度学习的高光谱图像重建作为各种农业用途的低成本、高效工具的潜力。

02 解决方案

高光谱成像(HSI)  是一种有用的技术，可用于全面、非侵入性产品质量评估。与传统成像技术不同，HSI  采用数百个窄带上每个空间位置的光谱特征累积。通过结合这些广泛的空间和光谱数据，HSI  创建了超立方体。这些超立方体提供相关的定性和定量信息，可用于确定图像中每个对象的化学成分、材料质量和其他物理特性 。因此，HSI  在农业、医学成像和地质学等多种应用中具有重要前景。在农业领域，高光谱图像具有巨大的潜力，特别是在农产品质量评估方面。HSI  是精准农业的有力工具，可通过识别叶绿素和氮水平、跟踪植物健康状况、发现疾病、对植物种子进行分类以及可持续优化产量管理来帮助做出数据驱动的决策。尽管具有巨大的优势，但高成本、庞大而复杂的数据、低空间分辨率、环境敏感性、较差的便携性和低成像速度使得  HSI 在某些应用中无法使用。

深度学习彻底改变了数据分析，并在图像分析方面取得了显著突破，例如对象分类、检测、分割和图像生成  。深度学习的一个有趣领域是从红、绿、蓝 (RGB) 图像重建高光谱图像。这种重建能够在使用易于获取的 RGB  图像的同时获得高光谱图像的丰富光谱和空间信息。从 RGB 图像重建高光谱数据带来了重大挑战，因为在集成过程中会丢失关键细节。出现这样的挑战是因为  RGB 图像仅捕获电磁波谱的有限部分，导致大量信息丢失。然而，深度学习算法有可能克服现有的挑战，即使在嘈杂的 RGB  图像中也能进行理想的重建（Zhang 等人，2022 年）。从 RGB  图像进行理想的高光谱图像重建可以大大拓宽高光谱数据的可访问性和适用性，从而实现广泛领域的更精确的分析和决策。这种创新方法可能会为 HSI  研究开辟新的可能性，并有可能彻底改变食品和农业行业的质量评估。

红薯 具有广泛的工业应用，从食品加工和纺织品到可生物降解塑料和生物燃料 。SSC 分析的传统实验过程通常耗时、侵入性和劳动密集型 。因此，从广泛可用的 RGB 图像中整合基于深度学习的高光谱图像重建将成为快速、无损预测 SSC 的创新方法。

值得注意的是，文献中涉及HSI重建用于农产品品质评估的研究有限。Zhao等（2020）应用高光谱卷积神经网络-残差（HSCNN-R）重建算法，仅使用36个样本就评估了番茄的SSC，R2达到0.51。最近，Yang等（2024）利用预训练的MST++算法建立了水稻心理参数的反演模型，预测SPAD值的R2为0.40。现有研究的结果为应用更深的网络重建算法进行农产品品质评估的精准重建奠定了基础。因此，本研究旨在有效训练HSCNN-D重建算法，以精确重建高光谱图像和光谱。此外，还比较了  PLSR 模型在整个光谱范围和选定波长上的性能与应用于重建光谱的 PLSR  模型。本研究的结果有可能对农产品的质量评估、收获决策产生深远影响，并为 HSI 在现实场景中的应用开辟新的可能性。

03 材料与方法

2.1 样品制备

本研究涉及对三个红薯品种的储藏根进行实验：“Bayou  Belle”、“Murasaki”和“Orleans”。本次研究共选择了三个品种（Bayou Belle - 50、Murasaki - 40  和 Orleans - 51）中 141 个没有任何缺陷的红薯。收集后，所有样本在开始图像采集前在 25 °C 的室温下储存 24  小时。之后，对样本进行化学参考分析。

2.2 参考数据收集

采集高光谱图像后，测定每个红薯样品的  SSC。该测量使用 Atago  数字折射仪。首先，将样品的果肉与外皮分离，然后通过挤压手动榨出汁液。随后，将获得的汁液小心地放置在折射仪的棱镜板上，并记录相应的读数。值得注意的是，在整个测量过程中保持一致和均匀的光照条件。特定样品的  SSC 测定值最终来自对每个样品进行三次重复测量的平均值。

2.3 图像采集与校正

在进行上述参考分析之前，先利用专为可见近红外 (VNIR) 探测而设计的 Specim  IQ 线扫描高光谱相机（Specim，Spectral Imaging Ltd.，芬兰奥卢）捕获红薯样品的高光谱图像。相机组件包括镜头、成像光谱仪和CMOS传感器。手持式  Specim IQ 相机通过 Specim IQ Studio 软件操作，配备 4.3 英寸触摸屏和 13  个控制按钮。每个样品以不同的视角成像两次。该相机由 512 个空间像素和 204 个光谱带组成，光谱分辨率为 7 纳米，跨度为 400-1000  纳米。这种一致的配置以 512 × 512 像素的分辨率生成二维方形图像，有助于开发尺寸为 512 × 512 × 204  的三维超立方体，包含超过 5300 万个数据点的大量数据集。对称放置的 750 W 钨卤素灯（德国  ARRI）确保视野照明均匀。解决照明不均匀的问题，获得反射率为 99%  的白色高光谱图像。为了降低传感器噪声，在灯关闭时通过遮挡光线获取暗背景（反射率约为  0%）的参考图像。这些参考图像包括白色和暗电流图像，通过应用方程(1)有助于降低初始未处理高光谱图像中的噪声。

（1）

I W表示白色参照图像，I D表示暗电流图像，I R0表示未处理的高光谱图像，I R表示校正后的图像。采用波段逐行交错（BIL）格式保存获取的高光谱图像。

2.4 图像分割与光谱数据提取

图像分割是从高光谱图像中获取光谱信息的重要前期阶段之一。图像分割的主要目的是通过构建掩模来识别测试样本的感兴趣区域（ROI）以将其与背景区分开来。利用两个反射波段（602nm  和  452nm）之间的差异，在采集图像后将红薯从图像背景中分割出来，从而创建掩模。随后将该掩模用作感兴趣区域（ROI），以从高光谱图像中提取反射光谱信息。然后通过平均  ROI 内的所有像素光谱来计算 ROI  的反射光谱，从而为每个高光谱图像生成单个平均光谱。最后，通过平均来自同一样本的相应图像的两个光谱来计算样本的光谱。

2.5 光谱预处理

在光谱传感中，光散射、仪器漂移、基线偏移和斜率变化等因素都会影响光谱数据，因此需要在校准之前进行预处理。数据预处理旨在消除或最小化与感兴趣属性无关的变异性或物理效应。有效的光谱分析取决于适当的预处理。虽然正确的预处理可以提高建模精度，但错误的选择会导致预测不准确。由于光谱数据集的维数和噪声条件各异，选择正确的方法具有挑战性。在本研究中，使用了三种预处理方法：乘法散射校正  (MSC)、标准正态变量 (SNV) 和使用一阶导数的 Savitzky-Golay 平滑 (SG-1st  der)。技术的选择基于全光谱模型的性能。

2.6 从提取的光谱中选择特征

光谱特征可能包含整个光谱区域中不必要的冗余信息，从而影响校准精度。通过从许多间距很近的光谱特征中合理地选择一些信息丰富的特征，可以提高多变量分析的预测能力并降低模型的复杂性。因此，人们做出了大量努力来设计和评估有效的特征选择方法。然而，由于每个实验数据集都是独特且复杂的，因此没有一种单一的最优方法适用于所有数据集。提取光谱数据后，采用基于进化的特征选择方法，即遗传算法为每个样品的  SSC 预测选择一些重要的波长。随后部署这组流行波长来构建高光谱图像重建算法的数据超立方体。

2.7 高光谱图像重建

2.7.1 数据超立方体创建

此步骤使用选定的特征集创建数据超立方体。首先，将第2.4节中创建的掩码再次应用于高光谱图像。接下来，不是选择所有  204 个波长，而是从图像中选择几个波长。因此，每个超立方体的尺寸为 512 × 512  × λ（λ表示所选的波长）。由于每个样本在不同的视角下进行两次成像，因此对于 141 个样本，构建了 282  个这样的超立方体，然后作为标签信息输入到高光谱图像重建算法中。

2.7.2 输入 RGB 图像准备

Specim  IQ VNIR 相机根据 CIE 标准光源 D65 和 CIE 1931 2° 标准观察者使用伽马校正 (ɣ = 1.4)  从高光谱图像渲染一组 RGB 图像。生成的 RGB 图像采用 PNG（便携式网络图形）格式。然而，HSCNN-D 重建算法仅接受  JPEG（联合图像专家组）格式的 RGB 输入。因此，在将 RGB 图像输入重建算法之前，PNG 文件被转换为 JPEG 格式。对它们应用了第  2.4节中获得的相同二进制掩码。

2.7.3 高光谱图像重建的HSCNN-D模型

高光谱超立方体和  RGB 图像被输入到一种先进的基于 CNN 的高光谱图像重建方法中，即 HSCNN-D。RGB 图像作为输入数据，相应的超立方体为训练  HSCNN-D 方法提供标签（地面实况）信息，使其能够在训练成功后从输入的 RGB 图像中预测超立方体。该方法采用密集连接结构（图 1）从  RGB 图像重建高光谱数据。HSCNN-D 取代了另一种重建算法 HSCNN-R  的残差块，通过增加网络深度来提供更精确的解决方案。还加入了围绕密集结构构建的路径加宽融合以提高模型的性能。密集结构可以显著缓解训练过程中的梯度消失。密集连接允许第  k  层将来自所有前行层的特征作为输入（即f0，f1，…，f钾−1），如等式(2)所示。这样，由网络深度不断增加引起的传播问题就可以得到解决。除了收敛的内在优势之外，紧凑结构还具有第二个特性，使其适合高光谱重建。给定  RGB  图像作为输入，可以重建具有多个通道作为输出的高光谱图像。输入和输出之间的主要区别是通道的减少。在每个密集块中实现的连接运算符增加了通道数，这可以为该重建问题生成更精确的模型。

Ck(.)表示第 k 个卷积层，[f0，f1，…，fk−1]表示前面各层生成的特征的串联。

图1 HSCNN - D方法的结构。

2.7.4 重建图像评估

使用三项评估指标 MRAE、RMSE 和 PSNR评估图像重建模型的有效性。公式(3)、(4)、(5 ) 表示执行这些指标所涉及的计算。对模型进行训练，直到训练 MRAE 损失没有明显下降。还针对验证和测试集评估了训练模型的性能。

Igt = 真实高光谱图像（即原始高光谱图像），Irc = 重建的高光谱图像，n = 总像素数。

2.7.5 从重建图像中提取光谱

经过训练的  HSCNN-D 模型用于重建输入到网络的所有 282 张图像。每张重建图像的尺寸与真实图像相同（512 × 512 × λ）。在第  2.4节中生成的 ROI再次被应用于重建的图像。通过平均 ROI 内的所有像素光谱来计算 ROI  的反射光谱，从而为每幅图像生成单个平均光谱。由于两幅图像属于一个样本，因此对两幅图像的光谱进行平均。因此，获得了 141  个光谱作为地面实况和重建的高光谱图像。最后分析这些光谱以预测样本的质量。

本文转载自撸陆

注：文章版权归原作者所有，本文内容、图片、视频来自网络，仅供交流学习之用，如涉及版权等问题，请您告知，我们将及时处理。