高光谱成像系统最新进展及其在机器视觉领域的应用

机器视觉作为机器人的“高精密眼睛”，在工业自动化和智能制造中扮演着至关重要的角色。它通过模拟人类视觉系统，利用镜头、图像传感器等硬件设备捕获图像，并借助图像处理和模式识别等算法对图像进行分析和理解，从而实现对物体的检测、定位、测量和识别等功能。

传统机器视觉技术主要依赖于RGB图像或灰度图像，通过目标物体的形状、颜色或纹理信息进行目标检测、识别和分类。受限于技术原理，传统机器视觉无法揭示目标物体的物质成分特性，或对化学或生物性质进行定性或定量分析。

高光谱成像技术及其优势

随着技术的发展，高光谱成像技术（Hyperspectral Imaging，HSI）作为一种新兴的视觉感知技术，逐步引起广泛的关注。高光谱成像技术是一种集图像传感器、精密光学、精密机械和计算机信息处理技术于一体的综合性技术。其基本原理为通过推扫成像的方式，实现目标与高光谱成像仪之间的匀速相对移动，逐行扫描目标物体；每行反射的混合光经过狭缝和光栅组成的光路进行分光后，由面阵感光元件所记录；每扫描一行都形成了一副空间维度和光谱维度组成的二维数组，通过连续扫描和数据上的叠加，最终生成三维的高光谱立方体数据（Hyperspectral Cube）。因此高光谱成像技术在获取目标物体影像的基础上，还能提供及其丰富的光谱信息。在可见到近红外光谱范围内，高光谱成像技术能够获取到几百个光谱采样点，光谱分辨率达到纳米级。

高光谱成像技术的引入，为机器视觉领域带来了革命性的变革。这项技术不仅打破了传统机器视觉中仅依赖RGB三通道的限制，还极大地增强了系统在复杂环境中的识别和分类能力。通过捕捉和分析数百个连续的窄带光谱信息，高光谱成像能够揭示物质的深层物理和化学特性，从而显著提升检测的精确度和效率。

例如在食品安全领域，它能够快速、无损地检测食品的表面和内部缺陷、新鲜度、成熟度，以及是否存在生物污染或农药残留等问题。这些信息对于在线质量控制、产品分级和分拣至关重要，确保了食品的质量和安全。在中药材的检测领域，它能够有效地进行中药材的品种鉴别、真伪识别和质量控制，大幅提升检测的效率和准确性。在纺织品检测领域，该技术能够对纺织品的颜色、材质和类别等特征进行快速且无损的分析，从而提高杂质检测、成分分析、颜色测量和布料分选的效率。这种精细化的质量控制手段不仅提升了产品的质量，也增强了产品的市场竞争力。

用于机器视觉领域的挑战

尽管高光谱成像技术在机器视觉领域展现出了显著优势，但要将高光谱成像技术在实际生产的在线检测中全面推广，仍面临多重挑战。

（1）数据量庞大是首要难题。高光谱成像技术能够捕获从可见光到近红外范围内的数百个光谱波段，产生的数据量极其庞大。这就要求拥有强大的计算能力和高效的数据处理算法，以实现对这些数据的精准处理和分析。

（2）实时性要求高。在工业自动化和智能制造场景中，机器视觉系统需要实现实时或近实时的分析结果。高光谱成像数据的实时处理和分析则成为了一项技术挑战，因为它需要快速的数据处理能力和智能算法来确保实时响应。

（3）算法复杂性不容小觑。高光谱数据的分析依赖于复杂的算法来提取关键信息，实现精准的分类和识别。因此，开发能够高效、准确处理高光谱数据的算法，成为了技术突破的关键。

（4）集成难度不容忽视。将高光谱成像技术集成到现有的机器视觉系统中，可能会遇到硬件兼容性、软件集成以及系统稳定性和可靠性等技术和工程上的挑战。

（5）技术门槛高。高光谱成像技术涉及的专业知识和技能门槛较高，需要专业的操作人员和维护团队，这在一定程度上限制了技术的普及和应用。

（6）数据解释和可视化也是一大挑战。我们需要将复杂的光谱信息转化为直观、易于理解的形式，以便于最终用户做出决策。

MV.C系列高光谱成像系统

高光谱成像仪设备制造企业Headwall Photonics公司基于perClass公司在高光谱数据分析软件方面的资源，经过深度整合和优化，推出了新一代MV.C系列机器视觉高光谱成像系统。该系统不仅具备强大的数据处理能力和高效的算法支持，还优化了系统集成方案，降低了技术门槛，并提供了直观易用的数据解释和可视化工具。这一创新成果将有力推动高光谱成像技术在产业领域的广泛应用与发展。

图1：Headwall MV.C系列机器视觉高光谱成像系统，可用于数据采集、模型训练和方案验证。

MV.C系列高光谱成像系统组成如图1所示，主要包括MV.C VNIR（400~1000nm）机器视觉高光谱成像仪、MV.C NIR（900~1700nm）机器视觉高光谱成像仪、perClass Mira Stage 实验平台、MV.PC工作站和perClass Mira数据采集及分析软件。

其中两台机器视觉高光谱成像仪的基本参数如表1所示。perClass Mira Stage是一套通用的数据采集平台，拆装简易，方便携带，可根据需要安装不同型号的高光谱成像仪，同时配备有两侧打光的卤素灯光源和电动平台，通过USB接口连接电脑后即可通过perClass Mira软件进行同步数据采集。

表1：Headwall MV.C系列机器视觉高光谱成像仪基本参数表

perClass Mira数据采集及处理软件，是一款功能强大的光谱图像分析工具，它集成了一系列直观易用且可视化效果卓越的功能。这些功能专为不同技术背景的用户设计，确保即使是没有高光谱专业知识的用户，也能迅速掌握数据采集和分析的技巧。该软件不仅简化了光谱数据的采集流程，还提供了高效的数据分析工具，使用户能够轻松地利用内置的机器学习算法创建光谱分类或回归模型，并将这些模型有效地应用于相关的在线检测或分析任务中。其主要功能包括：

● 高光谱数据采集：软件支持多种型号的高光谱成像仪与perClass Mira Stage联用，用户可以通过这些高光谱成像仪获取高质量的反射率高光谱数据。

● 实时分析功能：perClass Mira提供了实时数据处理和分析功能，允许用户在获取图像的同时进行图像解释。

● 建立图像分类和回归模型：用户可以创建自定义的图像分类模型，用于将图像中的像素分配到预定义的类别中。此外，软件还支持回归分析，用于估计数值质量参数。

● 图像和对象标注：用户可以对图像进行标注，定义感兴趣的类别，并通过可视化工具对图像中的特定对象进行分类和分析。

● 对象分割：软件能够基于像素分类结果进行对象分割，并允许用户对分割出的对象进行分类。

● 特征提取和导出：用户可以从图像中提取特定的光谱特征，并将其导出为XML或Excel格式，以便于进一步分析和研究。

● 模型测试和验证：perClass Mira提供了模型测试工具，允许用户评估和验证他们构建的分类器和回归模型的性能。

● 交互式可视化：软件提供了交互式可视化工具，允许用户定义和调整自定义光谱指数，以突出光谱数据的不同方面。

● API支持：软件提供了Runtime API和Camera API，允许用户将perClass Mira集成到自定义应用程序中，并控制数据采集。

应用案例

在图2中，通过MV.C系列机器视觉高光谱成像系统，用户可以高效地批量采集待测目标的高光谱数据，这些数据将直接用于模型训练。利用perClass Mira软件内嵌的先进交互式可视化光谱分类模型构建工具，用户可以精确地构建光谱分类模型。

此外，通过perClass Mira软件的目标分割功能，用户可以批量提取目标感兴趣区域（ROI）的详细光谱数据，并利用内置的机器学习算法，进一步建立这些特征光谱与目标理化指标之间的精确回归关系模型。基于这些经过严格训练的模型，MV.C系列高光谱成像仪能够在实际生产线上，实现实时光谱分类或理化参数反演，从而显著提升生产效率和产品质量监测。

图2：使用Headwall MV.C机器视觉高光谱成像系统的基本流程。

案例一：可视化自定义植被指数

如图3所示，当批量采集完作物的秧苗高光谱数据后，使用perClass Mira软件中的光谱分类和目标分割功能后，将秧苗的区域与背景如土壤分离开；使用Visualization可视化功能中的光谱指数计算功能，可手动选择计算公式，并用鼠标拖动光谱范围区间，实时查看伪彩色显示的指数结果。其实时指数结果可视化，可方便用户确认最优的光谱指数计算方式和对应光谱波段范围。

图3：自定义植被指数。

案例二：坚果和各种异物实时分类

如图4所示，当采集完传送带上放置的坚果、叶片、坚果壳、葡萄干、木头块等多种目标的高光谱数据后，使用perClass Mira的对象标注功能，对不同的目标进行取样后，通过右侧的光谱特征谱线适当选取对应的特征波段，使用Model Search功能建立分类模型。模型的结果表现可在Validation验证窗口进行查看和修改，获得较为理想的模型后，可基于该模型对传送带上的所有相关样品进行实时光谱分类。

图4：使用NIR（900~1700nm）高光谱数据对核桃、葡萄干、坚果壳等异物进行实时分类。

案例三：近红外纤维制品分类

如图5所示，每种纤维材料（如聚酯、棉、粘胶、丙纶、羊毛等）都有其独特的化学组成和分子结构，因此在近红外光谱中表现出特定的吸收峰和光谱特征。使用perClass Mira的光谱分类功能，可对不同材料的样品进行快速在线检测。

图5：使用NIR（900~1700nm）高光谱数据对棉纤维、聚酯纤维、粘胶纤维、丙纶纤维和羊毛纤维进行实时分类。

案例四：小苏打比例回归分析

如图6所示，按照一定的梯度比例混合小苏打粉末与面粉，混匀后采集该样品在NIR范围内的高光谱数据。通过分类、对象分割等操作提取出样品的区间，使用perClass Mira软件中的数据标注功能，对不同样品的小苏打比例进行真实值标注。然后，通过内置机器学习算法建立合适的回归模型，通过修改数据处理方式查看其模型精度，最终得到合适的回归模型后即可用于任意比例混合样品的结果反演。