高光谱成像（HSI）是一种基于光谱学的分析技术，它收集同一空间区域不同波长的数千幅图像。人眼只有蓝色、绿色和红色三种颜色受体，但是高光谱成像能够测量场景中每个像素的连续光谱，具有精细的波长分辨率，不仅能在可见光波段成像，也能在近红外（NIR）波段成像。照射到每个像素的光，被分解成许多不同的光谱带，以提供成像方面的更多信息。收集的数据会形成一个3D高光谱立方体，其中有两个维度表示场景的空间范围，第三个维度表示其光谱内容。

高光谱成像通常被称为光谱成像或光谱分析，其中也包括多光谱成像（MSI）。这两种成像系统之间的主要不同在于：高光谱成像使用连续和临近的波长范围（如以1nm为步长的400~1100nm波段），而多光谱成像在所选位置使用目标波长的子集（如以20nm为步长的400~1100nm波段）。多光谱成像传感器通常在每个像素中具有3~10个不同的波段测量值，而高光谱成像图像则可以包含数千个较窄但连续的光谱波段。因此，高光谱成像传感器比多光谱成像传感器包含更多数据。例如，高光谱成像可以用于绘制森林地区的地图，而高光谱图像可以用于绘制树木物种的地图。

尽管多光谱成像可以被认为是高光谱成像的一个缩减的子集，但这两种技术是互补的，具体选择哪一种取决于应用需求。例如，在可见光波段，多光谱成像可用于识别水果的轮廓，以及发现蓝莓等水果上难以看到的瘀伤；但如果目的是对牛油果的脂肪含量进行非常详细的分析，那就只能通过高光谱成像技术来实现了。

多光谱成像和高光谱成像背后的算法和图像处理方法，可以追溯到20世纪70年代。当时美国陆地卫星计划的第一颗卫星——陆地卫星1号，是第一颗携带多光谱扫描仪的卫星。随后，美国国家宇航局（NASA）的机载成像光谱仪（AIS）和AVIRIS在20世纪80年代中期得到了发展，据了解，当时“高光谱成像”一词是由加州理工学院成像分析系统小组的主管Jerry Solomon提出的。[1]

那时候，没有微处理器，图像处理必须在大型中央计算机中心进行。自从那时起，特别是在过去的五年间，由于微处理和基于芯片的传感器的发展，高光谱成像技术的应用，已经从地球观测扩展到了众多领域，如农业、工业分拣、医学研究、食品质量控制和环境监测等。

高光谱成像的应用

每种材料都有一个特定的光谱特征，可以用作其识别的唯一“指纹”。高光谱成像在识别物质成分方面具有非侵入性、无标记和非破坏性等优势，因此有着广泛的应用领域。这些应用涉及：

•医疗：用于增强现实手术和医疗诊断；

•机器视觉：几乎能对所有材料进行分类，从食品、矿物到纺织品和塑料；

•遥感：分类农业土壤、矿物、塑料、污染和监测物；

•农业：检测疾病、水分胁迫和土壤质量的早期症状，实现生长过程的最佳控制；

•艺术品和遗产分析：判断文物最初是如何、何时、何地制作，或随后被修改的；

•食品质量控制：识别和量化食品的化学成分，提供营养、脂肪百分比、糖含量和新鲜度等信息；

•垃圾分类：对塑料、纺织品、金属、玻璃、纸张、纸板和危险材料（如石棉等）进行分类和分离；

•制药：用于药品化学成分的质量保证；

•采矿和石油：对岩芯和其他地质样本进行快速可靠的矿物分析；

•法医学：从犯罪现场收集证据，如血迹和火药残留物等。

高光谱成像系统的商业化

根据最近的一份市场报告，预计2020年至2027年间，全球高光谱成像市场将以8.2%的复合年均增长率（CAGR）增长，到2027年将达到35.2亿美元。预计亚太和欧洲将是市场增长最快的地区，复合年均增长率分别为9.3%和8.5%。

高光谱成像市场增长的主要驱动因素，包括市场对材料准确可靠分析的需求不断增加、人工智能等新技术与低成本成像系统的发展相结合、以及对遥感应用的需求不断增长。高光谱成像的主要应用领域包括医疗诊断、工业机器视觉、环境监测和军事监察。

高光谱成像的类型

高光谱相机可以通过五种方式捕获信息，用于形成3D数据立方体。

Whiskbroom（点扫描）一次获得一个像素点的光谱数据。图像是在相机扫描样本时生成的，并包含样本的所有光谱信息。虽然图像采集过程非常耗时，但这种方法能够实现非常高的光谱分辨率。

推扫式（Push-broom，线扫描）测量连续光谱，一次获得一行像素（一条线）的光谱数据，广泛应用于工业质量控制监控过程。它的主要限制是由光谱仪的入口狭缝引起的高损耗。

傅立叶变换（FT）光谱（Fourier transform spectroscopy ）是测量连续光谱的一种替代方法。这种方法将单色成像传感器与干涉仪相结合，比推扫式系统具有更高的光通量。

光谱扫描（Spectral scanning ）收集给定波长的整个空间信息，每次处理一个波长。虽然捕获每张图像都很快，但是由于改变波长所需要的时间，因此光谱扫描产生立方体的速度较慢。

高光谱快照相机（Hyperspectral snapshot cameras）一次获得一个立体的高光谱图像。尽管它们通常提供有限的光谱分辨率和空间分辨率，但成像速度快，非常适合运动物体的成像。

高光谱成像产品

芬兰Specim公司是一家基于推扫式技术的高光谱成像解决方案全球供应商。该公司提供的SpecimONE平台，包括经过行业验证的Specim FX高光谱相机、用于创建分类模型的SpecimINSIGHT软件工具，以及用于在内联系统中实时运行模型的SpecimCUBE处理单元。这是一个完整且易于使用的光谱成像平台，旨在让高光谱技术能够更容易、更快速、更便宜地在工业领域应用（见图1）。Specim FX系列是Specim专门为工业机器视觉应用设计的第一批高光谱相机，可在可见光、近红外到热范围的波长短成像（见图2）。Specim FX50是市场上唯一可覆盖全中红外（MWIR）光谱范围（2.7~5.3μm）的高光谱相机，可用于检测黑色塑料。

图1：SpecimONE光谱成像平台。

Specim的高光谱相机具有能满足工业应用要求的性价比，目前已经在机器视觉领域用于分类危险废物（如石棉）、区分塑料、纺织品、金属、玻璃、纸张、纸板和其他材料，以及在食品工业中用于确定土豆的含糖量。


图2：Specim FX10、FX17和FX50高光谱相机。

比利时imec公司是一个活跃于纳米电子和数字技术领域的国际研发组织。imec专注于先进技术，包括芯片上的光谱成像，重点关注半导体晶圆厂、设备和工艺技术。传统的高光谱相机包含精密的光学元件来选择和衍射光线，这使得高光谱相机相对较重、昂贵、缓慢且脆弱，需要频繁地重新校准。

为了解决这些问题，imec开发了一种用于光谱成像的独特CMOS工艺，其中薄膜光谱滤波器在晶圆级直接沉积在图像传感器像素的顶部（见图3）。这些滤波器消除了复杂的光学相机设计，可以将它们沉积在商业CMOS图像传感器上。


图3：imec的一系列高光谱传感器，并在图像传感器上沉积光谱滤波器，如马赛克或条纹图案所示。（图片来源：imec）

imec的制造工艺能够以合理的成本批量生产传感器，并且薄膜滤波器的设计可以针对特定的应用进行调整。这种片上光谱成像技术有不同的“配置”，具体取决于光谱滤波器的模式。例如，快照光谱传感器由图像传感器顶部的拜耳状马赛克图案组成，每个像素具有光谱窄带滤波器，使视频速率的光谱成像非常适合有大量运动的场景或监测动态过程。线扫描高光谱传感器在每行像素的顶部包括条纹图案，从而能实现高分辨率高光谱成像。与推扫技术相比，imec的技术提供了一种更紧凑、更稳健、更易于使用的形式，因为二维（2D）图像直接在芯片上被分割成彩色通道。其应用包括医学、机器视觉、遥感、农业、艺术和遗产分析以及法医学。

意大利NIEOS公司的HERA是一款基于FT方法的新型高光谱相机，它使用光的干涉而不是色散来测量光谱（见图4）。基于空间或光谱扫描的高光谱系统（例如，推扫式扫描仪或基于滤波器的相机），包含一个狭缝和一个光栅，这限制了到达探测器的光量。相比之下，HERA具有大的透明孔径，可提供非常高的光通量、高灵敏度和可变的光谱分辨率。它甚至可以在弱光照条件下使用，例如记录样品不同区域发出的微弱荧光光谱。


图4：NIEOS HERA Extended SWIR-3相机（900~2300nm）。（图片来源：NIEOS）

NIEOS公司的相机运行在静态模式，不需要添加繁琐的平移台来移动相机或样本，而且它的大景深允许对3D目标物和风景进行高光谱成像。HERA是一款易于使用的傻瓜型相机，适用于各种应用中的透射、反射和荧光测量，具体应用包括材料分拣和食品检测、文化遗产检测、环境监测和遥感等。

高光谱成像很少用于显微镜应用，而这正是比利时Lambda-X公司正在探索的领域。针对以前的一个太空项目，Lambda-X开发了最初的高光谱相机，用于对太空物体重新进入大气层时的燃烧事件进行化学分析。为此，他们开发了一种专用的高光谱成像架构，能够测量受限环境中的场景，尤其是振动环境。

这种创新的高光谱成像系统，基于普通的光束干涉仪架构和工作在可见光和近红外波段（VNIR；400~950nm）的FT干涉仪。该相机采用衍射极限光学元件，使其与显微镜应用兼容。同时，它提供了足够高的光谱分辨率，在400nm处能达到8cm-1或0.13nm，以满足先进的荧光成像应用以及拉曼成像应用的需求。Lambda-X最近展示了这种高分辨率相机的可用性，如可以用在食品行业中，区分三聚氰胺和奶粉颗粒。该技术适用于任何要求高光谱和高空间分辨率的应用，如远程大气气体分析或远程植被荧光检测等。

HySpex隶属于挪威Norsk Elektro Optikk公司，主要提供VNIR和短波红外（SWIR）波段的三种推扫式高光谱相机，用于机载、实验室、无人机、野外和工业用途（见图5）。HySpex的Mjolnir系列相机外观小巧，质量轻，用于从无人机中收集科学级数据。例如，配备Mjolnir相机的无人机可以飞越露天矿山，快速绘制矿山的化学、物理和矿物学特征图。

HySpex的Baldur系列工业相机，可在食品工业中用于质量控制、异物检测、分拣和分类等应用。Baldur系列的光谱分辨率为两个光谱带，其捕获的光是传统系统的4倍，能够自动检测鳕鱼片中的寄生线虫，从而降低成本，提高食品安全，减少浪费。HySpex的最新产品VS-1200，是一款专为机载应用而设计的高分辨率相机，它具有40°的视野，非常适合绘制高准确度、高分辨率的大面积地图。

2022年，HySpex为NASA设计了一个新的平流层VNIR和SWIR系统，用于2022年9月在ER-2载人飞机上进行的首次空中行动。


图5。HySpex的平流层VNIR和SWIR系统所获取的图像。图像的红色部分是NASA用平流层系统拍摄的第一条飞行路线上截取的假彩色RGB。（图片来源：HySpex）

依然存在的挑战

尽管高光谱成像能比多光谱成像系统产生更高的分辨率，但是它的成本和复杂性都相对较高。高光谱立方体是一种大型多维数据集，因此分析高光谱数据需要快速处理、灵敏的探测器和巨大的数据存储容量。这些因素大大增加了获取和处理高光谱数据的成本和复杂性。例如，在空间应用中，一个主要问题是如何对高光谱卫星进行编程，使其自行对数据进行分类、排序，并且仅传输重要图像，因为传输和存储大量数据既困难又昂贵。

同样，对于工业应用而言，使用本地或远程图像存储和数据输出的决定，可能会影响应用的速度，而应用必须与生产同步。其他问题包括：确定适当的波长，选择具有适当光谱分辨率和空间分辨率的正确相机，以及在关键波长处选择具有足够强度的照明。由于高光谱成像通常需要高水平的物理理解，因此软件需要尽可能直观，并且能支持材料分类的轻松建立。

为了解决这些问题，迄今为止，高光谱成像技术发展的共同目标是：降低复杂性，使高光谱成像的工业应用比以往更容易、更快速、更便宜。这包括了使用CMOS工艺来消除复杂的光学相机设计；由相机、软件工具和处理单元组成的一个完整且易于使用的光谱成像平台；以及基于FT方法的相机，其能够实现高光吞吐量，并且可以在低光照条件下使用。

在接下来的几年中，随着高光谱成像技术在复杂性和成本方面的逐渐降低，它将不可避免地进入主流成像应用领域，因为它是唯一一种具有足够光谱分辨率和空间分辨率的技术，可以满足各个领域对材料精确可靠分析日益增长的需求。

接下来，高光谱成像应用将会扩展到农业、环境监测和生物医药等新行业。随着对更精确和更准确的材料分析的需求不断增加，高光谱成像技术有望在上述这些市场中发挥重要作用。此外，预计遥感和无人机应用的增长，也将推动高光谱成像技术在环境监测和测绘应用中的需求。随着高光谱成像技术的不断发展，它有可能彻底改变我们理解和分析材料的方式，为各行各业提供新的理解和机会。

高光谱成像是一种工具，它有潜力对我们的生活和地球产生重大的积极影响。无论是用于促进可持续性、改善公共卫生还是提高安全保障，高光谱成像技术都在帮助我们以新的、令人兴奋的方式看待世界，并激励我们应对人类面临的一些巨大挑战。