文 / The Imaging Source 映美精相机

 视觉检测是大多数品管工作流程的基石。由人工执行检测，过程昂贵，容易出错且效率低下，通常 10%-20%的误判率/偏移率和生产瓶颈很常见。德国Fraunhofer IWU 研究所开发出了一套全新的产品线质量监控解决方案IQZeProd (Inline Quality control for Zero-error Products) ，能在生产过程中尽早地辨识各种材料（如木材、塑料、金属和涂漆的表面）的瑕疵，希望能够做到100%的检测准确率。该系统使用来自多种传感器的多传感器数据融合技术，在零组件经过生产线时，识别结构和表面缺陷。该系统的目标是通过提高检测过程的可靠性，创造强大且可持续的工业生产过程。该系统的核心是研究人员自行开发的 Xeidana^® 软件框架及20台工业相机组成的模块。

研究人员对工业相机提出了以下特定的要求标准：

l 全局快门黑白传感器

l 低震动实时触发

l 超高数据速率，数据传输可靠

l 能直接集成到软件框架中

经过评估，研究人员最终选择了The Imaging Source 映美精相机（TIS）的GigE Vision标准工业相机。

图1：IQZeProd系统中有20台TIS GigE工业相机提供图像数据，并且还有高光谱和非光学传感器提供的数据。使用Xeidana软件框架将这些数据进行融合，以实现零误差的生产线质量控制系统。（图片来源：Fraunhofer IWU）

Xeidana软件提供了处理光学、热感应、多光谱、偏振或非光学传感器（如涡电流）的数据所需要的灵活性，而许多检测任务则需要通过标准光学传感器提供的数据完成。项目经理Alexander Pierer表示：“我们经常使用数据融合来多重扫描关键零组件区域。多重包含从不同角度扫描同一区域，来模拟手动检测过程中使用的‘镜像’。”为了获得完成这些任务所需要的视觉数据，研究人员创建了一个由20台TIS GigE相机组成的模块：19台黑白相机（DMK 33G445）和1台彩色相机（DFK 33GX273）。

图2：19台黑白工业相机负责从关键零组件区域采集数据。Xeidana软件处理多重数据以仿真手动检测过程中的“镜像”过程。（图片来源：Fraunhofer IWU）

黑白传感器最适瑕疵检测

由于其固有的物理特性，黑白传感器能呈现出比彩色传感器更高的细节、更高的灵敏度及更低的噪点。Pierer指出：“黑白传感器足以检测因表面亮度差异所引起的缺陷。虽然颜色数据对我们非常重要，但在技术应用中，颜色数据通常无法提供其他数据。我们使用彩色相机，通过HSI-变换进行色调分析，以检测可能显示涂料厚度有问题的颜色偏差。”

任务需求和短曝光时间意味着工程师对于相机选择有非常精确的需求，Pierer继续解释说：“主要选择标准是全局快门和实时触发，震动极低，因为我们必须在很短的曝光时间内（10µs范围内）拍摄移动中的零件。相机和Lumimax照明（iiM AG）之间的曝光（通过硬件输入触发）必须绝对同步。对于我们来说很重要的一点是，感兴趣区域（ROI）已限制在相机固件内的相关区域，来优化图像传输的网络负载。此外，我们还使用了在极高速率下进行可靠的数据传输特性。由于零组件已经在过程中被检测过，因此不会出现图像错误或碎片化的图像传输。”

电动变焦相机可快速调整观测范围（FOV）

在项目过程中，团队构建了多个系统，用于工业设置、示范和测试目的。在典型工业环境中，系统持续检测零组件，定焦相机提供的成像成像满足了团队要求。然而，针对示范/测试系统，研究人员使用许多不同零组件进行测试，包括金属零件、木制毛坯和3D印刷塑料，这就需要具有观测范围（FOV）可调节的相机。TIS的黑白变焦相机集成了电动变焦功能，符合该任务的要求。

图3：变焦相机可提供快速可调的观测范围（FOV），使示范系统能够扫描各种尺寸和形状的零组件。（图片来源：Fraunhofer IWU）

大规模并行处理技术可与数据传输保持同步，并实现深度学习

通过20多种不同类型的传感器向系统传送数据，系统可以应对400MB/s量级的数据流。Pierer解释说：“该系统的设计吞吐速度高达1m/s，每3~4秒，20台相机模块就可以创建400幅图像。此外，来自高光谱的线阵相机和粗糙度测量系统，都必须在10秒周期内处理和评估完成。为了满足这一要求，必须要有大规模并行数据处理的能力，包含28个内核（CPU）和显卡（GPU）。这种并行化使检测系统能够与生产周期保持同步，提供具有100％控制能力的产线系统。”Xeidana软件的模块化框架，特别针对现代多核系统的大规模并行处理进行了优化，让应用工程师能够使用这个插件系统（可通过多种不同图像数据库来延展新功能），快速实现大规模并行、特殊应用的品管项目。

该系统的数据融合功能可以通过多种方式使用，具体取决于需要什么样的数据来提供最可靠的结果。除了标准的机器视觉检测任务外，目前研究团队正在努力整合其他非破坏性评测技术，例如3D视觉以及不可见光的其他种类传感器（例如X射线、雷达、紫外线、太赫兹波）来检测其他类型的表面和内部缺陷。

图4：处理流程网络。绿色和黄色模块并行执行单独的图像处理任务。（图片来源：Fraunhofer IWU）

由于Xeidana软件支持大规模并行处理，深度学习技术也可用于检测标准不容易量化或定义的零组件的瑕疵。Pierer澄清说：“这些技术对于具有不规则质地的有机成分（如木材和皮革）以及纺织品尤其重要。”由于机器学习技术有时难以在某些情况下应用（例如，分类决策的可追溯性有限，以及在调试过程中无法手动调整算法），Pierer补充说“我们主要依靠经典的图像处理算法和信息处理的统计方法，来执行我们的项目。只有达到极限时，我们才转向机器学习。”