机器视觉系统使用神经网络和2D相机，来识别罐装营养品中透明勺是否存在。

为了实现更加环保的企业目标，雀巢健康科学公司决定改变装在成人营养粉包装罐中的测量勺的颜色——将从原来的红色勺或绿色勺，换成透明勺。

SICK公司战略客户全国客户经理Klaus Keitel解释道：“原来使用的红色勺或绿色勺，由于使用了有色颜料，因此勺子很难回收。”SICK公司为雀巢公司设计了一套人工智能机器视觉检测系统。

但是，测量勺颜色的变化对雀巢公司德国奥斯特霍芬工厂的自动检测过程产生了意想不到的影响：当前的自动检测系统无法验证包装罐中是否存在测量勺。

当问题首次出现时，工厂经理在每班都指派一名员工负责监察检测过程，并将没有勺子的包装罐从生产线上剔除。“该员工工作一小时后，就已经感觉到这项工作非常艰巨。”雀巢奥斯特霍芬工厂专注于测量和项目管理的技术人员Armando Simoni解释道。

在此情况下，雀巢公司选择使用SICK公司的一套基于深度学习算法的新机器视觉系统来取代现有的机器视觉系统，以检测透明勺的存在与否。

自动化生产流程

在生产线上，一个测量勺从生产线上方20cm处落入一个倒置的空包装罐中，这样，当生产过程完成时，测量勺最终会靠近罐子的顶部，就在铝密封板的下方。当验证完测量勺存在之后，再往包装罐中添加营养粉末状混合物。生产线以每分钟40~80罐的速度运转。

在工厂的单一生产线上，大约有13种不同的成人营养品（配方和包装罐的大小都不同）轮流生产，包括Optifiber、Resource Dextrine Maltose、Resource Maltodextrin等多种品牌。

原有的机器视觉系统，在装入勺子后立即拍摄图像。然后，系统会对图像中的彩色像素进行计数，以确定勺子是否存在。在使用彩色勺子的情况下，这套检测流程工作得非常好。但是当换成透明勺子之后，情况就不一样了，因为灰色的铝密封板会反射到勺子的透明塑料上，使勺子看起来呈灰色。由于存在两个灰色的表面，旧的视觉系统无法区分哪个灰色是勺子，哪个灰色是铝密封板。

Keitel解释道：“传统的视觉系统只能判断出是暗像素还是亮像素。”

深度学习检测系统

雀巢公司决定更换现有的视觉系统，工厂经理向许多机器视觉公司寻求建议。Simoni回忆道，大多数公司能提供90%的检测准确率，而SICK公司的销售代表表示，通过使用人工智能算法，他们的系统能达到99%的检测准确率。

Keitel表示，雀巢的检测任务很具有挑战性。首先，雀巢会经历一个过渡期，即同时使用彩色勺子和透明勺子，因为不想浪费旧勺子的现有库存。其次，雀巢的工厂经理希望在不调整相机设置的情况下，在生产线上从一种容器灌装过渡到另一种容器。

SICK系统的设计和测试工作于2021年4月开始。自2022年6月以来，该系统一直处于良好的产能运营状态。

图1：雀巢的机器视觉检测解决方案包括SICK的picoCam2相机和使用SICK的dStudio开发的深度学习神经网络。

机器视觉组件

为了设计一个可以检测透明勺子是否存在的系统，SICK将深度学习算法与单色2D快照相机picoCam2结合使用，picoCam 2是一款带有C型镜头安装接口的全局快门CMOS相机。该相机与GigE接口兼容，可通过以太网进行视频和数据传输。

该系统位于生产线上方，因此可以在装入勺子后拍摄包装罐的图像。该生产线采用德国planistar Lichtechnik公司的矩形LED背光灯照明。

为了开发算法，SICK使用了其深度学习软件dStudio，该软件与该公司的相机配合使用。

现在已经为该应用程序开发了算法，Simoni可以根据需要对其进行修改，以适应包装罐或勺子的变化。

一旦相机拍摄到图像，算法就会确定是否存在勺状物，并在相机上进行此处理，随后相机会将结果传输到西门子公司提供的PLC中。Simoni解释说，相机通常需要大约50ms才能产生结果并将其发送到PLC。

PLC位于工作站附近的控制柜中，用一根5m长的12线电缆将相机和PLC相连。

克服挑战

与深度学习算法的典型情况一样，它们在生产环境中的性能取决于它们的训练效果。

Simoni表示，雀巢和SICK在实施新的机器视觉系统时，吸取了这一教训。

SICK和雀巢参与该项目的员工，在第一轮训练后没有得到他们想要的结果。在第二轮训练中，他们增加了各种方位的勺子图像，因为勺子的确切位置取决于勺子从上方落下时，包装罐在自动机构下的排列情况。输送机一直在运动，因此包装罐的位置可能会有所不同。

他们还意识到，他们需要两个神经网络来适应不同的包装罐尺寸：一个用于直径为73mm或99mm的包装罐，另一个神经网络用于直径为140mm的包装罐。

图2：SICK训练的深度学习算法，以确认塑料勺放置在反射铝表面上。

随时间推移不断更新系统

2023年，雀巢的工厂管理人员增加了一种自动机制，可以将没有勺子的包装罐从生产线上剔除。

在原来的设置中，SICK系统向PLC发送信号，如果检测到没有勺子的包装罐，则停止生产线。一旦将缺失的勺子装入之后，相机软件就会检测到勺子，然后向PLC发送信号以重新启动生产线。

Simoni介绍说，新系统更有效，因为它在不停止生产的情况下解决了勺子遗漏问题。

Simoni补充道，总的来说，该系统非常成功，因为它几乎能够100%检测出没有勺子包装罐。

转自： Linda Wilson

注：文章版权归原作者所有，本文仅供交流学习之用，如涉及版权等问题，请您告知，我们将及时处理。