工业自动化趋势及人工智能(AI)的兴起推动着机器视觉市场快速发展。边缘AI不断地催生出新领域。新冠疫情进一步加速了这些自动化、智能化趋势。传统的机器视觉行业也在悄悄变化, 这些都离不开图像传感器这双眼睛。安森美半导体致力于智能感知的半导体,尤其在工业机器视觉全球称冠,在边缘AI市场也遥遥领先,拥有宽广的成像方案阵容及先进的成像技术,满足不同应用需求。

工业成像应用如何赋能快速、准确的决策

有一些常见的工业应用需求,如测量物体的尺寸或确定液体的液位,定位或引导时为机器人提供“眼睛”以确定在哪里抓取物体,计数或检验时进行数量统计或判断包装是否完整,解码或识别时要能读取条形码或进行光学字符识别,等等。设计人员需要根据应用需求考虑和优化不同的成像参数:分辨率直接与图像传感器上可用的像素数量有关,区分场景中的单个被测物特征。高图像质量对于消除错误或不准确的结果至关重要。高帧率有利于捕捉高速运动的物体和轨迹,并能及时解决问题。

此外,整个系统的成本是将所有这些参数结合在一起的关键因素,也须加以考虑。 如果仅通过增加像素来提高分辨率,就会产生更大的图像传感器,成本更高,但也需要更昂贵的镜头。如果通过减少像素大小来提高分辨率,传感器和镜头成本的增加可能会减少,但这也可能会影响图像质量。如果分辨率和帧速率高于给定应用所需要的,那么应用的数据带宽需求(和基础设施成本)就会高于其他情况。

因此,关键是以智能方式提高整体成像性能,以继续满足这些应用日益增长的需求。

成像技术:高速率,短曝光

工厂的视觉检测基本都是对应高速移动的物体,传送带的速度特别快,那么采用高帧率、短曝光控制以防止运动模糊,才能利用AI算法实现正确的智能判断和快速决策。

成像技术:全局快门

因为卷帘快门内部没有可以存储电荷的存储节点,每一行曝光结束需要把这一行的数据尽快读出再开始下一行的曝光,那么当物体在快速运动,图像整帧自上而下不同的时间曝光方式就会使图像产生空间上的失真变形,而全局快门整帧完全同一时间曝光,捕获的所有像素正确还原了运动物体的真实样子,就不会产生扭曲。

全局快门图像传感器捕获图像并以逐像素的方式将捕获到的数据存储在存储节点上。在非常明亮的光线条件下,保护存储节点免受环境光线破坏数据是至关重要的,同时数据还要保存在存储节点上。衡量该节点的保护情况的一种方法称为全局快门效率(GSE)。较差的GSE会导致图像中的重影效应。这种重影效应会导致机器视觉算法的性能问题。安森美半导体的全局快门图像传感器提供业界最佳的GSE。

成像技术:分辨率

平板检测是整个工业机器视觉行业中,对图像传感器最有挑战性的应用。它从1 K、2 K、4 K一直到8 K,像素在逐渐扩大。检测大致分两种:一种是暗检测,上电前主要检测一些指纹、划痕和其他物理上的问题;另外就是上电以后,特别是在OLED,加上最新的AMOLED(Active Matrix OLED)。LCD是有一个亮板在后面作为发光源,而OLED,特别是AMOLED,它的每个像素都是一个单独发光源。像素和像素之间发光的强度和色彩的均匀度都要能够很准确地侦测出来,这就对图像传感器的要求非常高。过去检测LCD面板上的1颗像素,对应需要9个像素(3×3),OLED则对应可能需要16个像素(4×4),甚至25个(5×5)像素。所以对图像传感器的分辨率要求越来越高,并要求检查相机提供非常高的图像质量和高均匀性——以确保相机中的质量问题不会被误解为显示中的产品缺陷。

对印刷电路板的检查也通常需要高分辨率的图像传感器,以确认电路板组件(集成电路、电容、电阻等)已经正确地放置并焊接到位。检查电路板的速度是分辨率和帧率的结合——图像捕获的尺寸越大,一次可以检查的电路板越多;图像捕获的速度越快,检测的效率就越高。

使用安森美半导体的XGS 45000可捕获一个更大的图像:(超过8000像素宽)几乎每秒1900像素的数据率、效率超过之前使用方案的3倍。这种高分辨率和高速的结合使这种类型的检测应用能够更快、更有效地执行,提高制造过程中的生产率。

又如广播/监控应用,结合了许多不同性能向量,需要高分辨率、高带宽和高图像质量,且对分辨率的需求在持续增长,从高清到4 k,再到8 k。安森美半导体的XGS 45000,实际有比8 K 更高的分辨率,可以以60 fps的速度提供12 bit的数据输出,清晰拍摄轻微的动作。值得一提的是,东京奥林匹克的会场将会用到采用XGS 45000的相机。

成像技术:图像比例

并不是所有的应用都需要高分辨率,一些机器视觉应用也有特定的分辨率需求。与传统的由显示标准(16:9或4:3)驱动的RGB观看应用程序不同,许多机器人和机器视觉方案可通过使用不同的分辨率进行优化。如安森美半导体的200万像素AR0234在X方向给出了更优的条形码方案的额外像素。在XGS系列图像传感器中,800万像素、900万像素、1200万像素分别提供了2:1、1:1、4:3的图像比例,XGS的3000万像素、32000万像素分别提供了1:1和4:3的图像比例,1:1可用在半导体检测,而4:3可用在屏检。

成像新需求:立体视觉

近两年来很多应用增加了对深度信息的需求,以前2D的成像信息开始往3D立体视觉推进,双目相机、结合结构光的相机是目前比较常见的3D应用方案。安森美半导体的PYTHON系列图像传感器产品常会用在这些方案里。另外还有采用飞行时间(TOF)、Super Depth pixel 和 雷达的3D方案。安森美半导体的直接飞行时间(DTOF)激光雷达产品有单点的硅光电倍增管(SIPM),在医疗、工业、汽车都有应用,还有1×12或1×16的阵列,下一代的激光雷达都会用到这样的产品。最新开发出来的400×100 单光子雪崩二极管(SPAD)面阵,已经不只是点云了,已经和图像传感器差不多了,可以实现有深度信息的图像。

下面介绍几款安森美半导体的成像方案:

工业级全局快门方案:XGS系列

XGS是安森美半导体最新一代的工业级全局快门图像传感器,用了最新的3.2 um 像素工艺,图像质量好,噪声小,一致性好,高帧率,低功耗,宽工作温度,并且极具性价比优势,可以用在多种工业应用上。它是一个系列化的家族产品X-CLASS平台,从200万像素到4500万像素,用两套硬件电路板就可以兼容总共11个分辨率,其中200万像素-1600万像素可以轻松放进29 mm*29 mm的相机平台,2000万像素-4500万像素  做到引脚兼容(pin to pin),客户设计一个硬件平台可以根据具体应用需求选择相应的分辨率传感器。摄像机制造商可充分利用现有的零件库存并加快新摄像机设计的面市时间。这一代产品将会颠覆目前市场竞争格局,为用户提供了非常有吸引力的选择。特别地,XGS 45000用于分辨率要求高的、需要高速数据捕获和传输的机器视觉和工业成像应用,XGS 12000则是具性价比的选择,能以90 fps捕获清晰、高分辨率图像。


图1:XGS 45000

经济型全局快门方案:AR0234

AR0234的200万像素分辨率、120帧速率及光学尺寸适用于大部分传统的工业检测、自主移动机器人、工业扫码、双目深度测量等。安森美半导体还使用AR0234搭配系统单芯片(SOC) 图像信号处理器AP1302做了相应的方案,帮助客户加快开发。


图2:AR0234

人脸识别付款应用: AR0230 HDR

无接触的通过飞机场、火车站、高铁站等闸口的场景将越来越普遍。AR0230是业界唯一一个200万像素、芯片内带宽动态合成功能的图像传感器。宽动态对无接触系统非常重要。而AR0230能提供很好的图像质量,支持从黑暗的夜晚到明亮的阳光等各种照明条件,进而提高人工智能的判断精度。

背照式卷帘快门:AR0521

AR0521能以60 fps 捕获 500万像素图像,且安森美半导体还提供近红外增强的版本。500万像素的分辨率适用于安防、工业、监控以及边缘AI等各种应用。如安森美半导体在Vision China 2021展出的使用AR0521的热能仪参考设计,用于非接触式甄别摄像头前经过的人是否发热,是否戴口罩,有助于排查疫情病例,减少病毒传播。

简化系统设计的平台:DevSuite

为易于客户评估,安森美半导体提供一个基于PC的评估系统DevSuite。设计人员可将DevWare软件加载到个人电脑上,通过一个标准的USB接口连接到所选用的传感器硬件上。通过这一平台,只需要更换传感器主板的硬件来评估传感器的性能。


图3:DevSuite

图像传感器在工业中的应用案例

1. XGS系列用于智能交通系统、机器视觉和工业

JAI A/S是工业生产检测相机方案的领先供应商之一,已将XGS 45000集成到其新的4500万像素工业相机中。SP-45000M-CXP4提供4470万像素黑白分辨率,每秒52帧,领先市场,并支持全8 K分辨率,每秒超过60帧。

全球领先的工业和零售应用、医疗设备和交通系统数码相机制造商巴斯勒(Basler)也把XGS传感器集成到他们基于CoaXPress 2.0机器视觉标准的boost平台中,称XGS系列特别适合于新设计以及现有高分辨率视觉系统中从CCD到CMOS的过渡。

数字成像技术的全球领袖之一Teledyne Imaging也看重XGS传感器技术的性能、更高的分辨率和质量,在其GenieTM Nano-5G M/C8100区域扫描相机中采用了XGS 45000、XGS 30000和XGS 20000。

2. 毅力号漫游车在火星着陆

毅力号是首个在降落过程中主动完成导航的任务,这是火星任务技术的一项巨大进步,由基于图像传感器的摄像机赋能。毅力号共有23只摄像机,有6只采用了安森美半导体的图像传感器,包括130万像素、1/2 英寸 CMOS图像传感器Python 1300和500万像素、1英寸图像传感器Python 5000。

总结

未来的图像传感器依然会追求高分辨率,高画质,高性价比。作为机器视觉的领袖,安森美半导体将不断推陈出新,以3D成像、高光谱和多光谱成像为未来的方向,赋能机器超越人眼的视觉。