3D视觉是一个多学科相融合的技术,可以总结为:计算图形学+计算机视觉+人工智能=3D视觉。3D视觉技术是通过3D摄像头采集视野空间内每个点位的三维座标信息,通过算法复原获取三维立体成像,不会轻易受到外界环境、复杂光线的影响,与2D成像技术相比更稳定,体验感更强,安全性更高。
3D视觉主要技术路径
3D传感器作为3D视觉的眼睛,通过多个摄像头与深度传感器的组合能够获得物体三维位置及尺寸等数据,实现三维信息采集。目前3D视觉传感器主要有双目相机、结构光相机及TOF(Time of flight)相机。
3D结构光技术原理:采用红外光源,发射出来的光经过一定的编码投影在物体上, 这些图案经物体表面反射回来时,随着物体距离的不同会发生不同的形变。图像传感器将形变后的图案拍下来,基于三角定位法,通过计算拍下来的图案里的每个像素的变形量,来得到对应的视差,从而进一步测算深度值。
TOF工作原理:采用红外光源发射高频光脉冲到物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。TOF目前市场上有两种主流方案 dTof和iTof。行业人士认为,未来,dtof会逐渐取代itof方案,因为dtof在很多关键性能方面对于itof都有绝对优势,如分辨率,精度对距离感知不明显,超低功耗,抗干扰能力强,标定方式简单。但其技术壁垒较高,系统集成度高,供应链资源少。
双目立体视觉技术原理:通过从两个视点观察同一物体,从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差(视差)来获取物体的三维图像,过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。
图表:3D视觉不同技术路线优缺点对比
3D视觉在移动机器人领域的应用
随着视觉技术逐步从2D向3D过渡,3D视觉传感器以深度感知能力,在三维空间实时感应、目标物体精准识别、多重障碍检测避障、智能决策及自动化引导等方面占据领先技术优势,目前已大批量应用在物流电商、自动化、制造业厂内物流、工业及服务机器人、商业等多元化场景,应用边界不断拓宽。
目前,2D视觉导航和2D激光导航在移动机器人领域的应用已经非常成熟,但3D视觉导航和3D激光导航仍处于发展阶段。预计未来将有更大的发展空间,因为3D导航技术具有更好的环境适应性。
在3D视觉导航方面,基于特征点的3D导航技术最早得到了应用。当照明条件较好时,可在一定范围内实现机器人的自动导航操作。视觉导航技术的发展方向将是视觉导航技术的发展方向,提高3D建模的质量提高定位精度,提高不同环境照明条件下机器人的性质。
在三维激光导航方面,它取得了非常明显的进展,并开始在一些场景中应用。3D激光导航克服了2D导航的缺点,显著提高了其适应复杂环境的能力,这是移动机器人最近发展的主要方向。相对而言,3D激光导航费用较高,相关计算复杂,但随着自动驾驶技术的发展,相关部件的成本可能会进一步降低,3D激光导航的应用也会更受欢迎。
动态环境是移动机器人自然导航面临的主要困难之一。动态环境不仅包括行人、车辆等高频运动物体,还包括移动生产线等慢/低频运动物体。未来将应用Life-longslam技术,以有效克服动态环境带来的困难。该技术是指在使用移动机器人的整个过程中自动修改和更新环境模型,这对slam技术的准确性和可靠性提出了巨大的挑战。该技术的开发和应用将进一步拓展移动机器人的应用领域,为移动机器人在多个动态环境场景中的应用奠定基础。
蓝芯科技视觉SLAM叉车
市面上避障传感器种类繁多,如:单线激光雷达、超声波、碰撞条等。碰撞条通常作为最后一道暴力防撞措施;超声波避障经常出现误判;单线激光雷达存在较大盲区(只扫描二维平面内的障碍物,低于或高于激光的障碍物无法检测,存在较大安全隐患);3D视觉传感器可弥补激光这一缺陷。目前移动机器人最佳避障方案应是3D视觉传感器+激光雷达,——3D视觉传感器作为中短距离精确避障,激光雷达作为远距离二维避障。因为TOF基本不存在盲区,所以目前用于AGV避障的3D视觉相机基本是TOF型的。
图漾科技3D TOF 智能工业相机TL460-S1-E1
一些仓库货物放置环境复杂,人工/货车放置托盘的位置不够精确,导致无人叉车依靠传统的机械限位或者单目相机识别的方式无法准确识别托盘,常常出现无人叉车对接托盘位置偏移角度较大,进而导致进叉失败,叉车工作效率低下。
依靠3D 视觉进行托盘图像采集,结合相应图像处理算法对叉车货物托盘进行识别,并得到其位置与姿态坐标,智能调整进叉方向从而实现无人化智能托盘搬运,解决无人叉车对接托盘位置偏移角度较大的问题。同时,结合人工智能算法对托盘识别模型进行强化训练和深度学习,可以进一步提升其识别叉车货物托盘与跟踪的准确性。