John Deere等公司利用嵌入式视觉技术自动区分杂草和作物,提高了商业农场的作业效率。

图 1:来自John Deere公司的自动化除草机,采用了 3D 成像等机器视觉技术和深度学习算法。(图片来源:John Deere)

无论是小型农场还是大规模农业经营,除草都是一项必要但成本高昂且耗时的工作,并且效果往往参差不齐。

众多创新者(从行业巨头到初创企业)都看到了解决除草问题所蕴育的商机,纷纷利用机器视觉和其他先进技术开发解决方案,以提高除草效率。这些方案包括更精准地施用除草剂、部署机械除草机,或使用激光等替代技术除草,一些方案还包括视觉引导机器人的应用。

然而,这类技术尚未在农业领域普及。美国政府问责局(GAO)在 2024 年 1 月的一份报告中引用美国农业部的数据称,目前美国农场中仅有27%在使用精准农业技术来提高除草、产量监测和作物施肥等作业的效率。

该报告指出,精准农业技术的广泛应用尚且面临几大挑战:购置成本高昂;缺乏互操作性标准,阻碍不同技术之间的整合;以及对农场数据共享或数据所有权的担忧。

成本压力推动精准农业技术的采用

不过,麦肯锡公司2023 年的一份报告指出,巨大的成本压力可能促使农民接受精准农业技术。麦肯锡称,“过去几年至 2023 年,化肥、保险和作物保护等投入的成本增长了 9%~71%。此外,极端天气事件和新型入侵性害虫也对作物产量和盈利能力构成了一定压力。”

美国Deere & Company公司的产品营销经理David Mulder解释道:“说实话,农产品价格没有翻倍或三倍增长,但其他所有东西的价格似乎都在涨。因此,我们必须帮助客户管理成本。”

尽管许多农业作业都适合自动化,但除草领域尤其需要新方法。其核心思路是利用深度学习驱动的视觉系统,以减少或消除商业性农业中除草剂的使用。

图 2:Dimensions Agri Technologies 的自动化除草系统,能够与多个品牌的商用喷雾系统集成,例如德国Amazone公司的喷雾系统。(图片来源:Dimensions Agri Technologies)

利用嵌入式视觉和深度学习检测杂草

“这些系统通常部署在嵌入式平台上,以便在田间直接实现杂草的实时检测和分类。相机通常安装在农业机械上,持续扫描作物行,检测并区分杂草和作物。根据农场布局,可以使用单个全局快门相机或多相机设置,同时监测多行作物。全局快门传感器因其能够捕捉快速移动的场景而不失真的能力而受到青睐,这在移动机械上作业时至关重要。”econ-Systems公司工业与监控相机业务部负责人Ram Prasad解释道。

商用除草机可以是自行式的,安装在拖拉机前部;或者是由拖拉机牵引作业。

这些技术的目标不仅是提高作业效率和作物产量,还能减少“超级杂草”—— 即那些发生基因突变、能耐受常规除草剂的杂草。当然,减少除草剂的使用也有利于环境保护。

嵌入式视觉系统的开发

挪威Dimensions Agri Technologies公司开发了一种基于边缘计算的视觉系统——DAT Ecopatch,该系统利用深度学习算法和相机技术识别杂草,然后有针对性地施用除草剂。该解决方案设计用于与多个品牌的商用喷雾系统集成。

Dimensions Agri Technologies公司成立于 1999 年,2015 年该公司开始使用硬编码算法研究杂草精准喷雾技术,近年来除了传统的视觉模型外,还重点研发了基于人工智能的算法。DAT Ecopatch 于 2021 年正式商用。“目前我们正处于扩大规模的阶段,并开始进入欧洲新市场。”Dimensions Agri Technologies 首席技术官Erlend Kaurstad Morthen解释道。

挪威农业设备制造商 Kverneland 集团已经在其自行式喷雾机上安装了 Ecopatch 系统。

图 3:DAT Ecopatch 的传感器单元包括相机、镜头、电路板和 LED 灯。(图片来源:Dimensions Agri Technologies)

耐受恶劣的户外环境

该系统的每个传感器单元都包含相机、镜头、电路板和 LED 灯,封装在防水外壳中,安装在喷雾装置的喷杆上。通常的设置是在喷杆上按固定间隔安装 6~12 个这样的装置。相机与同样位于喷雾机上的处理设备相连。处理器利用AI驱动的算法执行图像分析任务,然后通过农业设备通信接口标准 ISOBUS 向喷嘴发送喷雾指令。

每个外壳内的相机均来自LUCID Vision Labs公司,具体型号为 Phoenix PHX051S-CC,搭载索尼 IMX568 500 万像素传感器。镜头来自日本VS Technology公司。

图 4:Dimensions Agri Technologies 的 DAT Ecopatch 包括以固定间隔安装在喷雾装置喷杆上的传感器单元,以及处理设备和网络交换机。(图片来源:Dimensions Agri Technologies)

该系统不仅能够区分杂草和作物,还能够判断是否需要施用除草剂。“对于大多数杂草,如果密度不高,实际上并不需要喷洒除草剂,因为少量杂草不会影响作物产量。而且,如果年复一年使用相同的化学药剂,存活下来的杂草会逐渐对这种药剂产生抗药性。”Kaurstad Morthen说。

Ecopatch 系统结合了深度学习模型进行图像分析,并使用硬编码算法(基于成本效益分析,考虑杂草密度等因素)决定是否喷洒除草剂。

John Deere的精准除草方案

行业巨头John Deere公司也开发了减少除草剂使用的解决方案。该公司的 See & Spray 系列包括多款整合了机器视觉和机器学习的型号,针对玉米、大豆和棉花分别开发了不同的算法。具体如下:

See & Spray Ultimate:2022 年推出,可检测大豆、棉花和玉米田中的杂草。这是一款自行式喷雾机,配备两个除草剂储罐,允许农民同时进行针对性喷雾和全面喷雾。

See & Spray Premium:可作为升级套件安装在部分喷雾机上(2018-2024 年款 R 系列和 400/600 系列),适配 120 英尺钢制喷杆。部分 Hagie 和 400/600 系列喷雾机也可在出厂时预装该系统。

图 5:John Deere的 See & Spray Ultimate 可检测大豆、棉花和玉米田中的杂草或其他杂草,还能区分杂草和休耕地(种植前的土地)。(图片来源:John Deere)

为捕捉田间图像,这些 See & Spray机器采用 36 台工业相机,间隔 1米安装在 120 英尺的喷雾机喷杆上,扫描速度超过 2000 平方英尺/秒。相机使用立体成像技术从 2D 图像生成 3D 点云。

基于视觉的实时决策

Mulder解释道,机器学习算法能区分行作物和“其他所有东西”,包括杂草和 “自生植株”,即那些并非为特定生长季特意种植、却自行发芽的作物。

例如,在玉米和大豆轮作的田地里,可能会冒出玉米植株。如果John Deere的嵌入式视觉系统运行的是大豆算法,就会对玉米植株喷雾;但如果运行的是玉米算法,则不会喷雾。

一旦检测到杂草或自生植株,软件就会向同样安装在喷杆上的对应喷嘴发送指令,对杂草进行喷雾。独立的软件模块会计算喷杆高度、长度和速度,以确保雾滴离开喷嘴后,能准确落在地面的杂草上。

图 6:John Deere的视觉处理单元是 See & Spray 的核心技术。这款符合 IP67 防护等级的模块是具备GPU 和 CPU支持的平台,配备12个相机接口。(图片来源:John Deere)

系统使用过程中产生的汇总数据,集中收集在John Deere运营中心的云端。农民可以利用这些数据辅助业务决策。例如,Mulder解释:“如果某块区域的杂草年复一年地生长,而我一直在年复一年地使用相同的药剂。这时候我就必须要做出改变了。”

喷雾机通过 Wi-Fi、蜂窝网络或卫星信号连接到远程运营中心。

视觉引导的机器人助力替代方案

其他自动化除草方案则完全不用除草剂。宾夕法尼亚州立大学推广中心的一篇文章中,研究人员提到了一系列新兴方法,包括机械系统、热能或激光除草。他们还写道,机器人系统的应用有望“彻底改变”杂草防治:“机器人除草系统可以执行自主导航、杂草检测、绘图和防治等任务,同时确保周围作物不受影响。”

图 7:得克萨斯 A&M 大学的研究人员开发的机器人除草系统,其使用了机器狗、多台相机和喷火器。(图片来源:Wang D 等人,得克萨斯 A&M 大学)

例如,美国得克萨斯 A&M 大学的研究人员为农民开发了一种实验性除草系统,其使用了配备机械臂、相机、AI 软件和丙烷动力喷火器的移动机器狗。

机械臂安装在机器狗上,用于抓取喷火器。机器狗与机械臂配合移动到杂草附近,然后启动火焰。该系统并非烧毁杂草,而是通过火焰加热杂草核心,抑制其生长。

AI驱动的视觉与精准机械除草

另一个机器人系统案例来自美国Aigen 公司。该公司成立于 2020 年,正在开发一种称为Element的自主机器人,该机器人结合了相机、AI 驱动算法和机械除草技术,能够识别并清除作物行间的杂草。其机械除草方式类似锄头,将杂草从根部切断。据该公司官网介绍,Element 还具有生态友好特性,完全依靠太阳能和风能运行。

图 8:Aigen Element 是一种自主机器人,结合相机、AI 驱动算法和机械除草技术,识别并清除作物行间的杂草。(图片来源:Aigen)

Aigen公司是 2024 年亚马逊云服务“气候计算奖学金”的获奖者之一,目前正在美国多个州的农场测试这项技术。

Aigen 的目标是将机器人作为服务出售:在整个生长季,由 Aigen 提供、运营和维护大量机器人。

商用农业激光除草机

美国Carbon Robotics公司则采用激光为农田除草。其最新一代产品是 LaserWeeder G2,这是一种牵引式机器人,其整合了 AI、嵌入式计算机视觉、机器人和激光技术。

这款机器人有多种尺寸,适配不同的作物场景,包含多个全密封除草模块。每个模块配备两个 240W激光发射器、三台相机、两个 NVIDIA GPU 和 20 个 LED 灯。激光射程宽度为 21 英寸。

LED 灯采用频闪模式,可同步触发,使除草机能够昼夜作业。

在边缘端运行的神经网络区分杂草和作物,并确定激光瞄准的精确位置。每个模块中的相机分为“预测”相机和“目标”相机。

神经网络的预测基于包含超过 4000 万标记植物的数据集,这些图像来自三大洲。

图 9:Carbon Robotics 的 LaserWeeder 依靠在边缘端运行的神经网络区分杂草和作物,并确定激光瞄准的精确位置。(图片来源:Carbon Robotics)

Carbon Robotics在官网上称,他们的系统能以亚毫米级精度瞄准杂草,每小时可处理 470万张图像。

但无论采用哪种方法,这些精准农业解决方案公司的高管在展望未来时都表示:基于嵌入式视觉系统和 AI 的自动化技术,将会越来越普及。

麦肯锡公司的分析师也同意这一观点,他们在报告中总结:“如果农场经济和可持续发展问题继续对农民构成压力,我们预计自动化技术的采用将大幅加速。随着更多种植者意识到农场自动化带来的‘三重胜利’—— 更高的农业生产力和利润、更安全的农场环境,以及向环境可持续目标的推进 ,农业领域对这些技术的热情将会不断蔓延。”

参考文献:1.“Precision Agriculture: Benefits and Challenges for Technology Adoption and Use,” U.S. Government Accountability Office, January 31, 2024. https://www.gao.gov/products/gao-24-1059622. Bland R, Ganesan V, Hong E, Kalanik J. “Trends Driving Automation on the Farm,” McKinsey & Company, May 31, 2023. https://www.mckinsey.com/industries/agriculture/our-insights/trends-driving-automation-on-the-farm3. He L, Brunharo C. "An Overview of Advanced Weed Management Technologies for Orchards," Penn State Extension, March 28, 2024. https://extension.psu.edu/an-overview-of-advanced-weed-management-technologies-for-orchards