應用深度學習於綠牆機器人之辣椒影像辨識與採收控制

Deep Learning Application on Pepper Image Recognition and Harvesting for Green Wall Robot

游承諭(Cheng-Yu Yu)

指導教授 ： 葉仲基

國立臺灣大學/生物資源暨農學院/生物機電工程學系/碩士(2021年)

https://doi.org/10.6342/NTU202102558

摘要

隨著社會型態的改變，為了解決都市化所帶來的熱島效應，「綠牆」因而開始頻繁地出現在都市中，主要是透過在建築物的外牆種植花草，達到立面建築的降溫效果。
本研究目的旨在設計一個應用於五彩椒綠牆採收之機器人，主要透過機器視覺對目標物進行影像辨識，並透過三軸機器人去執行採收任務。影像辨識的部分是透過YOLOv4訓練「具有成熟五彩椒果實的植株」模型，並搭配影像處理去實現單特徵分析法，辨識出成熟五彩椒果實。採收控制的部分主要利用影像伺服控制來定位已辨識完成的五彩椒果實，最後透過深度相機讀取目標辣椒之深度資訊，透過開迴路控制實現採收任務。
研究結果顯示機器人在理想的實驗環境中，辣椒植株的辨識成功率為85.3%，辣椒果實辨識成功率為100%，採收成功率為76.7%；而在一般的環境下，辣椒植株的辨識成功率為85.3%，辣椒果實辨識成功率為72%，採收成功率為66.7%。採收同一植株的第一顆成熟辣椒果實，採收時間約為36秒，而同一植株的其他顆成熟辣椒果實的採收時間約為16秒。

關鍵字

機器人 ； 影像辨識 ； YOLOv4 ； 影像伺服控制 ； 五彩椒

並列摘要

With the change of social situation, in order to solve the heat island effect caused by urbanization, "green walls" have begun to appear frequently in cities, mainly by planting flowers and plants on the outer walls of buildings to cool the surface of the building.
The purpose of this research is to design a robot for harvesting ornamental pepper on green walls. It mainly uses machine vision to identify the target object, and uses a three-axis robot to perform harvesting tasks. The image recognition part is to train the model of "plants with mature ornamental peppers" through YOLOv4, and use image processing to realize the single features analysis approaches to identify mature ornamental peppers. The harvesting control part mainly locates the identified ornamental peppers through visual servo control. Finally the depth information of the target pepper is read by the depth camera, and the harvesting task is realized through the open-loop control.
The research results show that when the robot is in an ideal experimental environment, its identification success rate of pepper plants is 85.3%, the identification success rate of pepper fruit is 100%, and the harvest success rate is 76.7%. Under normal environment, its identification success rate of pepper plants is 85.3%, the identification success rate of pepper fruit is 72%, and the harvest success rate is 66.7%. Harvesting the first mature pepper fruit from the same plant, the harvest time is about 36 seconds, while the harvest time for other mature pepper fruits from the same plant is about 16 seconds.

並列關鍵字

Robot ； Image recognition ； YOLOv4 ； Visual servo control ； Ornamental pepper

參考文獻

黃永泰。2019。應用深度學習與機器視覺於垂直綠牆果實定位。碩士論文。台北：國立臺灣大學生物機電工程學系。

張乃文。2020。垂直綠牆自動搬運系統之研製。碩士論文。台北：國立臺灣大學生物機電工程學系。

楊子漢。2020。應用於植生牆之盆栽移植爪與採收爪的設計與研製。碩士論文。台北：國立臺灣大學生物機電工程學系。

張哲豪。2010。基於立體視覺之移動式機械臂影像伺服設計。碩士論文。新竹：國立交通大學電控工程研究所。

維基百科。2020a。綠色植生牆。網址：https://zh.wikipedia.org/wiki/%E7%B6%A0%E8%89%B2%E6%A4%8D%E7%94%9F%E7%89%86 。上網日期: 2020-9-01。