應用類神經網路為基礎的立體視覺於人形機器人三維定位與目標物抓取之研究

本文實現了以人形機器人以及立體視覺系統執行三維座標之目標物抓取。在實驗一開始，機器人會掃描前方區域並尋找目標，目標物隨機分佈於人形機器人前方一段距離處，當立體視覺系統藉由特定的顏色來判斷目標物後，經過影像處理得到目標物影像重心座標，然後透過中距離視窗的類神經網路估算其三維座標。估算出目標物座標之後，利用幾何運算來判斷目標物的方位、角度以及距離，計算完畢之後下達命來導引機器人至目標物前方，此時將執行近距離之定位並估算機器人之手部馬達角度以執行目標物抓取。立體視覺系統在建模時利用目標物在左右兩個攝影機所投影之影像重心座標以及其重心之水平座標之差做為網路之輸入，而目標物真實世界三維坐標做為輸出，利用多層感知器類神經網絡（MLNN）並採用Levenberg Marquardt Back Propagation（LMBP）訓練法來建立出一套座標估算關係。一般而言，機器人抓取物件的任務需推導正反運動學，但是需要較複雜的程序以及較多的時間。因此，我們應用類神經網路將先前任務近距離視窗所估算出目標物的三維座標做為輸入，而左右手的馬達角度做為輸出，如此將機器人前方可抓取區域建模出來，最後經由實驗證實此方法兼具效果及效率，可應用於產業機器人的相關任務。

關鍵字

人形機器人；立體視覺三維定位；多層感知器建模；視覺導引；目標物抓取

並列摘要

This thesis realizes the humanoid robotic system to execute the target grasping (TG) in the 3D coordinate. In the beginning, the HR scans the field to find the target, which is randomly distributed in the 3D coordinate before the HR. If a command for the grasp of the target with specific color is assigned, the HR will be navigated by a stereo vision system (SVS). After the HR reaches the vicinity of a planned posture, the task of TG by the HR will be executed. One of the important contribution of this thesis is that the transform between the target in the left and right image plane coordinates of the SVS and the target in the XYZ world coordinate is approximated by multilayer neural network (MLNN) via Levenberg Marquardt Back Propagation (LMBP) training law. Because the inverse kinematics (IK) of the arm is time consuming for the real time task, a modeling using MLNN with different weighting matrix is employed to approximate the transform between the estimated ground truth and the four joints coordinate of the arm. Finally, a sequence of experiments for the navigation of an HR to execute the task of TG confirm the effectiveness and efficiency of the propose methodology.

並列關鍵字

Humanoid robot ； Stereo vision of 3-D localization ； Modeling using multilayer neural network ； Visual navigation ； Target grasping

參考文獻

[13]黃俊豪， “人形機器人的人機介面設計與運動控制之研究”，淡江大學電機系機器人碩士班，民國九十九年六月。

[14]陸念聞， “應用類神經網路定位為基礎的主動視覺於人形機器人罰踢之研究”，淡江大學電機系機器人碩士班，民國九十九年六月。

[1]Y. Guan, E. S. Neo, K. Yokoi and K. Tanie, “Stepping over obstacles with humanoid robots,” IEEE Trans. Robotics, vol. 22, no. 5, pp. 958-973, Oct. 2006.

[2] E. S. Neo, K. Yokoi, S. Kajita and K. Tanie, “Whole-body motion generation integrating operator’s intention and robot’s autonomy in controlling humanoid robots,” IEEE Trans. Robotics, vol. 23, no. 4, pp. 763-775, Aug. 2007.

[4]G. Arechavaleta, J. P. Laumond, H. Hicheur and A. Berthoz, “An optimality principle governing human walking,” IEEE Trans. Robotics, vol. 24, no. 1, pp. 5-14, Feb. 2008.

國際替代計量

應用類神經網路為基礎的立體視覺於人形機器人三維定位與目標物抓取之研究

全文下載

主題瀏覽