實現具高速雙眼視覺系統之擊球機器人與建立類神經球體反彈模型

Realization of a Ball-batting Robot with a High-Speed Stereo Vision System and Establishment of the Ball Rebounding Neural Network Model

鄧至普(Thang, Jack Paul)

指導教授 ： 蕭得聖

國立交通大學/電機學院/電機與控制工程系所/碩士(2019年)

摘要

本研究整合高速影像系統與機器手臂之運動控制，執行擊球至目標點之任務。透過600FPS的高速雙眼視覺擷取球體三維座標，結合延伸式卡爾曼濾波器及球體飛行模型進行球體飛行軌跡的預測。以提高取樣頻率的方式讓球體飛行軌跡的估測可以更加精準，進而提升擊球機器人的打擊成功率。
機械手臂方面則是控制自行設計的四軸機械手臂(末端為拍子)進行擊球，並控制球體打擊後的落點。讓球體成功回擊至目標位置需要碰撞模型來描述球體碰撞瞬間的速度變化，準確的碰撞模型可以提高將球體回擊至目標位置的成功率。以往的研究是以球體與機械手臂拍面的物理碰撞關係進行討論，但是效果並不理想。因此本研究利用額外一組600FPS的高速雙眼視覺記錄球體與拍面碰撞瞬間的球體資訊，進而使用類神經網路對碰撞模型進行擬合。最後透過該類神經碰撞模型準確的描述碰撞瞬間球體與拍面的速度關係。

關鍵字

機器人 ； 高速雙眼視覺 ； 類神經球體反彈模型

並列摘要

This thesis is dedicated to integrating a high-speed vision system with a robot motion control system to carry out ball-batting tasks which attempt to send the rebounding ball to the desired location. The 600FPS stereo vision system is used to acquire the position of the ball in the 3D space, and then extended Kalman filter and the ball flying model are applied to predict the ball flying trajectory. The high frame rate of the stereo vision system could reduce the error of the predicted trajectory and increase the success rate of hitting the flying ball.
A robot with a batting pad at its end is designed to hit the ball and send the rebounding ball to the desired location. Therefore, an accurate rebounding model is required to describe the velocity relations among the incoming and rebounding ball trajectories and the pad. A physical rebounding model derived in the previous research is not accurate enough and results in low success rate for the batting task. Therefore, in this thesis, the bouncing trajectory is recorded by another high-speed stereo system and the data are used to train a neural network which learns an accurate relation among the velocities of the incoming and rebounding trajectories of the ball and the pad.

並列關鍵字

Robotic ； High Speed Stereo Vision System ； Ball Rebounding Neural Network Model

參考文獻

[1] 楊昌謀，「具控制打擊後球體軌跡能力之擊球機器人設計與實現」，國立交通大學，碩士論文，民國100年。

[2] 許皓崴，「以CUDA技術實現高速視覺系統及具精準動態控制與力感測系統之擊球機器人」，國立交通大學，碩士論文，民國104年。

[3] 王嘉維，「以相機陣列實高速即時物體追蹤系統及飛行軌跡估測」，國立交通大學，碩士論文，民國106年。

[4] 王維民，「桌球飛行狀態估測與碰撞模型之建立」，國立交通大學，碩士論文，民國102年。

[5] T. Hsiao and C. M. Weng, “Robust Joint Position Feedback Control of Robot Manipulator,” J. Dyn. Sys., Meas., Control, vol.135, no.3, pp. 031010-1~11, May 2013.