以相機陣列實現高速即時物體追蹤及飛行軌跡估測

Realization of Real-Time High-Speed Object Tracking and Trajectory Estimation via a Camera Array

王嘉維(Chia-Wei Wang)

指導教授 ： 蕭得聖

國立交通大學/電機學院/電機與控制工程系所/碩士(2017年)

摘要

本研究模仿昆蟲的複眼，使用多台相機排列成二維陣列，以交錯拍攝的方式增加取樣頻率，建構出一套高速攝影系統，追蹤飛行中的球體。
在硬體設計上，本研究使用市面上所能購得的USB3.0工業相機組成陣列，採取一台相機搭配一台嵌入式電腦的方式進行分散式影像處理，再透過UDP socket將分析後之數據傳回主機端，以分擔主機端的運算負擔。為了能精準控制相機拍攝時機，本研究透過微控制器發送固定間隔的PWM訊號觸發相機快門。
在球體追蹤演算法上，本研究以HSV色彩辨識飛行中的球體，接著使用直接線性轉換法求得其三維空間座標。在軟體實現部分，本研究採用CUDA平行運算以及只考量感興趣區域(Region of interest, ROI)減少運算時間，確保系統的即時性。
最後，本研究將此系統應用於擊球機器人的球體飛行軌跡估測。首先，分析球體在空中之受力，建構重力以及空氣阻力影響之球體飛行模型。接著，使用Extended Kalman Filter估測較精準的位置與速度，代入球體飛行模型疊代出球體飛行軌跡。在實驗中，本研究實現一組2x2相機陣列系統，以600FPS之取樣頻率進行即時球體追蹤及飛行軌跡估測。以0.1167秒之量測時間即可預測在3.3公尺外的球體座標，平均絕對誤差為2.4cm。

關鍵字

多相機系統 ； 即時追蹤 ； 相機陣列 ； 軌跡估測 ； 機器視覺 ； 擊球機器人 ； 球類

並列摘要

This thesis is dedicated to provide a specific design and implementation guidelines for a high-speed camera array that achieves high frame rates by interleaving the exposure timing of each camera. Then the camera array is used to track the trajectory of a flying ball in real time.
For the hardware architecture, we stack four off-the-shelf USB 3.0 industrial cameras into a 2D array with parallel image processing performed by a cluster of embedded computers. The processed data are sent to a personal computer for further use. To achieve accurate capture timing, we trigger cameras by sending fixed time interval PWM signals.
For the software architecture, we extract the ball contour in the HSV color space, and reconstruct the 3D position of the ball with the direct linear transformation method. We reduce the processing time by only considering the region of interest and making use of the parallel architecture of GPU.
Finally, we demonstrate how the high-speed camera array benefits trajectory estimation of a flying ball. We consider the aerodynamic model of a flying ball and estimate the state of the ball by extended Kalman filter. In the experiments, we implement a 2x2 camera array with 600 FPS to track the ball’s trajectory. The system is capable of predicting the position of the ball 3.3 meters away with average error of 2.4cm based on measurements in 0.1167 seconds.

並列關鍵字

Batting Robot ； CUDA ； EKF ； Jetson TK1 ； Machine Vision ； Real-time Tracking

參考文獻

[2] 楊昌謀，「以最佳化擊球參數實現可指定落點之擊球機器人」，國立交通大學，碩士論文，民國101年。

[1] 李宜熹，「具控制打擊後球體軌跡能力之擊球機器人設計與實現」，國立交通大學，碩士論文，民國100年。

[4] 許皓崴，「以CUDA技術實現高速視覺系統及具精準動態控制與力感測系統之擊球機器人」，國立交通大學，碩士論文，民國104年。

[7] Wilburn, B., et al., High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005. 24(3): p. 765-776.

[8] Lampert, C.H. and Peters, J., Real-time detection of colored objects in multiple camera streams with off-the-shelf hardware components. Journal of Real-Time Image Processing, 2012. 7(1): p. 31-41.