深層增強式學習技術與機器人應用

蔡東展 ； 黃茂裕 ； 周宏春

《電工通訊季刊》 2017第3季 (2017/09) Pp. 84-91

https://doi.org/10.6328/CIEE.2017.3.10

摘要

近年來，由於人口結構的改變，在製造業中人力將不易取得，許多工作將由機器人協助完成；再加上製造業彈性化、客製化、少量多樣的趨勢，如何讓智慧型機器人快速學習決策來因應不同工作為一項共同關鍵議題；本文章以深層增強式學習技術為機器人應用的切入點。不同於以往需要仰賴工程師耗費大量時間設計機器人執行特定任務演算法的方式，深層增強式學習技術讓機器人可以自主嘗試錯誤和蒐集資料，學習完成任務之方法，節省演算法開發時間。目前國際上，嘗試以深層增強式學習技術讓機器人自主學習完成任務方法的廠商及研發團隊並不多，其中包括Google Research和Fanuc；此兩家廠商皆採用增強式學習中的Deep Q-Network（DQN）架構來實現。然而此架構在下達決策前需要在連續控制訊號中尋找Q值最大的控制訊號，造成機器人思考決策時間不夠快。本文章除了介紹深層增強式學習技術的基本原理及DQN基本架構外，我們也會針對機器人應用所面臨到的高維度連續控制訊號的問題介紹比較合適的DDPG（Deep Deterministic Policy Gradient）演算法，給未來機器人應用開法的研究人員當作一個參考。