使用增強式學習法建立臺灣股價指數期貨當沖交易策略

Using Reinforcement Learning to Establish Taiwan Stock Index Future Intra-day Trading Strategies

賴怡玲(Yi-Ling Lai)

指導教授 ： 呂育道

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2009年)

https://doi.org/10.6342/NTU.2009.03246

摘要

增強式學習法具有與環境互動及延遲報酬兩大特色，適合應用在決策控制系統的問題上，因此本研究採用增強式學習法來建立臺灣股價指數期貨的當沖交易策略。在系統設計上，我們嘗試了三種不同的狀態定義方式、採用Q-learning及SARSA兩種不同的演算法，另外也針對停損、停利點的設置進行討論。
為檢測其可用性，我們採用2004年1月1日至2008年6月30日之臺灣股價指數期貨歷史資料進行學習訓練及績效檢測。

關鍵字

交易策略 ； 當日沖銷 ； 臺股期貨 ； 機器學習 ； 增強式學習法 ； SARSA ； Q-learning

並列摘要

Learning from interacting with environment and delayed reward are the two most important features of reinforcement learning. Because of these two characteristics, reinforcement learning is suitable for control problems. This thesis adopts reinforcement learning to establish several Taiwan stock index future intra-day trading strategies. We design three different definitions of state and use Q-learning and SARSA to implement reinforcement learning. In addition, we discuss the effect of setting maximum acceptable loss and minimum acceptable profit.
To verify the usability of our strategies, we use real historical data for back testing and then examine the performance of the trading strategies.

並列關鍵字

Trading strategy ； Intra-day trading ； Taiwan stock index future ； Machine learning ； Reinforcement Learning ； SARSA ； Q-learning

參考文獻

[1] 林典南，“使用AdaBoost之臺股指數期貨當沖交易系統”，國立臺灣大學資訊工程研究所碩士論文，2008。

[2] 周俊志，“自動交易系統與策略評價之研究”， 國立臺灣大學資訊工程研究所碩士論文，2007。

[4] Jae Wan Lee, “Stock Price Prediction Using Reinforcement Learning”, IEEE International Joint Conference on Neural Networks, 690–695, Washington D.C., 2001.

[6] R. J. Kuo, “A Decision Support System For The Stock Market Through Integration of Fuzzy Neural Networks and Fussy Delphi”, Applied Artificial Intelligence, 6:501–520, 1998.

[8] Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction. MIT Press, 1998.