使用強化式學習於時間序列預測之應用

Time Series Prediction Using Reinforcement Learning

楊日鳳(Yang Jih-Feng)

指導教授 ： 黃文吉

國立臺灣師範大學/理學院/資訊工程學系/碩士(2019年)

https://doi.org/10.6345/NTNU201900876

摘要

本論文使用強化式學習的方法結合類神經網路LSTM架構於時間序列的分析與預測，然而我們想針對美國NASDAQ指數進行買點分析的研究探討，並使用強化式學習中的Policy Gradient法則，以型態學的角度處理資料，讓LSTM模型，學習歷史收盤價中上漲及下跌前會發生的預兆進而預測買點。本論文的研究目的為證明強化式學習及LSTM的模型，對於時間序列的預測是相當合適的，雖然本研究只針對一種資料做研究，但其方法與架構可以套用至其它時間序列資料。
由型態學的理論作為基礎，我們需要訓練兩種趨勢的模型，使我們可以更確定特徵出現的訊號，讓預測結果更加確定更為穩健。我們也以型態學的角度，將收盤價資料做處理，使看似雜亂無章的收盤價資料處理成趨勢資料。接著我們以Policy Gradient的方法，以獲利值引導參數學習，使得模型在訓練的過程中，會自行隨著獲利值慢慢收斂至擁有最大期望值的模式。
實際測試方面，本論文以三種趨勢的資料做測試，測驗本研究所提出的演算法架構使否能成功避險及獲得高獲利，而根據實驗結果顯示，此架構除了能夠成避開負獲利的買點以外，也能夠只挑選那些有足夠把握的買點才做購買，避開那些不必要之交易風險。 本論文也將此架構之演算法和其他現有的方法做討論，也有較好之獲利能力。

關鍵字

時間序列預測 ； 強化式學習 ； 股價趨勢預測

並列摘要

無資料

並列關鍵字

Time Series Prediction ； Reinforcement Learning ； Policy Gradient ； Pattern Recognition

參考文獻

一、

歐陽亦凡, “使用深度學習進行證券交易之型態分析研究,” 國立臺灣師範大學碩士論文, 2018.

二、英文文獻

T. Chen and F. Chen, “An intelligent pattern recognition model for supporting investment decisions in stock market,” Information Sciences, pp. 261-274, 2016.

D. M. Q. Nelson and A. C. M. Pereira “Stock market's price movement prediction with LSTM neural networks,” in Proc. IEEE International Conf. on Neural Networks, pp.2161-4407, 2017.