應用深度雙Ｑ網路於股票自動交易系統

Double Deep Q-Network in Automated Stock Trading

黃冠棋(Huang Kuan-Chi)

指導教授 ： 蔡炎龍

國立政治大學/理學院/應用數學系/碩士(2021年)

https://doi.org/10.6814/NCCU202200014

摘要

本篇文章使用了強化學習結合深度學習的技術去訓練自動交易系統，我們分別建立了深度卷積網路和全連接網路去預測動作的Q值，並使用DDQN的模型去更新我們的動作價值。我們的交易系統每天採用10天前的股票資訊，去預測股票的趨勢，並最大化我們的利益。

DDQN是一種深度強化學習模型，透過建立目標網路和調整誤差函數使得他能夠避免DQN的過估計問題，並得到更好的效能，在我們的實驗中，我們得到了一個良好的效果，證明DDQN在自動交易系統上是有效的。

關鍵字

深度強化學習 ； 神經網路 ； Q學習 ； 深度雙Q網路 ； 股票交易

並列摘要

In this paper, we use the artificial neural network combined with reinforcement learning to train the automated trading system. We construct the CNN model and the fully-connected model to predict the Q-values of the actions and use the algorithm of DDQN to correct the TD error. According to past 10 days data, the system predicts the trend of the stocks and maximize our profit.

DDQN is a deep reinforcement model, which is an improvement of DQN, build the target network and modify loss function to avoid overestimation and get better performance. In our experiment, we get a good result that DDQN is feasible on automated trading systems.

並列關鍵字

Deep reinforcement learning ； Neural network ； Q-learning ； DDQN ； Stocks trading

參考文獻

[1] Fei-Ting Chen. Convolutional deep q-learning for etf automated trading system, 2017.

[2] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Machine learning basics. Deep

learning, 1(7):98–164, 2016.

[3] RobertHecht-Nielsen.Theoryofthebackpropagationneuralnetwork.InNeuralnetworks

for perception, pages 65–93. Elsevier, 1992.