用樹狀結構的算式生成器解數學問題

Tree-Structured Equation Generator for Math Word Problems With Deep Inference

呂紹瑀(Shao-Yu Lu)

指導教授 ： 鄭卜壬

國立臺灣大學/電機資訊學院/電機工程學研究所/碩士(2019年)

https://doi.org/10.6342/NTU201902039

摘要

近年來隨著深度學習的發展，數學應用題的自動求解又再度引發研究上的關注。基於深度學習的序列生成模型被大量的應用在生成算式模板，不僅解決了傳統基於模板方法的限制，也是目前的主流解法之一。但鮮少有人試圖將生成模型與基於樹的方法結合。因此本文提出一個結合兩者的方法。我們希望模型可以學習到題目中的數字、所求目標以及過程中產出的數字三者的語意表示。並模仿人類真實的解題情境，將所有運算的中間產出也視為可選擇的數字，供模型學習如何進行進階的運算。
在大型的中文數據集 Math23K的初步實驗結果中，我們的模型比起傳統基於注意力機制的seq2seq生成模型，正確率上升超過7%。並在後續的實驗中，分析模型裡的一些機制如算式歸一化、數字特徵的自注意力機制，兩者會如何影響準確性。然後在最後一個實驗裡顯示，透過加強選擇數字的能力，模型能學習到類推與抽象化運算的能力，解決資料集中罕見但運算複雜而冗長的題型。即便取得了部分的成功，在一些失敗例子的探討上，我們也揭露了這個模型本身策略帶來的優勢與限制，以及這個領域的主要瓶頸。並以未來可以改善的方向作結。

關鍵字

數學應用問題 ； 二元表示樹 ； 算式生成器 ； 數字語義理解 ； 序列到序列模型 ； 自然語言處理

並列摘要

In recent years, the study of solving math word problem automatically receive much attention once again. Deep Neural Networks based method reach a new higher score on large-scale datasets. The generator based on seq2seq model combined with template-based method becomes the mainstream method for this task. However, few people try to introduce the deep learning to Tree-based model.
This paper propose a method to bridge the gap of tree-based method and deep learning method. We hope that model could learn the semantic meanings of quantities in a question, target of calculation and number produced during the process. By strengthening the ability of choosing number, model also perform the analogy and abstraction during complex process of computation.
The preliminary experiments are conducted in a benchmark dataset Math23K, and our model outperforms the seq2seq model with attention mechanism over about 7% accuracy, demonstrating the effectiveness of the selection strategy.

並列關鍵字

math word problems ； expression tree ； equation generator ； number semantic learning ； seq2seq model ； natural language processing

參考文獻

D. Bobrow, “Natural language input for a computer problem solving system,” in Semantic information processing, M. Minsky, Ed. MIT Press, 1964, pp. 146–226.

E. A. Feigenbaum and J. Feldman, Computers and Thought. New York, NY, USA: McGraw-Hill, Inc., 1963.

E. Charniak, “Computer solution of calculus word problems,” in IJCAI, 1969, pp. 303–316

D. Goldwasser and D. Roth, “Learning from natural instructions,” in IJCAI, 2011, pp. 1794–1800

T. Kwiatkowski, E. Choi, Y. Artzi, and L. S. Zettlemoyer, “Scaling semantic parsers with on-the-fly ontology matching,” in EMNLP, 2013, pp. 1545–1556.