科學邏輯與最大熵原理

Logic of Science and Maximum Entropy Principle

吳俊安(Chun-An Wu)

指導教授 ： 曾文哲

淡江大學/理學院/物理學系碩士班/碩士(2010年)

https://doi.org/10.6846/TKU.2010.01098

摘要

當我們處理問題時，運用不同的分析方法會得到不同的結果。因此該運用何種方法做數據分析才符合科學邏輯？關於這個問題貝葉斯定理能夠給予我們一個滿意的答案；面對一問題時由已有的資訊（X）建立假說（H），再經由實驗取得數據（D）驗證假說是否成立。
然而該如何從已知的資訊建立一合理的假說就需要透過信息熵與最大熵原理的協助。薛農（Claude Elwood Shannon April 30, 1916 – February 24, 2001 ）於1948年提出了信息熵的概念來描述一事件本身的不確定度。而藉由探討一事件本身具有信息熵量來求取在固定條件下事件最有可能的演化行為便是最大熵原理。最大熵原理則明確的指出，在我們面對一問題時，猜測結果的機率分佈應滿足其熵達到最大值。
傑尼斯（ E. T. Jaynes July 5, 1922 –, April 30, 1998 ）運用薛農所建立的信息熵來討論物理系統。如同我們對於最大熵原理的認知，傑尼斯認為在滿足所有限制下，具有最大信息熵值得一組分佈為我們所真實觀測到的分佈。這與熱力學第二定律中的描述非常類似。因此他直接認為在資訊理論中的信息熵與在物理系統中的熱力熵為同樣的物理量，因此我們可以藉由系統中熵的變化來討論統計力學的問題。
我們可以透過拉格朗日變分法（Lagrange multipliers method）來求取在統計力學系統中的最大熵，並且透過建立分配函數（partition function）來得到變分方程的解。運用此方法來討論統計力學將更加清晰簡單，並且有機會在非平衡系統下尋找合理的解釋。

關鍵字

貝氏定理 ； 最大熵原理

並列摘要

The main question of this work is to introduce Logic and maximum entropy principle. Different person may have different opinion when they face to an event, that’s because everybody will think subjectively. We must to avoid this when we are discussing science.
We will discuss Bayes theorem and Logic in the first chapter, for the classical probability opinion we will know why Bayes theorem can help us to discuss science. And in the second and third chapter we will introduce the measure of uncertainty－information entropy and maximum entropy principle. Because of the subjectivity of prior probability distribution of Bayes theorem, we need maximum entropy principle to help us to get objectivity prior.
And at last chapter we discuss another way to get objectivity prior, what’s called the principle of transformation groups. When we face a problem, principle of transformation groups tell us to find the symmetrization of this problem, and we require this problem is invariant under the symmetric transform. It is very easy way to help us to find the objectivity prior when our problem has high symmetrization.
Discuss logic can help us to recognize science easily. We wish the maximum entropy principle may have a great success in statistical mechanics in the future.

並列關鍵字

Bayes theorem ； Maximum entropy principle

參考文獻

E. T. Jaynes, Probability theory: the logical of science（ch4 pp86）

E. T. Jaynes, Probability theory: the logical of science（ch4 pp87~105）

C. E. Shannon, A mathematical theory of communication（pp1~14）

E. T. Jaynes, Probability theory: the logical of science（ch9 pp280~305）

L. D. Landau and E. M. Lishitz, Statistical Physics