「連續值局限型波茲曼模型」晶片系統之模組化電路設計

Design of a programmable system circuit for the Continuous Restricted Boltzmann Machine in VLSI

洪昌諭(Chun-Yu Hong)

指導教授 ： 陳新

國立清華大學/電機資訊學院/電機工程學系/碩士(2006年)

https://doi.org/10.6843/NTHU.2006.00592

摘要

隨著「連續值局限型波茲曼模型(Continuous Restricted Boltzmann Machine)」神經網路系統在積體電路上的實現，如何將此網路神經系統實際應用於自然界中的實驗與測試，將是下一個重要的發展方向，由於從自然界中所取得的訊號是複雜而且具有較高之維度，所以如何運用「連續值局限型波茲曼模型」神經網路系統來處理更高階且非線性的資料是目前所需解決的問題，若能解決此問題將可使整個網路神經系統更具可行性。
本人之研究主要目的在研發一具機率行為且可自動調變的晶片系統，作為植入式(implantable)或實驗室晶片化(Lab-on-a-chip)生醫檢測系統中的智慧型訊號辨識。基於先前研究者研發「連續值局限型波茲曼模型」模型的理論與雛型(prototype)晶片的經驗，本計畫將實現一可程式化且模組化的「連續值局限型波茲曼模型」晶片系統，可程式化參數的設計以Matlab模擬找出所需之最小位元數，而模組化設計則使「連續值局限型波茲曼模型」系統可以視輸入資料來增加系統晶片個數，以達到擴大神經網路系統之功能，如此即可使其在生醫檢測方面能有更多的應用。
機率型類神經網路模型能應用隨機性來概括訊號中的變異，目前且已廣泛應用於許多生醫訊號分析，所謂的機率型即表示輸入資料僅僅決定輸出值之機率分佈，而不直接決定輸出值，其輸出值再根據此決定的機率取樣而得。故當輸入值不變時，輸出值依然可能不同，且輸出值是有特定的機率分布。機率行類神經網路模型雖然已經實際運用積體電路模式表現出來，但是在此論文的研究部分便是將此系統加以模組化以增加神經網路系統應用於實際生醫訊號檢測上的可行性。

關鍵字

機率型類神經網路模型 ； 連續值局限型波茲曼模型 ； 模組化 ； 參數調變可程式化

參考文獻

【2】 H. Chen, "Continuous-valued Probabilistic Neural Computation in VLSI", PhD Thesis, Edinburgh University, UK, 2004

【3】 Morie, T.; Amemiya, Y.; "An all-analog expandable neural network LSI with on-chip backpropagation learning" IEEE Journal of Solid-State Circuits , Volume 29 Issue 9 Sept. 1994 Page(s):1086 – 1093

【5】 C. Lu,;B. Shi,;L. Chen,;" A programmable on-chip BP learning neural network with enhanced neuron characteristics"Circuits and Systems, 2001. ISCAS 2001. The 2001 IEEE International Symposium on Volume 3, 6-9 May 2001 Page(s):573 - 576 vol. 2

【6】 J. J. Hopfield, "Neural networks and physical systems with emergent collective computationalabilities,". Proceedings of the National Academy of Sciences of the U.S.A., vol. 79,pp. 2554.2558, 1982.

【7】 Thiam, T.; "The Boltzmann machine"Neural Networks, 1999. IJCNN '99. International Joint ConferenceVolume 6, 10-16 July 1999 Page(s):4428 - 4431 vol.6 Digital Object Identifier 10.1109/IJCNN.1999.830883