- 學位論文
運用於Hadoop雲端運算的資料探勘混合編碼演算法
A hybrid algorithm with TID Apriori algorithm And Binary encoded algorithm on Hadoop
摘要
在現今的世界上資料探勘已經成為一項非常重要的研究，而在資料探勘的研究範圍中關聯式規則的尋找是其中主要的研究方向之一。 在這篇論文中我們針對在關聯式規則的尋找中主要的一種演算法，Apriori演算法，來進行研究和改進。Apriori演算法在處裡大量資料時有一個嚴重的效能瓶頸，此效能瓶頸源於Apriori演算法在運作過程中所產生的大量過渡資料。然而不幸的是在現實的世界裡我們通常都必須要面對非常大量的資料。 因此我們在這篇論文中提供一種混合式的演算法，混合了Apriori-like演算法中的TID Apriori演算法以及二進位的編碼方式。藉由混合這兩種演算法，我們在實驗之後得到相對於TID Apriori演算法以及Apriori演算法更好的效能。但是我們所提供的演算法仍然屬於Apriori-like演算法，依然有Apriori-like演算法所共有的效能瓶頸問題。 為了克服此瓶頸問題我們將演算法以MapReduce programing model實作在Hadoop 環境上，藉此將我們的演算法平行化。 關鍵字 : 資料探勘 , 關聯式規則 , 平行 , Apriori 演算法
參考文獻
[16] R. Agrawal and R. Srikant. Fast algorithms for mining association rules. In VLDB'94, pp. 487{499.
[1] Zhaoyang Qu , Shilin Zhang The WAMS Power Data Processing based on Hadoop
IPCSIT vol. 25 (2012) © (2012) IACSIT Press, Singapore
[2] Xin Yue Yang , Zhen Liu , Yan Fu MapReduce as a Programming Model for Association Rules Algorithm on Hadoop
[3] Jean-Daniel Cryans , Sylvie Ratt’e , Roger Champagne Adaptation of Apriori to MapReduce to Build a Warehouse of Relations Between Named Entities Across theWeb
延伸閱讀
- 孫毓夆（2017）。巨量資料分析平台之建置與評估:於vSphere上部署Hadoop 生態圈〔碩士論文，國立虎尾科技大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0028-0801201702115000
- 蔡昀翰（2015）。基於Hadoop平台之分散式權重式字尾樹暨天文時序性資料分析系統〔碩士論文，國立中央大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0031-0412201512075875
- 李卓勳（2014）。基於Hadoop叢集之具關聯式規則探勘雲端系統設計與效能之研究〔碩士論文，國立臺中科技大學〕。華藝線上圖書館。https://doi.org/10.6826/NUTC.2014.00114
- 許哲瑋（2014）。Shared-scan and Locality-aware Scheduling Algorithm in Hadoop Architecture〔碩士論文，淡江大學〕。華藝線上圖書館。https://doi.org/10.6846/TKU.2014.01039
- Kuo, H. C., Chang, J. R., & Shyu, K. S. (2004). A Hybrid Algorithm of Evolution and Simplex Methods Applied to Global Optimization. Journal of Marine Science and Technology, 12(4), 280-289. https://doi.org/10.6119/JMST.200412_12(4).0007