基於分散式雜湊表之可靠的詮釋資料伺服器叢集系統

A Reliable DHT-Based Metadata Server Cluster

葉昌國(ChangkuoYeh)

指導教授 ： 許雅三

國立清華大學/電機資訊學院/電機工程學系/碩士(2008年)

摘要

由於網際網路的普及和傳輸速度的提升，加上越來越多的資料儲存需求，使得網路儲存裝置的研究和開發越來越熱門，然而根據相關研究指出檔案系統的流量有50%是詮釋資料(metadata)的訪問所造成的。可想而知單一的詮釋資料伺服器將無法負載如此龐大的詮釋資料訪問流量，所以如何有效的將龐大的詮釋資料分散到不同詮釋資料伺服器將會嚴重影響整個詮釋資料伺服器叢集系統的效能。
在本研究論文中，我們提出並且實作了一個基於分散式雜湊表的詮釋資料伺服器叢集系統。此系統不但能提供快速的路由決策而且還有自動化的重組機制來消除集中式雜湊表在效能上的瓶頸。它結合了點對點(peer-to-peer)系統和傳統的詮釋資料檔案系統的好處，因此這個分散式的系統擁有良好的擴充性並且在效能的表現上也相當突出。此外我們提出了一個新奇的快取機制LC-RIC（lazy cache of routing information on client end），此機制顯著的提升了整個叢集系統的效能和擴充性。
另外，為了增加系統的可靠度，我們在原本的系統上加上了一個容錯的機制。有了這個機制，此系統可以容忍一個以上的詮釋資料伺服器同時壞掉，除非有兩個相鄰的詮釋資料伺服器同時壞掉。在一般正常的操作下，當這個叢集系統偵測到任何詮釋資料伺服器的錯誤，都能迅速的重建並且恢復正常的服務，並且在我們的設計中這個重建時間是相當短暫的。

關鍵字

詮釋資料 ； 分散式雜湊表 ； 叢集系統

並列摘要

In this thesis, we propose and implement a Distributed Hash Table-Based Metadata Server Cluster (DHT-MDSC), which can provide an efficient routing strategy and an automatic reconfiguration protocol to eliminate the bottleneck of a centralized hash table. The design is based on a new concept merging p2p system with conventional metadata file system into a scalable and high performance distributed metadata server. Furthermore a novel caching mechanism (LC-RIC) is also implemented to improve the performance and scalability of the system.
In addition, we have also implemented a reliable DHT-MDSC (RDHT-MDSC) which can tolerate the failure of multiple metadata servers as long as no side-by-side metadata servers fail simultaneously. The system can reconstruct itself upon detecting any fault under normal operation. The time it takes to reconstruct the system is also short in our design.

並列關鍵字

metadata ； DHT ； cluster

參考文獻

[4] Jin Xiong, Rongfeng Tang, Sining Wu, Dan Meng, Ninghui Sun, “An Efficient Metadata Distribution Policy for Cluster File Systems,” IEEE International Conference on Cluster Computing (Cluster2005), September 26-30, 2005, Boston, USA.

[5] Ion Stoica, Robert Morris, David Liben-Nowell, David R. Karger, M. Frans Kaashoek, Frank Dabek, Hari Balakrishnan, “Chord: A Scalable Peer-to-peer Lookup Protocol for Internet Applications,“ IEEE/ACM Transactions on Networking, Vol. 11, No. 1, pp. 17-32, February 2003.

[9] C. Anglano, and A. Ferrino, “Using Chord for Meta-data Management in the N3FS Distributed File System,” Proceedings of the First International Workshop on Hot Topics in Peer-to-Peer Systems (HOT-P2P’04), Volendam, TheNetherlands, 2004.

[10] V. Pappas, D. Massey, A. Terzis, L. Zhang, “A Comparartive Study of the DNS Design with DHT-Based Alternatives,” IEEE INFOCOM 2006, April, 2006.

[13] M. Satyanarayanan, J. J. Kistler, P. Kumar, M. E. Okasaki, E. H. Siegel, and D. C. Steere, “Coda: A highly available file system for a distributed workstation environment,” IEEE Transactions on Computers, 39(4):447-459, 1990.