分散式大型天文多層次三角網格索引資料管理系統

Distributed Large-Scale Astronomical Data Management System Based on HTM Index

鄭凱豪(Kai-Hao Cheng)

指導教授 ： 蔡孟峰

國立中央大學/資訊電機學院/資訊工程學系/碩士(2012年)

摘要

天文學家在觀測天體時，通常會把天體中星球、星系在各個時間點的亮度、位置、運動速度等這些大量的天文觀測記錄儲存到各台大型伺服器中存放，而這些龐大的天文資料還會隨著時間不斷的增加，伺服器負擔又大資料又分散，使用者要查詢資料必須逐一到不同的伺服器中挖掘歷史資料，既費時又不切實際。本論文研發一套多層次三角網格索引的分散式大型天文資料管理系統，系統中每台機器儲存一小部份不和其他機器重複的天文資料，且單一機器只需記錄前後鄰居機器的網際協議地址 ( IP address) ，並定時傳送訊息給鄰居並要求回傳以維持環狀系統確實連結，並依照自己所儲存資料的座標位置資訊各自做一份多層次空間索引。當使用者要查詢資料，可以從系統中任何一台機器發出查詢訊息，系統把訊息傳送給符合查詢要求的機器，各台機器再用多層次空間索引把符合條件的資料回傳給使用者。本論文的分散式大型天文資料管理系統能自動處理有新機器加入或是舊機器離開的情況，當單一機器儲存的資料過多時，負載平衡的功能可以幫助分散資料過多機器的儲存負擔。
結合分散式點對點 ( Peer-to-Peer ) 資料管理系統與多層次三角網格索引，讓使用者可以簡潔、方便、穩定地儲存大量天文資料，並且精確、快速、有效率地查詢到資料，更大大減少了伺服器與維護者的負擔。

關鍵字

分散式系統 ； 點對點 ； 空間索引 ； 負載平衡

並列摘要

Astronomical researchers generally store the observation data into the connectionless servers. The number of the data grows through the time pass by. When the users want to query the data, they should manually query from each server. It’s not only really inconvenienced but also cost much time and work.
For solving this problem, we intend to design a distributed Chord-like P2P system and combine the HTM spatial index to the system. Astronomical data distributed to the computers on the ring system and contributed the spatial index with their own data. The computers will ping the neighbors in the ring system each period of the time to detect the disconnecting peers. System will also automatically detect each peer’s loading. When the loading difference exceeds the threshold, system would perform load balancing. User can query the data from any computer in the distributed system. System will pass the query message to the computers that meet the conditions and each computer then search the data efficiently through the HTM index.

並列關鍵字

Spatial Index ； Load Balance ； Peer-to-Peer ； Distributed System

參考文獻

[2] E. W. Dijkstra, “Self-stabilizing systems in spite of distributed control,” Communications of the ACM, Vol. 17(11), 1974, pp. 643-644.

[4] I. Stoica, R. Morris et al., “Chord: A Scalable Peer-to-Peer Lookup Protocol for Internet Applications,” IEEE/ACM Trans. Net., vol. 11, no. 1, 2003, pp. 17–32.

[9] H. V. Jagadish, B. C. Ooi, Q. H. Vu, R. Zhang, and A. Zhou. Vbi-tree: A peer-to-peer framework for supporting multi-dimensional indexing schemes. In Proceedings of the 22nd ICDE Conference, 2006.

[1] 天體座標, http://www.uwgb.edu/dutchs/AstronNotes/FindingWay.htm

[3] Szalay, A., Gray, J., Fekete, G., Kunszt, P., Kukol, P., and Thakar, A., “ Indexing the sphere with the hierarchical triangular mesh”, Tech. Rep. MSR-TR-2005-123, Microsoft Research, September 2005.