基於Spectrum Scale儲存系統之Hadoop效能探討

陳政宇 ； 陳威宇 ； 莊家雋

《TANET2016 臺灣網際網路研討會》 2016 (2016/11) Pp. 573-578-103

https://doi.org/10.6679/TANET.2016.103

摘要

大資料(Big Data)的浪潮帶來越來越多樣化的資料來源與格式，傳統的儲存系統架構已無法有效率地儲存與共享這些資料。本研究使用商用版Spectrum Scale 儲存系統取代Apache Hadoop HDFS，並設計四種實驗方式量測與比較兩者的存取效能。在共享資料方面，本論文使用物件導向式儲存(Object Storage)協定使其它應用程式也能共享相同資料，而無需藉助複製與搬移資料的手段，藉以評估Spectrum Scale 儲存系統能否以更有效率的方式儲存與共享資料。實驗結果顯示，Spectrum Scale 之Local Storage Mode 相對於HDFS 有較佳的效能表現。

關鍵字

Apache Hadoop ； HDFS ； Spectrum Scale ； 效能量測 ； 物件導向式儲存

並列摘要

The era of Big Data has sent shock waves that information comes in from multiple sources and in many formats, which the traditional storage architecture proves a failure to manage efficiently. This study used four methods to test and compare the access efficiency of enterprise-level Spectrum Scale and Apache Hadoop HDFS. Since the object storage protocol accommodates the access to common data to other applications without replication, the study seeks to assess the storage and sharing efficiency of Spectrum Scale storage system. The results showed that the Local Storage Mode of Spectrum Scale achieved higher performance than HDFS.

並列關鍵字

Apache Hadoop ； HDFS ； Spectrum Scale ； Benchmark ； Object Storage