以巨量資料技術Apache HBase建置高效能網路流量分析系統

葉祐欣

《資訊安全通訊》 20卷4期 (2014/10) Pp. 105-119

摘要

近年來巨量資料與雲端運算的議題相當熱門，而在背後推動相關技術持續演進的關鍵腳色，就是開放原始碼的巨量資料平台Apache Hadoop。本文探討在巨量資料的浪潮下，如何利用相關技術解決網路流量分析在效能方面的問題，並詳細介紹建置於Hadoop之上的NoSQL資料庫Apache HBase其具體的設計哲學與架構，透過深入了解HBase運作模式後，提出一個應用於網路流量的即時分析與搜索系統，除了能夠協助資訊安全分析師快速進行網路流量分析外，也能透過與其他資訊安全系統整合進行入侵、異常與回溯式偵測，即時排除組織的資訊安全危害。

關鍵字

資訊安全 ； 網路流量 ； 巨量資料

並列摘要

無資料

並列關鍵字

NoSQL ； Apache HBase

參考文獻

Apache Flume, “Flume 1.5.0 User Guide,” http://flume.apache.org/FlumeUserGuide.html (2014/7/12).

Apache Flume, “Flume NG refactoring,”https://issues.apache.org/jira/browse/FLUME-728 (2014/7/12).

Apache HBase, “Rowkey Design,” https://hbase.apache.org/book/rowkey.design.html (2014/7/12).

Apache HBase, “Secondary Indexes and Alternate Query Paths,”https://hbase.apache.org/book/secondary.indexes.html (2014/7/12).

Brewer, E. A.(2000).Towards Robust Distributed Systems.Symposium on Principles of Distributed Computing (PODC).(Symposium on Principles of Distributed Computing (PODC)).