關聯式資料庫結合NoSQL特性處理時間序列資料之研究

A Study on Time Series Data Processing with Relational Database and NoSQL Feature

黃聖文(Sheng-Wen Huang)

指導教授 ： 吳錦波

淡江大學/商管學院/資訊管理學系碩士在職專班/碩士(2015年)

https://doi.org/10.6846/TKU.2015.00516

摘要

關聯式資料庫在資訊歷史發展過程中，佔有相當大的份量，發展相當成熟，而近年來在軟硬體技術的發展，資料的類型格式開始多元化，處理的速度需求持續增加，資料的成長量也開始無法負荷，逐漸衍伸了巨量資料的議題。
本研究的目的是在關聯式資料庫中，模擬企業內部可能產生的大量資料，透過延展NoSQL資料庫的部分特性，處理具有時間特性持續產生的巨量資料。使用IBM Informix推出的混合型資料庫進行實驗，透過腦波儀模擬儀器設備取得腦波十四個波段，持續不斷產生的腦波資料，將資料透過三種不同實驗特性寫入資料庫，比較關聯式資料架構、時間序列資料架構、時間序列資料結合JSON資料格式架構，進行資料處理的時間與架構異動的成本比較，並將讀取儀器設備之資料進行分類，進行分析模擬並呈現。
經過實驗的結果，在關聯式資料庫的基礎架構上，延展時間序列資料與JSON儲存格式的特性，可快速達到存取資料的目的，在分析速度上更加的即時，並可減少處理資料與架構異動的時間成本。企業可參照本研究架構進行應用，來達成傳統資料庫中結合NoSQL特性處理大量時間序列資料的目的。

關鍵字

NoSQL ； Informix ； 巨量資料 ； 時間序列

並列摘要

Relational databases, in the history IT applications, have played an important role and been fairly mature. However, in recent years, as the advances of hardware and software technologies, data are getting more diversified in format. The quest for processing speed continues, and the growth of data volume has become a burden. Hence, it comes with big data issues that need to be solved.
The purpose of this study is to simulate the large amounts of data that a company might continuously generate through the use of relational databases with some features of extended NoSQL database. We use hybrid database from IBM Informix for this simulation. We also use a fourteen-channel electroencephalogram (EEG) to collect brain wave, as the surrogate of big data generated. Then, write brain wave data into the database with the purpose to compare three different experimental features: relational data architecture, time series data architecture, and time series data with JSON data format architecture based on the cost of data processing time and architecture change. The collected data are then classified and analyzed.
The experimental results show that the extended time series data and JSON data format achieve the processing need of big data. Not only can it access data faster, but it also analyze data more quickly. The results, furthermore, show the reduction both in cost of processing data and changing architecture. This study could provide references to companies who want to solve problems in processing large number of time-series data by combining traditional repository with NoSQL features.

並列關鍵字

NoSQL ； Informix ； Big Data ； Timeseries

參考文獻

7. 張百裕，2013，『物聯網 (IoT) 技術應用於整合性製造執行系統 (MES) 之研究-以光學研磨廠為例』淡江大學管理科學學系碩士班學位論文。

8. 陳勁華，2014，『應用腦波訊號分析風險考量下之決策行為』淡江大學資訊管理學系碩士班學位論文，1~59頁。

1. IBM，2014，『IBM Informix TimeSeries Data使用手冊』。

12. Banker, K. 2011. MongoDB in action. Manning Publications Co..

18. Gilbert, S., & Lynch, N. ,2002. “Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services.” ACM SIGACT News, 33(2), 51-59.