運用巨量資料分析技術實作智慧校園綠能管理系統

陳子揚 ； 楊朝棟 ； 劉人豪 ； 周聖滄 ； 歐建暉

《TANET2017 臺灣網際網路研討會》 2017年 (2017/10) Pp. 1285-1290

https://doi.org/10.6728/TANET.201710.0223

摘要

如何在全校龐大的用電下有效的節流，降低用電成本以及不必要的消耗是非常重要的研究議題。學校如何在龐大的校園及資訊機房用電量下有效地控制用電成本及找出不必要的電力消耗也是更為重要的議題，為了達到智慧型節能的目的，必須先對所有機器進行電能監控，而由於虛擬化的興起，現今資料中心的建置已大量使用虛擬伺服器來建置雲端服務，為求達到省電與節能的效用必須借助智慧校園綠能管理系統取得各大樓及資訊中心伺服器的相關消耗資訊，智慧校園綠能管理平台將使學校更容易掌握整體機房資訊，以協助做出最佳決策，接著必須考量到所有實體機器的負載狀況、電錶和環境感測器所產生的資料大小及分析資料所需的運算資源，對於智慧型用電中基本的電能監控是基本訴求，為求達到省電與節能的效用需藉助電能監控系統取得相關的消耗資訊，由於必須考量到資料的大小及分析資料所需的運算資源。因此加 入了近幾年相當熱門的雲端計算與巨量資料處 理。將雲端系統設施應用在電能監控中，藉由架設雲端基礎設施建置大型分散式儲存叢集提升整體效能，利用Hadoop雲端運算架構來實作整體運算及儲存，在系統電能資料儲存的部分，將關聯式的大量電能資料儲存於Hive中，並在後續透過Spark作為資料分析用，來達到巨量資料快速的資料分析及處理，用以提高資料處理效能。綜合以上智慧型校園綠能管理平台提供大量的資料儲存與分析，其主要目的為降低校園各建築物及資料中心的營運成本，大幅降低系統建置與管理時間，並藉由電能資訊了解大樓與資訊中心使用狀況，取得相關資訊並有效預估用電量，透過系統整合與資料分析達到有效改善不必要的電力浪費，最後可以透過讀取電能相關歷史監控紀錄，分析大樓及資訊中心的用電行為，藉此針對用電配置或者機器故障達到事前預警的功效，進而符合現在社會對於校園之永續節能的期望。

關鍵字

巨量資料 ； 雲端運算 ； Hadoop、Spark ； 電能監控 ； 永續

並列摘要

As technology advances, the demand for the use of information is increasing. Because of the cloud infrastructure continuous expand, the difficulty of the cloud data center management is increasing for school. For the cloud data center of school, 24 hours non-stop cold room systems and the cost of electricity consumption for servers increasingly large, how to effectively control the cost of electricity consumption and find out unnecessary power consumption is a more important issue. In order to achieve intelligent energy saving, we must first carry out energy monitoring for all machines. Due to the rise of virtualization, to achieve energy saving and energy for the sake of the utility must use the Intelligent Campus Green Management System to obtain information related to the consumption of each virtual machine, Intelligent Campus Green Management System will make it easier to grasp the whole room information to help to make the best decisions. We use Big Data processing technology which is very popular in recent years into virtual cluster management. We use Hadoop to implement Big Data computation then store the large amounts of data in Hive, and through Spark as data analysis, reach to Big Data quickly analysis and treatment to improve overall system operation efficiency. Its main purpose is to reduce campus data center operating costs, and by the power usage with the virtual machine to obtain the relevant information and effectively estimate power usage, Through systems integration and data analysis to achieve improvement unnecessary power waste, and finally we can read the energy-related historical monitoring record to analyze the behavior of the electricity business information center to achieve the effect of advance warning for malfunction, thus meet current virtualization of data center of school to save energy.

並列關鍵字

Cloud Computing ； Power Management ； Energy Saving ； Big Date ； Hadoop ； Spark