- 會議論文
- OpenAccess
Spark-Cassandra開發環境的效能評估與演算法的效能優化
摘要
在過去數年間，網際網路及行動應用服務出現爆發性的成長，使用者在執行各種應用程式或社群網站服務時，必須透過資料庫來儲存及管理相關的資料。在這資訊爆炸的時代，如何選取一個好的資料庫是一件值得關注的事。大型的社群平台在利用傳統關聯式資料庫處理這些與時俱增的資料時，必然會遇到的問題，便是在系統處理使用者的工作請求時，它會需要花費更多的資料處理時間。Google、Facebook、Amazon 等公司從2009年提出NoSQL的概念，NoSQL支援SQL的語法，但不遵循傳統關聯式資料庫的嚴格框架，擴展性也比關聯式資料庫更具有優勢，因此，NoSQL資料庫的開發與應用也愈加受到重視。本論文將使用Datastax公司提供的Spark-Cassandra-Connector連接運算框架，將Spark與NoSQL資料庫Cassandra進行連結，並使用Intel公司提供的大資料分析基準（Benchmark）-HiBench去分析當結合Spark-Cassandra的效能評估，提供使用者在Spark-Cassandra結合在不同工作量（Workload）的效能評估，進一步提供一個優化的演算法提升Spark-Cassandra開發環境的效能。
延伸閱讀
- 張誌宏（2019）。基於Spark系統之混合型模糊分群演算法〔碩士論文，嶺東科技大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0103-2901201915454200
- 范植翔（2016）。以Apache Spark框架設計OpenStack雲端系統日誌平行化分析叢集系統之研究〔碩士論文，國立臺中科技大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0061-3007201610103600
- 徐思縯（2017）。Apache Spark 運用於虛擬化技術之效益研究〔碩士論文，中原大學〕。華藝線上圖書館。https://doi.org/10.6840/cycu201700737
- 吳秉諭（2017）。基於Apache Spark異構叢集系統任務排程優化之研究〔碩士論文，國立臺中科技大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0061-2208201712551900
- 邱則凱（2016）。迭代大數據運算效能改善¬¬－以Spark程式為例〔碩士論文，國立臺北大學〕。華藝線上圖書館。https://www.airitilibrary.com/Article/Detail?DocID=U0023-1303201714253577