虛擬講堂進入演講
講 題MDMS使用NoSQL架構的效益研究
講 者Industrial Technology Research Institute-黃宗皇
日 期2014/10/23長 度00:17:52人 氣768 次
摘 要
本研究將探討電表資料管理系統(Meter Data Management System, MDMS)導入 NoSQL 架構是否 可獲得顯著的效益。MDMS 中的資料特性為大量且 長期的時間序列資料,使用傳統的關聯式資料庫將 面臨資料存取效能的瓶頸,因此時間序列資料庫 (Time Series Database Server, TSDB)將是很好的選 擇,最常見的應用為 NoSQL(Not only SQL)。首先 進行文獻探討,了解 NoSQL 的背景及概念架構, 並搜尋目前市面上常用的 NoSQL 產品,透過 YCSB 的研究報告,得知各項主流產品的效能表現評比, 發現 Apache HBase 不論是在效能表現或是提供的 服務皆較符合 MDMS 需求。Apache HBase 是一個 開源的非關聯式、分散式資料庫,Facebook 亦於 2010 年 11 月選用 HBase 來實現它新的訊息帄台。 選定 HBase 作為導入的產品後,本研究進行實際的 效能測試,利用 Average Latency 及單位時間處理筆 數做為評估指標,主要分兩個部份:一是透過 BOE AMI 的情境分析並比較關聯式資料庫(MS-SQL)與 NoSQL(Mongo DB、HBase)在效能表現上的差異, 無疑的 HBase 得到較佳的結果;另一是模擬 50 萬 顆電表來測試HBase在大量資料存取下是否能保持 一定的效能,結果顯示 HBase 依然能夠快速地完成 資料的存取,甚至在資料量逐漸增加的情況下不受 影響。總結研究與實作分析,基於 MDMS 的需求, 導入 NoSQL(HBase)作為資料儲存架構,以取代傳 統的關聯式資料庫,確實能夠讓 MDMS 在執行的 效能上獲得顯著的提升。
提 供TANET台灣網際網路研討會-TANET2014
進入演講