首頁瀏覽人次: 539,326 次 (Since 2010/07/14) 會員登入
聯盟單位  |  虛擬講堂  |  網路直播  |  其他演講  |  排行榜  |  留言板  |  知識擂台  |  回首頁
首頁 > 虛擬講堂 > 運用Spark於用電大數據湖泊之資料儲存與分析平台實 作   快速搜尋演講 進階搜尋
  運用Spark於用電大數據湖泊之資料儲存與分析平台實 作 
★chrome瀏覽器無法播放Silverlight解決辦法
0:00 / 0:00

講者:東海大學資訊工程學系 楊朝棟
日期:2018/10/26
性質:演講
類別:應用科學
語言:中文
長度:00:11:18
觀看:121
推薦:0
摘要:
本文提出一個架構能將現有的儲存系統導入
至資料湖泊與大數據平台並儲 存與分析電能資料,
透過 Sqoop 將舊系統的歷史資料轉存到 Hive 上做
資料倉儲,即時的串流資料藉由 Kafka 保持資料的
完整性且利用 Spark Streamin...
本文提出一個架構能將現有的儲存系統導入
至資料湖泊與大數據平台並儲 存與分析電能資料,
透過 Sqoop 將舊系統的歷史資料轉存到 Hive 上做
資料倉儲,即時的串流資料藉由 Kafka 保持資料的
完整性且利用 Spark Streaming的方式將即時產生的
電能資料寫入 HBase 做為即時資料的保存,以 Hive
和 HBase 為基底建置資料湖泊以保持資料的完整性,
並整合 Impala 與 Phoenix 個別對 Hive 和 HBase 做
為搜尋引擎。本文也利用 Spark 提出用電預測與斷
電判別等分析模組來分析校園用電情形,分析的結
果將會儲存在 HBase 上,本文所有視覺化的呈現都
藉由 Apache Superset 完成。

現在位置:演講摘要詳細內容
推薦  (0)
推薦至Plurk
提供:TANET台灣網際網路研討會-TANET2018

轉寄  

推薦者:  
電子郵件地址: (如欲轉寄多人,請以 ; 分隔email)  
留言給收件者:  

回報問題  

問題說明:  




校園雲端計算與服務
講者:楊朝棟
觀看:644
以ELK Stack環境實作...
講者:陳彩進
觀看:523
在ELK Stack環境實作...
講者:羅意智
觀看:166
基於3D地圖的WiFi連線者...
講者:楊朝棟
觀看:109
Innovation App...
講者:楊朝棟
觀看:123
語言障礙者之中文語音辨識
講者:林柏榆
觀看:118
利用微服務來處理訂單狀態與工...
講者:Hui-Hung...
觀看:58
從「看見台灣」到「守護台灣」
講者:陳樹群
觀看:539
【週日閱讀科學大師】通往宇宙...
講者:吳俊輝
觀看:63
【週日閱讀科學大師】上太空也...
講者:黃居正
觀看:60

現在位置:學習公約