虛擬講堂進入演講
講 題基於Hadoop建立巨量資料分析處理模型:以空氣汙染資料為例
講 者南臺科技大學 曾彥志
日 期2015/10/22長 度00:10:44人 氣283 次
摘 要
Session J2:Big Data與資料探勘

論文作者:陳志達、曾彥志
近年來,由於巨量資料呈現爆炸性的成長,資策會表示,巨量資料分析市場在雲端運算、行動應用、社群商務逐步發展成熟、企業採用意願提升等因素驅動下,預估2015 年的服務市場將呈現穩定的成長趨勢。而在巨量資料的時代裡,如何從龐大且雜亂的資料中,找出有效的隱藏資訊來提升組織營運或是應用的效率是相當重要的。因此本研究提出基於Hadoop 的概念,藉由分散式運算的技術整合HDFS、MapReduce 等相關元件,使用Splunk 資料探勘分析工具建構出空氣汙染的模型分析架構,最後產生淺顯易懂的資訊、報表、評估數據,以大陸冷氣團南下及中國霾害造成PM10及PM2.5濃度超標為例,資料推導分析結果建議有心臟、呼吸道及心血管疾病的成人與孩童,應減少體力消耗,特別是減少戶外活動,而這些相關建議提供給使用者作為預防之依據或讓企業及相關單位做使用,達到快速處理與分析巨量資料之目的。
提 供TANET台灣網際網路研討會-TANET2015
進入演講