虛擬講堂進入演講
講 題結合Spark與Hadoop於雲端平台進行網路異常流量偵測
講 者國立中央大學 許時準
日 期2015/10/21長 度00:18:46人 氣145 次
摘 要
Session D2:網路規劃建置與管理營運

論文作者:許時準、周小慧

隨著網路應用的大量普及,網管人員面對龐大的網路流量,除了借助於IPS 的阻擋異常網路攻擊,也希望能對於網路出現異常時,可以對於異常網路封包進一步篩選過濾。本研究提出以Spark 結合Hadoop 架構的網路異常流量偵測系統,系統建置於OpenStack 雲端運算平台。系統設計由Spark模組擷取核心路由器Netflow 紀錄,以Spark 較快的in-memory 運算架構處理每十分鐘的流量,並依據選定的port scan、spam、packet flooding 等特徵辨識連網之異常主機及其異常流量統計。而Hadoop模組則以每小時的批次作業,彙整Spark 處理累計之異常流量。實驗結果顯示以Spark 結合Hadoop架構其處理效能比起原Hadoop 架構得到相當大的改進。
提 供TANET台灣網際網路研討會-TANET2015
進入演講