虛擬講堂進入演講
講 題以Hadoop為基礎的雲端破密系統
講 者銘傳大學 江宇平
日 期2015/10/22長 度00:14:19人 氣299 次
摘 要
近年來,大數據(Big Data)的蓬勃發展,意旨資 料規模已經大到無法透過人工處理,傳統的方式是 以一台伺服器在處理資料,但這個趨勢必須仰賴數 以十、百台伺服器才可以快速處理的資料量,在大 數據中資料統整與分析更為重要,也衍生出儲存空 間不足的問題。隨著網路頻寬的提升,企業對於雲 端運算的需求更為加重。在各種雲端服務中,目前 最為重要的則是分散式運算系統,例如:Hadoop、 Spark。分散式運算系統是將資料分配到多個節點中 進行運算及處理,最為理想的狀況下假設原本 1 台 電腦運算 100GB 的資料所花費的時間為 1000 小 時,再使用分散式運算擁有 1000 個運算節點系統 下,理論上花費的時間只需要 1 個小時就可以完 成。現今多數的破密系統是以單主機的形式進行破 密運算,即便密碼擁有高複雜度多數都能被破解, 但可能需要花費數十小時或是數天的破解時間,例 如:暴力破解法、字典破解法、彩虹表破解法。暴 力破解法缺點為需要花費大量時間進行運算、字典 破解法缺點為需要非常大量的儲存空間,為了解決 前兩者的缺點衍生出彩虹表破解法,透過預先計算 好的雜湊表進行破解,雖然解決字典破解法空間的 問題及暴力破解法運算時間的問題,但彩虹表依然 需要好幾 TB 的空間進行儲存。因此,本論文提出 一個基於 Hadoop 為基礎的雲端分散式破密系統, 讓使用者透過網頁介面輸入 Hash 值,系統將預先 計算的 Hash 字典檔匯入至 HDFS 後,Hadoop 透過 Mapreduce 分散式運算進行查表運算,加速整體查 表運算的效率,最後將運算結果呈現給使用者,並 針對 HDFS block size 進行調整,分析 block size 對 於分散式運算的影響。
提 供TANET台灣網際網路研討會-TANET2015
進入演講