ADJ網路實驗室
打印

[新聞] Apache釋出雲端軟體Hadoop 1.0

Apache釋出雲端軟體Hadoop 1.0

歷經七年開發,Apache軟體基金會釋出雲端軟體Hadoop 1.0。相對於0.2x版,此版增添三種功能,讓企業可以對敏感的資料安全更加放心。

新的功能包含點對點加密,整個Hadoop網 路內部通訊都能以Kerberos網路驗證協定加密。其次是WebHDFS(representational state transfer application programming interface)的REST API可以與Web技術互動,讓許多網管與程式設計師容易理解Hadoop技術,產生更多應用。第三個新功能則是使用HBase,因此系統管理人員可以用 類似關連性資料庫的方式管理資料。

源自Google在2004年提出的MapReduce運算方法,由Doug Cutting與Mike Cafarella於2005年以java開始開發。原本是用來開發搜尋引擎的技術,因為Hadoop具有強大的分散運算能力,遂成為軟體大廠競相採用的雲端技術。

Hadoop不需要傳統的關聯式資料庫就可以記錄、分析及巨量的資料。Doug Cutting後來被雅虎聘用,使用Hadoop技術分析其搜尋資料庫,總共使用超過四萬台伺服器,為目前最大的Hadoop系統。摩根大通則用其來偵測 金融詐欺及風險管理,eBay用該技術為其拍賣網站建立搜尋引擎,其他如Google雲端運算學術計畫、IBM的Blue Cloud計畫、趨勢科技的網路防護技術等都有採用。也因為其用途廣泛,被喻為「21世紀的瑞士刀」。

除Apache基金會主持的開放源碼版本之外,Startups Cloudera、Yahoo-spinoff Hortonworks、MapR等公司也有商業版本。IBM則將該技術整合至InfoSphere BigInsights資料分析套件,微軟也有一個可以在Windows Azure雲端伺服器執行的版本。(編譯/沈經) 





TOP

ARTERY.cn