我很高興地宣佈 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 可用。在這篇博文中,我想快速強調 M2 中的主要新功能。
HBase DAO 支援
Spring Framework 中最通用和最強大的功能之一是資料訪問物件(或 DAO)支援。透過 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。流行的模板和回撥模式的使用者會感到賓至如歸,因為該框架處理表查詢、資源清理和異常轉換,讓開發人員專注於真正重要的事情。有關更多資訊,請參閱 API 和參考文件。順便說一下,我們還在發行版中包含了一個新示例,
hbase-crud,以幫助您立即開始。
級聯 Taps
在 M2 中,我們透過
Cascading 庫,擴充套件了與
Tap 的整合。Spring Integration 介面卡的豐富性(無論是入站還是出站),例如檔案、TCP、Twitter、FTP、RSS(僅舉幾例),現在可用於 Cascading(及其擴充套件,例如
Cascalog 或
Scalding)。我們才剛剛開始——預計在這方面會有更多訊息。
Hadoop 安全
透過 M2,從普通的 Hadoop 安裝(例如開發機器)遷移到完全 Kerberos 安全的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 元件都具有安全意識,在適當的憑證下執行並支援使用者模擬。有關更多資訊,請參閱專用
章節。
增強的普通 Map/Reduce 支援
從一開始,Spring for Apache Hadoop 就為 Map/Reduce 作業提供了廣泛的支援——無論是普通或傳統的 Java Map/Reduce、
流式處理還是
工具。在 M2 中,我們全面添加了對 Hadoop
通用選項的
支援,透過單獨命名資源或透過模式匹配來使作業配置成為一行程式碼。此外,我們增強了基於 jar 的作業的引導——作業可以完全從 jar 中隔離載入,而無需將類放在類路徑上。這些類(及其依賴項)不會“洩漏”到應用程式中,這避免了各種版本衝突和依賴項“蔓延”。工具宣告已得到改進,可以自動讀取 Jar 元資料及其
Main-Class,為 Hadoop shell
jar呼叫提供了強大、完全託管的
替代方案。
兩個新示例
最後但同樣重要的是,發行版中添加了兩個新示例
hbase-crud,我之前提到過,它們展示了宣告式和程式設計式 HBase 支援以及
pig-scripting,演示了 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多的示例正在開發中,如果您想看到任何特定的內容,請
告訴我們。
我希望您喜歡這個新的里程碑。趕快下載 1.0.0 M2,試用一下,讓我們知道您的想法!
其他新聞:Serengeti 專案
就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並不是 Hadoop 方面的唯一新聞。今天,VMware 推出了 Serengeti 專案,用於虛擬化和高可用性的 Hadoop。請參閱 Richard McDougall 的博文,瞭解其背後的動機、當前狀態……