Spring for Apache Hadoop 1.0.0 M2 亮點
我很高興地宣佈 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 可用。在這篇博文中,我想快速強調 M2 中的主要新功能。
HBase DAO 支援
Spring Framework 中最通用和最強大的功能之一是資料訪問物件(或 DAO)支援。透過 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。流行的模板和回撥模式的使用者會感到賓至如歸,因為該框架處理表查詢、資源清理和異常轉換,讓開發人員專注於真正重要的事情。有關更多資訊,請參閱 API 和參考文件。順便說一下,我們還在發行版中包含了一個新示例,
hbase-crud,以幫助您立即開始。
級聯 Taps
在 M2 中,我們透過
Cascading 庫,擴充套件了與
Tap 的整合。Spring Integration 介面卡的豐富性(無論是入站還是出站),例如檔案、TCP、Twitter、FTP、RSS(僅舉幾例),現在可用於 Cascading(及其擴充套件,例如
Cascalog 或
Scalding)。我們才剛剛開始——預計在這方面會有更多訊息。
Hadoop 安全
透過 M2,從普通的 Hadoop 安裝(例如開發機器)遷移到完全 Kerberos 安全的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 元件都具有安全意識,在適當的憑證下執行並支援使用者模擬。有關更多資訊,請參閱專用
章節。
增強的普通 Map/Reduce 支援
自誕生以來,Spring for Apache Hadoop 為 Map/Reduce 作業提供了廣泛的支援——無論是原始的還是傳統的 Java Map/Reduce、
streaming 還是
工具。在 M2 中,我們增加了對 Hadoop
通用選項的全面支援,使得作業配置,無論是透過單獨命名資源還是透過模式匹配,都可以在一行程式碼中完成。此外,我們增強了基於 jar 的作業的引導——不再要求類位於 classpath 上,作業可以從 jar 中完全隔離地載入。這些類(及其依賴項)不會“洩漏”到應用程式中,從而避免了各種版本衝突和依賴項“蔓延”。工具宣告也得到了改進,可以自動讀取 Jar 元資料及其
Main-Class,為 Hadoop shell 提供了強大、完全託管的
替代方案jar呼叫提供了強大、完全託管的
替代方案。
兩個新示例
最後但同樣重要的是,發行版中添加了兩個新示例
hbase-crud,我之前提到過,它們展示了宣告式和程式設計式 HBase 支援以及
pig-scripting,演示了 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多的示例正在開發中,如果您想看到任何特定的內容,請
告訴我們。
我希望您喜歡這個新的里程碑。趕快下載 1.0.0 M2,試用一下,讓我們知道您的想法!
其他新聞:Serengeti 專案
就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並非 Hadoop 領域唯一的新聞。今天,VMware 揭開了 Serengeti 專案的面紗,該專案旨在實現虛擬化和高可用的 Hadoop。請參閱 Richard McDougall 的部落格文章,瞭解其背後的動機、當前狀態和路線圖。