我很高興宣佈 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 已可用。在這篇部落格文章中,我想快速重點介紹 M2 中的主要新特性。
HBase DAO 支援
Spring Framework 中最通用和強大的功能之一是資料訪問物件(DAO)支援。藉助 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。熟悉流行的模板和回撥模式的使用者會感到得心應手,因為該框架處理表查詢、資源清理和異常轉換,讓開發人員可以專注於真正重要的事情。有關更多資訊,請參閱 API 和參考文件。順便說一句,我們還在分發包中包含了一個新的示例,
hbase-crud,幫助您立即上手。
Cascading Taps
在 M2 中,我們透過
Tap 來擴充套件與
Cascading 庫的整合,用於 Spring Framework 和 Spring Integration 資源。Spring Integration 介面卡(無論是入站還是出站)的豐富性,如 File、TCP、Twitter、FTP、RSS(僅舉幾例),現在可供 Cascading(及其擴充套件,如
Cascalog 或
Scalding)使用。我們才剛剛開始 - 敬請期待這方面的更多新聞。
Hadoop 安全
使用 M2,從一個普通的 Hadoop 安裝(例如開發機器)遷移到完全由 Kerberos 保護的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 元件都具備安全意識,在適當的憑據下執行並支援使用者模擬。有關更多資訊,請參閱
專用章節。
增強的普通 Map/Reduce 支援
從一開始,Spring for Apache Hadoop 就為 Map/Reduce 作業提供了廣泛的支援 - 無論是普通的還是傳統的 Java Map/Reduce、
streaming 或
tooling。在 M2 中,我們全面增加了對 Hadoop
通用選項的
支援,使得透過單獨命名資源或透過模式匹配進行作業配置變得一行程式碼即可實現。此外,我們增強了基於 jar 的作業的引導 - 無需將類放在 classpath 中,作業可以完全從 jar 檔案中隔離載入。類(及其依賴項)不會
洩露到應用程式中,從而避免了各種版本衝突和依賴
蔓延。工具宣告得到了改進,可以自動讀取 Jar 元資料及其
Main-Class,為 Hadoop shell 的
替代方案提供了一個強大、完全託管的
jar呼叫。
兩個新示例
最後但同樣重要的是,分發包中添加了兩個新示例
hbase-crud,我在之前提到過,展示了宣告式和程式設計式 HBase 支援,以及
pig-scripting,演示 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多示例正在開發中,如果您特別想看到什麼,請
告訴我們。
希望您喜歡這個新的里程碑版本。來吧,下載 1.0.0 M2,試用一下,並告訴我們您的想法!
其他新聞:Project Serengeti
就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並非 Hadoop 領域的唯一新聞。今天,VMware 推出了 project Serengeti,用於虛擬化和高可用 Hadoop。請參閱 Richard McDougall 關於其背後動機、當前狀態的部落格文章…