Spring for Apache Hadoop 1.0.0 M2 亮點

工程 | Costin Leau | 2012年6月13日 | ...

我很高興地宣佈 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 可用。在這篇博文中,我想快速強調 M2 中的主要新功能。

HBase DAO 支援

Spring Framework 中最通用和最強大的功能之一是資料訪問物件(或 DAO)支援。透過 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。流行的模板和回撥模式的使用者會感到賓至如歸,因為該框架處理表查詢、資源清理和異常轉換,讓開發人員專注於真正重要的事情。有關更多資訊,請參閱 API 和參考文件。順便說一下,我們還在發行版中包含了一個新示例,hbase-crud,以幫助您立即開始。

級聯 Taps

在 M2 中,我們透過Cascading 庫,擴充套件了與 Tap 的整合。Spring Integration 介面卡的豐富性(無論是入站還是出站),例如檔案、TCP、Twitter、FTP、RSS(僅舉幾例),現在可用於 Cascading(及其擴充套件,例如 CascalogScalding)。我們才剛剛開始——預計在這方面會有更多訊息。

Hadoop 安全

透過 M2,從普通的 Hadoop 安裝(例如開發機器)遷移到完全 Kerberos 安全的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 元件都具有安全意識,在適當的憑證下執行並支援使用者模擬。有關更多資訊,請參閱專用章節

增強的普通 Map/Reduce 支援

自誕生以來,Spring for Apache Hadoop 為 Map/Reduce 作業提供了廣泛的支援——無論是原始的還是傳統的 Java Map/Reduce、streaming 還是 工具。在 M2 中,我們增加了對 Hadoop 通用選項的全面支援,使得作業配置,無論是透過單獨命名資源還是透過模式匹配,都可以在一行程式碼中完成。此外,我們增強了基於 jar 的作業的引導——不再要求類位於 classpath 上,作業可以從 jar 中完全隔離地載入。這些類(及其依賴項)不會“洩漏”到應用程式中,從而避免了各種版本衝突和依賴項“蔓延”。工具宣告也得到了改進,可以自動讀取 Jar 元資料及其 Main-Class,為 Hadoop shell 提供了強大、完全託管的 替代方案jar呼叫提供了強大、完全託管的替代方案

兩個新示例

最後但同樣重要的是,發行版中添加了兩個新示例hbase-crud,我之前提到過,它們展示了宣告式和程式設計式 HBase 支援以及pig-scripting,演示了 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多的示例正在開發中,如果您想看到任何特定的內容,請告訴我們

我希望您喜歡這個新的里程碑。趕快下載 1.0.0 M2,試用一下,讓我們知道您的想法!

其他新聞:Serengeti 專案

就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並非 Hadoop 領域唯一的新聞。今天,VMware 揭開了 Serengeti 專案的面紗,該專案旨在實現虛擬化和高可用的 Hadoop。請參閱 Richard McDougall 的部落格文章,瞭解其背後的動機、當前狀態和路線圖。

獲取 Spring 新聞通訊

透過 Spring 新聞通訊保持聯絡

訂閱

領先一步

VMware 提供培訓和認證,助您加速進步。

瞭解更多

獲得支援

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位制檔案,只需一份簡單的訂閱。

瞭解更多

即將舉行的活動

檢視 Spring 社群所有即將舉行的活動。

檢視所有