Spring XD 簡介

工程 | Mark Fisher | 2013 年 4 月 23 日 | ...

今天,我們正式啟動一項名為 Spring XD 的新計劃,其主題是“應對大資料複雜性”1

在過去的幾年裡,Spring Data 團隊一直非常忙碌,不僅為 NoSQL 資料儲存提供支援,而且還簡化了 Hadoop 的開發體驗。隨著 Spring for Apache Hadoop 專案的建立,透過提供豐富的配置模型和 Hadoop 生態系統專案(如 Hive 和 Pig)的一致程式設計模型,我們使 Hadoop 應用程式的開發更容易上手。正如 Spring 使用者所期望的那樣,可以

  1. 將 MapReduce 作業配置並作為容器管理物件執行。
  2. 使用 HDFS、HBase、Pig 和 Hive 的模板輔助類,從應用程式中刪除樣板程式碼。

Spring for Apache Hadoop 為構建 Hadoop 應用程式提供了堅實的基礎。 Spring XD 以這些基礎資產為基礎,進一步簡化了建立真實世界的大資料解決方案的過程。 具體而言,Spring XD 解決了常見的大資料用例,例如

  1. 從各種輸入源向 HDFS 進行高吞吐量分散式資料攝取。
  2. 攝取時的即時分析,例如收集指標和計算值。
  3. 透過批處理作業進行 Hadoop 工作流程管理,該作業將與標準企業系統(例如 RDBMS)的互動以及 Hadoop 操作(例如 MapReduce、HDFS、Pig、Hive 或 Cascading)相結合。
  4. 高吞吐量資料匯出,例如從 HDFS 到 RDBMS 或 NoSQL 資料庫。

Spring Data 這本書涵蓋了其中的幾個用例,該書的示例程式碼可在我們的 GitHub 儲存庫中找到。 除了 Spring for Apache Hadoop 專案之外,這些示例還基於 Spring Batch 和 Spring Integration 構建。

在管理事件驅動的資料攝取流時,Spring Integration 提供了一種經過驗證的模型,該模型受到完善的 企業整合模式的啟發。 同樣,Spring Batch 是一種功能強大的工作流程管理解決方案,對最重要需求(例如作業狀態管理和重試/重新啟動功能)提供強大的支援,並且是 JSR-352 的基礎。

擴充套件框架以支援大資料用例始於本書中的示例,但是透過 Spring XD,我們的目標是將這種支援提升到另一個層次。 首先,我們將提供一種一致的模型,該模型涵蓋上面列出的四個用例類別。 對於那些具有 Spring 經驗的人來說,該模型將立即熟悉。 其次,隨著 Spring XD 的發展,我們將超越 API 層,提供開箱即用的可執行伺服器、可插拔的模組系統、用於在 Hadoop 叢集內外分發資料收集例項的簡單模型等等。

如果您對此感興趣,請參與其中!您可以 Fork 儲存庫和/或監視 JIRA。它實際上是一個全新的開始,但是我們希望確保我們的社群成員有機會從一開始就參與進來。 與往常一樣,我們將來自廣泛而充滿熱情的社群的反饋視為我們最大的資產。 在過去的一年中,我們一直在進行大量的原型設計,因此您很快會看到一些程式碼釋出。 此外,我們計劃在每個 sprint 之後釋出部落格,以便您可以關注進度。 而且,如果您尚未註冊 SpringOne,請務必註冊; Spring XD 將成為其中的重點。

最後,請務必註冊參加我們明天(4 月 24 日)的直播活動:Pivotal:新時代的全新平臺

1XD = eXtreme Data 或 'x',如 y = mx + b ;-)

獲取 Spring 新聞通訊

隨時關注 Spring 新聞通訊

訂閱

搶先一步

VMware 提供培訓和認證,以加速您的進步。

瞭解更多

獲取支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位制檔案。

瞭解更多

即將舉行的活動

檢視 Spring 社群中所有即將舉行的活動。

檢視全部