Spring XD:統一平臺內的資料驅動連線

釋出 | Sabby Anandan | 2015 年 2 月 12 日 | ...

無論您是在家、辦公室還是在旅途中,連線都是常態。 這是我們都逐漸期望並依賴的日常生活的一部分。 人與資訊之間的連線都與資料的移動和分析有關:資料提供洞察力,而這些洞察力必須越來越多地為使用者提供即時結果。 這種始終線上、始終可用的連線級別帶來了許多挑戰。 資料型別、格式和數量是動態的,產生資料的代理也是如此。

Spring XD 在一個統一的平臺中解決了這些眾多挑戰。 無論是透過連續的資料流還是基於計劃的資料移動,Spring XD 都提供端到端的資料管道功能,以您需要的方式和地點消費、處理、分析和暫存資料。

隨著 1.1 GA 版本的釋出,Spring XD 透過新增對專案 ReactorRxJavaSpark Streaming 的支援,來適應功能性流處理。 除了當前的 Spring Batch 和基於 Hadoop 的作業(MR/Hive/Pig)之外,我們還添加了對 SqoopSpark 批處理作業的支援。 認識到 Python 在大資料應用程式中的重要性,我們還添加了 Python 處理器和接收器模組,以與 Spring XD 流整合。 這使使用者能夠為用例選擇合適的工具,從而能夠利用本機 API 來構建複雜的資料處理管道。

與其他流處理框架不同,Spring XD 的 DSL(領域特定語言)消除了編碼要求。 忘記設定專案、IDE、構建指令碼或捆綁,而是使用 高階配置 DSL。 Spring XD 團隊繼續專注於開發人員的生產力,這為平臺帶來了許多對開發人員友好的附加元件和 示例。 可以透過 DSL 編排流,該流是管道中處理單元的鏈。 內建的 Admin UI 可用於遠端監視和管理流、批處理作業和叢集。

Spring XD 1.1 GA 提供了數千種資料管道組合,這些管道可以直接使用,無需編碼。 與其他流處理框架不同,此功能由企業信任的 Spring Integration 專案提供支援,該專案被認為是新興標準和市場份額領導者

Spring XD 的核心是為易於擴充套件支援而構建的。 1.1 GA 版本為開發和貢獻自定義模組增加了一種全新的方法。 藉助 Spring Boot 的模組打包外掛,您現在可以選擇 Maven 或 Gradle 來捆綁您的自定義模組。 透過包含自定義模組所需的依賴項,您可以透過 REST-API 部署打包的 uber-jar。 這不需要您關閉執行時,也不必擔心當前正在執行的管道。 REST-API 簡化了貢獻,因為安裝的自定義模組可以立即使用。

由於其可插拔架構,Spring XD 繼續與框架整合,以簡化大資料應用程式開發。 在最新版本中,您可以從 Kafka 主題(source-adapter)消費或寫入 Kafka 主題(sink-adapter),也可以插入 Kafka 作為訊息匯流排。 這允許 Spring XD 處理編排,使您能夠專注於業務邏輯。

透過我們對新的 Kafka Client API 的全新看法,使用者現在可以選擇新的選項,例如在流級別進行分割槽、控制偏移量、批處理和可靠的資料重新處理。

1.1 GA 版本還與頂級 Apache 專案 Spark 整合。 透過使用開箱即用的 Spark 作為 批處理作業,或將 Spark Streaming 作為 處理器模組,您可以使用本機 Spark API 建立資料管道。 對於已經使用 Spark 的人來說,這是一種熟悉的開發體驗。 同時,任何不熟悉 Spark 的人都可以立即利用數十個輸入和輸出介面卡,使用模組化和分散式容錯執行時,並完全專注於業務需求。 為了解決單點故障,Spring XD 透過重新啟動 Spark Streaming 驅動程式以從故障場景中恢復來提供附加價值。

隨著 Spring XD 1.1 GA 的釋出,沒有理由開發大資料應用程式必須耗時且複雜。 我們使用 Spring XD 的目標是消除應用程式開發與大資料之間的障礙,並縮短從資料攝取到洞察的週轉時間,從而實現真正的資料驅動應用程式。 在未來的版本中,我們將繼續提高開發人員的生產力,同時保留 Spring XD 的核心作為開放和可擴充套件的執行時。

獲取 Spring 新聞簡報

隨時關注 Spring 新聞簡報

訂閱

領先一步

VMware 提供培訓和認證,以加速您的進步。

瞭解更多

獲得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位制檔案。

瞭解更多

即將舉行的活動

檢視 Spring 社群中所有即將舉行的活動。

檢視全部