領先一步
VMware 提供培訓和認證,助您加速進步。
瞭解更多無論您在家中、辦公室還是通勤途中,連線性都是常態。它已成為我們日常生活中期望和依賴的一部分。人與資訊之間的連線性,歸根結底是資料的移動和分析:資料提供洞察力,而這些洞察力必須日益為使用者提供即時結果。這種始終線上、始終可用的連線水平帶來了諸多挑戰。資料的型別、格式和容量是動態變化的,資料生成代理也是如此。
Spring XD 在一個統一的平臺上解決了這些眾多挑戰。無論是透過持續資料流還是基於計劃的資料移動,Spring XD 都提供端到端的資料管道功能,用於在您需要的地方和方式來消費、處理、分析和暫存資料。
在 1.1 GA 版本中,Spring XD 透過新增對 Reactor、RxJava 和 Spark Streaming 專案的支援來適應函式式流處理。除了當前的 Spring Batch 和基於 Hadoop 的作業 (MR/Hive/Pig) 外,我們還增加了對 Sqoop 和 Spark 批處理作業的支援。鑑於 Python 在大資料應用中的重要性,我們還添加了 Python 處理器和接收器模組,以與 Spring XD 流整合。這使使用者能夠為用例選擇合適的工具,使他們能夠利用本機 API 來構建複雜的資料處理管道。
與其他流處理框架不同,Spring XD 的 DSL(領域特定語言)消除了編碼要求。忘記設定專案、IDE、構建指令碼或捆綁,而是使用 高階配置 DSL。Spring XD 團隊繼續專注於開發人員生產力,這為平臺帶來了眾多開發人員友好的附加元件和 示例。流是管道中處理單元的鏈,可以透過 DSL 進行編排。內建的 Admin UI 可用於遠端監控和管理流、批處理作業和叢集。
Spring XD 1.1 GA 提供了數千種開箱即用的資料管道組合,無需編碼。與其他流處理框架不同,此功能由企業信賴的 Spring Integration 專案支援,該專案被認為是新興標準和 市場份額領導者。
Spring XD 的核心是為輕鬆擴充套件支援而構建的。1.1 GA 版本為開發和貢獻自定義模組提供了一種新方法。由於 Spring Boot 的模組打包外掛,您現在可以選擇 Maven 或 Gradle 來捆綁您的自定義模組。透過包含自定義模組所需的依賴項,您可以透過 REST-API 部署打包的 uber-jar。這不需要您停止執行時,也不必擔心當前正在執行的管道。REST-API 簡化了貢獻,因為安裝的自定義模組立即可用並準備就緒。
由於其可插拔架構,Spring XD 繼續與各種框架整合,以簡化大資料應用程式開發。透過此最新版本,您可以從 Kafka 主題 (源介面卡) 消費或寫入 Kafka 主題 (接收器介面卡),還可以將 Kafka 作為訊息匯流排插入。這允許 Spring XD 處理編排,使您能夠專注於業務邏輯。
透過我們對新 Kafka Client API 的全新視角,使用者現在可以選擇新的選項,例如流級別的分割槽、控制偏移量、批處理和可靠的資料重新處理。
1.1 GA 版本還與 Spark 整合,Spark 是一個頂級 Apache 專案。透過將開箱即用的 Spark 用作 批處理作業,或將 Spark Streaming 用作 處理器模組,您可以使用本機 Spark API 建立資料管道。這對於已經使用 Spark 的人來說是一種熟悉的開發體驗。同時,任何 Spark 新手都可以立即利用數十種輸入和輸出介面卡,使用模組化和分散式容錯執行時,並完全專注於業務需求。為了解決單點故障,Spring XD 透過重新啟動 Spark Streaming 驅動程式來從故障場景中恢復,從而提供附加價值。
隨著 Spring XD 1.1 GA 的釋出,開發大資料應用程式不再需要耗時且複雜。我們使用 Spring XD 的目標是消除應用程式開發與大資料之間的障礙,並縮短從資料攝取到洞察的週轉時間,從而實現真正的資料驅動應用程式。在未來的版本中,我們將繼續提高開發人員的生產力,同時保持 Spring XD 作為開放和可擴充套件執行時的核心。