錄製於 SpringOne2GX 2015。講者：Joseph Paulchell, CapitalOne 大資料軌跡 幻燈片：http://www.slideshare.net/SpringCentral/supercharging-operations-analysis-using-spring-xd-to-support-analytics-and-cep 運營、分析和業務團隊正要求越來越多的資料被輸送到大資料分析平臺和工具中。這種需求源於更好地理解使用者體驗、服務質量、系統即時效能以及那些隱藏的、可以改善服務、銷售產品和取悅使用者的模式與機會的願望。Capital One Technology 使用 Spring Extreme Data (XD) 和定製的 Java 庫，將資料從應用程式即時流式傳輸到 Hadoop HDFS、Mongo、Kafka、Splunk 等平臺，解決了來自面向消費者的應用程式日益增長的資料需求。本次演講將討論我們從面向批處理的資料庫流程轉向即時資料流解決方案的歷程以及取得的顯著成效。我們將涵蓋採用流式解決方案的意義、我們選擇 Spring XD 的原因以及我們正在實施的目標架構，以將資料落地到 HDFS。我們將介紹我們如何實現環境配置的自動化、我們客戶端庫（Java、Spring）的設計、我們的 XD 環境以及我們如何利用所有這些資料。我們將描述在此過程中克服的挑戰，包括連線到我們的 HDFS 叢集、處理多個 Mongo 儲存、使用 Kerberos 以及確保敏感資料的端到端保護和加密。最後，我們將討論我們正在評估 Spring XD 的一些用例，並看到潛在的益處，包括“滾動視窗”系統分析、數字訊息傳遞和事件驅動架構。