領先一步
VMware 提供培訓和認證,以加速您的進步。
瞭解更多在 SpringOne2GX 2015 上錄製。演講者:Joseph Paulchell,CapitalOne 大資料 Track 幻燈片:http://www.slideshare.net/SpringCentral/supercharging-operations-analysis-using-spring-xd-to-support-analytics-and-cep 運營、分析和業務團隊正在請求越來越多的資料交付到大資料分析平臺和工具。這種需求是由希望更好地瞭解使用者體驗、服務質量、系統的即時效能以及改善服務、銷售產品和取悅使用者所存在的未發現的模式和機會所驅動的。Capital One Technology 使用 Spring Extreme Data (XD) 和自定義 Java 庫解決了消費者面臨的應用程式對資料的不斷增長的需求,以便將資料從應用程式即時流式傳輸到 Hadoop HDFS、Mongo、Kafka、Splunk 等。在本次演講中,我們將討論我們從使用資料庫的面向批處理的流程到即時資料流解決方案的轉變,以及所取得的重大好處。我們將介紹採用流解決方案的影響,為什麼我們選擇 Spring XD,以及我們正在實施的將資料匯入 HDFS 的目標架構。我們將介紹我們如何自動化環境配置,客戶端庫(Java、Spring)的設計,我們的 XD 環境,以及我們如何利用所有這些資料。我們將描述我們在這次旅程中克服的挑戰,包括連線到我們的 HDFS 叢集、使用多個 Mongo 儲存、使用 Kerberos 以及確保端到端敏感資料的保護和加密。最後,我們將討論一些我們正在評估 Spring XD 並看到潛在好處的用例,包括“滾動視窗”系統分析、數字訊息傳遞和事件驅動的架構。