錄製於 SpringOne2GX 2014。

演講者：Vineet Goel, Girish Lingappa, Rodrigo Meneses

幻燈片：http://www.slideshare.net/SpringCentral/spring-one2gx-2014springxdhadoopworkloadanalysis

大資料軌跡

隨著 Hadoop 在企業大資料部署中日益普及，IT 組織對生產環境中 Hadoop 叢集的運維管理提出了更高的期望和要求。管理員需要的不僅僅是叢集健康監控；他們還需要進行即時工作負載分析以進行效能調優和故障排除。對使用者或應用程式級別的作業進行即時日誌分析，可以使管理員更好地管理和調優工作負載，尤其是在多租戶 Hadoop 叢集服務中。加入我們，瞭解 Pivotal 團隊如何利用 Spring XD 資料攝取和批處理框架、GemFire XD 及其他元件，在一個大型的 1000 節點（分析工作臺）叢集上解決這一有趣的挑戰。透過 Spring XD 將 YARN 服務和 MapReduce 應用程式日誌透過即時資料管道攝取到 HDFS 中，該團隊利用熟悉的基於 SQL 的查詢來分析精細的叢集利用率。

!{iframe width="560" height="315" src="//www.youtube.com/embed/cBcznXjL840" frameborder="0" allowfullscreen}{/iframe}