我們很高興地宣佈 Spring for Apache Hadoop 2.0 RC4 版本現已釋出。

現在包含構建 YARN 應用程式的簡化支援

我們正在接近 Spring for Apache Hadoop 2.0 的 GA 釋出。基於在 Spring XD 專案中使用 Spring Boot 對 YARN 的支援的反饋，我們改進了用於開發 YARN 應用程式的程式設計模型。

挑戰

我們不斷挑戰 Janne，以使模型更簡單。最新的挑戰是使其能夠編寫單個 Java 原始檔和一個配置檔案，並將其保持在 50 行以下。我想我們已經很接近了

@ComponentScan
@EnableAutoConfiguration
public class Application {

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }

    @YarnComponent
    @Profile("container")
    public static class HelloPojo {

        private static final Log log = LogFactory.getLog(HelloPojo.class);

        @OnContainerStart
        public void onStart() throws Exception {
            log.info("Hello from YARN!");
        }
    }

}

spring:
    hadoop:
        fsUri: hdfs://:8020
        resourceManagerHost: localhost
    yarn:
        appName: yarn-demo
        applicationDir: /apps/yarn-demo/
        client:
            startup:
                action: submit
            localizer:
                patterns:
                  - "yarn-demo*jar"
            files:
              - "file:target/yarn-demo-0.1.0.jar"
            launchcontext:
                archiveFile: yarn-demo-0.1.0.jar
        appmaster:
            localizer:
                patterns:
                  - "yarn-demo*jar"
            containerCount: 1
            launchcontext:
                archiveFile: yarn-demo-0.1.0.jar
                arguments:
                    --spring.profiles.active: container

使用 spring-boot-maven-plugin，構建建立一個包含所有依賴項的單個 jar。然後將此 jar 上傳到 HDFS，並在將應用程式提交到 YARN 時進行本地化。 @Profile("container") 註解確保此 bean 僅用於實際的 YARN 容器，而不用於執行 YARN 客戶端或 YARN appmaster。

原始碼（包括 Maven 構建指令碼）以及執行應用程式的說明可在 我的 GitHub 儲存庫中找到。

###釋出

Spring for Apache Hadoop 2.0 版本的預設發行版是當前的 Apache Hadoop 2 穩定版，即 2.2.0。

我們將繼續在 Spring IO 里程碑儲存庫中提供帶有各自傳遞依賴項的版本特定構件

• 2.0.0.RC4 (預設 - Apache Hadoop 穩定版 2.2.0)
• 2.0.0.RC4-hadoop12 (Apache Hadoop 穩定版 1.2.1)
• 2.0.0.RC4-phd1 (Pivotal HD 1.1)
• 2.0.0.RC4-phd20 (Pivotal HD 2.0)
• 2.0.0.RC4-cdh4 (Cloudera CDH4 MR1)
• 2.0.0.RC4-cdh5 (Cloudera CDH5 YARN)
• 2.0.0.RC4-hdp13 (Hortonworks HDP 1.3)
• 2.0.0.RC4-hdp20 (Hortonworks HDP 2.0)
• 2.0.0.RC4-hdp21 (Hortonworks HDP 2.1)

有關如何使用這些版本進行構建的說明，請參見專案 wiki。

有關更多專案特定資訊，請參見專案頁面。