Spring for Apache Hadoop 2.1 釋出

釋出 | Thomas Risberg | 2015年2月09日 | ...

大約六個月前,我們開始了 Spring for Apache Hadoop 2.1 版本的開發工作。 現在我們很高興地宣佈 2.1.0 版本的正式釋出。

從 Spring for Apache Hadoop 2.1 版本開始,我們現在僅支援 Hadoop 2.0 API,不再提供與舊版 Hadoop v1 發行版的向後相容性。 如果您需要支援舊版本的 Hadoop,請使用 Spring for Apache Hadoop 的 2.0.4 或 1.1.0 版本。

2.1 版本的主要新功能包括:

配置和啟動支援:

  • 新的 @Configuration 更改以及對啟動自動配置功能的改進。 在 boot-fsshell DemoApplication 示例應用程式中可以看到此支援的一個很好的例子。
@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

	@Autowired
	private FsShell shell;

	@Override
	public void run(String... args) {
		for (FileStatus s : shell.lsr("/tmp")) {
			System.out.println("> " + s.getPath());
		}
	}

	public static void main(String[] args) {
		SpringApplication.run(DemoApplication.class, args);
	}
}

有關完整的示例,請訪問 https://github.com/spring-projects/spring-hadoop-samples/blob/master/boot/boot-fsshell

儲存:

  • 在 HDFS 儲存寫入器中添加了對追加模式的支援。
  • Kite SDK 資料集支援已更新到 0.17.0。 這意味著 API 有一些變化。 除了 basePath 之外,現在還必須使用名稱空間。 DatasetTemplate 現在還使用 ViewCallbacks 代替分割槽表示式來查詢資料。

YARN:

  • Spring YARN 中對容器分組和叢集的支援,它為在單個 YARN 應用程式中執行多種容器型別帶來了功能。
  • 一個新的 REST API 用於提交的應用程式,以及一個改進的應用程式模型,帶有新的客戶端命令和命令列 shell。
  • 要檢視這些功能的示例,請檢視 yarn-store-groups 示例應用程式或 Spring XD 的 在 YARN 上執行的實現。

我們將繼續更新對最新 Hadoop 版本的支援。 現在我們為以下發行版提供“風格化”版本

  • Apache Hadoop 2.4.1 (2.1.0.RELEASE-hadoop24)
  • Apache Hadoop 2.5.2 (2.1.0.RELEASE-hadoop25)
  • Apache Hadoop 2.6.0 (2.1.0.RELEASE)
  • Pivotal HD 2.1 (2.1.0.RELEASE-phd21)
  • Cloudera CDH5 5.3.0 (2.1.0.RELEASE-cdh5)
  • Hortonworks HDP 2.2 (2.1.0.RELEASE-hdp22)

預設發行版本現在是 Apache Hadoop 2.6.0。

展望未來

隨著 Hadoop 生態系統快速發展,我們希望更頻繁的釋出能夠幫助我們跟上步伐。 對於下一個版本,我們計劃新增以下內容:

  • 更好的 Java 配置支援。
  • 為 Hiveserver2 新增更好的支援,包括批處理任務。
  • 對執行 Spark 應用程式的批處理任務的基本支援。
  • 在不同的模組中提供更好的啟動支援。
  • 改進的安全支援(即 YARN Boot CLI 互動等)。
  • 增強與 spring-cloud 元件(即 spring-cloud-cluster)的無縫整合。

請透過 JIRA 問題或 GitHub 問題提供反饋和功能請求(有關連結,請參閱專案頁面)。

專案頁面位於 - http://projects.spring.io/spring-hadoop/

獲取 Spring 新聞通訊

與 Spring 新聞通訊保持聯絡

訂閱

取得領先

VMware 提供培訓和認證,以加速您的進步。

瞭解更多

獲得支援

Tanzu Spring 在一個簡單的訂閱中提供對 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位制檔案。

瞭解更多

即將舉行的活動

檢視 Spring 社群中所有即將舉行的活動。

檢視全部