全部產品
Search
文件中心

E-MapReduce:EMR HBase版本

更新時間:Jul 01, 2024

本文為您介紹HBase版本的相容性、選擇建議以及發布記錄。

EMR HBase版本

EMR HBase隨EMR版本一起發布,EMR主要版本分為3.x系列和5.x系列,其中EMR 3.x系列版本對應Hadoop 2.x版本和HBase 1.x版本,EMR 5.x系列版本對應Hadoop 3.x版本和HBase 2.x版本。

以下是EMR發行的EMR版本和對應的Hadoop、HBase、Phoenix版本,以及每個版本支援的新特性。

EMR 5.x系列

EMR版本

Hadoop版本

HBase版本

Phoenix版本

新特性

EMR 5.8.0

3.2.1

2.3.4

5.1.2

支援存算分離架構

EMR 5.9.0

3.2.1

2.4.9

5.1.2

  • 支援高安全模式

  • 支援CCSMap,寫效能相比社區提升30%+

EMR 5.10.0

3.2.1

2.4.9

5.1.2

  • 整合Ranger

  • 整合Knox

  • 支援HBase表冷資料分析

EMR-5.11.0

3.2.1

2.4.9

5.1.2

  • 支援JDK 11。

  • 支援ThriftServer2。

  • 參數hbase.block.data.cachecompressed的預設值改為true。

EMR-5.11.1

3.2.1

2.4.9

5.1.2

EMR-5.12.0

3.2.1

2.4.9

5.1.2

  • HBase HFile資料支援預設使用OSS-HDFS儲存。

  • HBase WAL日誌支援使用OSS-HDFS儲存。

EMR-5.12.2

3.2.1

2.4.9

5.1.2

EMR-5.13.1

3.2.1

2.4.9

5.1.2

EMR-5.14.2

3.2.1

2.4.9

5.1.2

EMR-5.15.1

3.2.1

2.4.9

5.1.2

在配置中增加配置項,您可以根據自己的需求選擇HBase Thrift Server的版本,包括v1和v2。

EMR 3.x系列

EMR版本

Hadoop版本

HBase版本

Phoenix版本

新特性

EMR 3.42.0

2.8.5

1.4.9

4.14.1

支援存算分離架構

EMR 3.43.0

2.8.5

1.7.1

4.16.1

支援高安全模式

EMR 3.43.1

2.8.5

1.7.1

4.16.1

EMR 3.44.0

2.8.5

1.7.1

4.16.1

  • 支援HBase表冷資料分析

  • 整合Knox

  • 支援HBase表冷資料分析

EMR 3.44.1

2.8.5

1.7.1

4.16.1

  • 支援Ranger。

  • 修複了添加服務時不能選擇OSS-HDFS作為儲存模式的問題。

EMR-3.45.0

2.8.5

1.7.1

4.16.1

  • 支援ThriftServer2。

  • 參數hbase.block.data.cachecompressed的預設值改為true。

EMR-3.45.1

2.8.5

1.7.1

4.16.1

EMR-3.46.0

2.8.5

1.7.1

4.16.1

  • HBase HFile資料支援預設使用OSS-HDFS儲存。

  • HBase WAL日誌支援使用OSS-HDFS儲存。

EMR-3.46.2

2.8.5

1.7.1

4.16.1

EMR-3.47.1

2.8.5

1.7.1

4.16.1

EMR-3.48.2

2.8.5

1.7.1

4.16.1

EMR-3.49.1

2.8.5

1.7.1

4.16.1

在配置中增加配置項,您可以根據自己的需求選擇HBase Thrift Server的版本,包括v1和v2。

HBase版本相容性

HBase從1.0版本開始遵循SemVer版本相容協議,以版本號碼的Major、Minor、Minor三部分來明確版本之間的相容性。以HBase 2.4.9版本為例,版本號碼的Major對應為2,Minor對應為4,Patch對應為9。

相容性

Major

Minor

Patch

Client-Server介面/協議相容性

N

Y

Y

Server-Server介面/協議相容性

N

Y

Y

檔案格式相容性

N

Y

Y

Client API 相容性

N

Y

Y

說明

表格中的N表示不相容,Y表示相容。

HBase版本相容性詳情請參見Apache HBase Reference Guide

  • 跨Major版本升級,HBase無法保證相容性。

  • 跨Minor版本升級,HBase可以保證相容性。

  • 跨Patch版本升級,HBase可以保證相容性。

EMR HBase版本選擇

  • 如果是自建HBase叢集遷移到EMR HBase,可以選擇接近的EMR HBase版本進行遷移。

  • 如果沒有自建叢集,可根據依賴的Hadoop版本,選擇EMR 3.x或EMR 5.x系列的HBase版本。