このトピックでは、E-MapReduce のバージョン番号形式、バージョン更新レコード、およびバージョンリリースノートについて説明します。

バージョン番号形式

E-MapReduce のバージョン番号は、 a.b.c 形式です。 詳細は以下のとおりです。

  • 文字 a は、新しいバージョンで大幅な変更があったことを示します。
  • 文字 b は、新しいバージョンに小規模の変更が加えられたコンポーネントがあることを示します。
  • 文字 c は、新しいバージョンでいくつかのバグが修正されており、上位互換性があることを示しています。

次のセクションでは、バージョンアップグレードにおけるバージョン番号の変更について説明します。

  • バージョン 1.0.0 から 2.0.0 へのアップグレード：文字 a の値が変更されおり、新しいバージョンで大規模な変更が加えられたことを示します。 アップグレード後に、すべての既存のジョブが正常に実行できるかどうかテストする必要があります。
  • バージョン 1.0.0 から 1.1.0 へのアップグレード：文字 b の値が変更されており、新しいバージョンに小規模の変更が加えられたコンポーネントがあることを示します。 ほとんどの機能はアップグレード後も変更されません。 ただし、アップグレード確認をするテストの実施を推奨します。
  • バージョン 1.0.0 から 1.0.1 へのアップグレード：文字 c の値が変更されており、新しいバージョンが以前のバージョンと完全に互換性があることを示します。

E-MapReduce の各リリースのバンドルソフトウェア、クラスターの作成、クラスターのアップグレードについて、以下に説明します。

  • バンドルされているソフトウェア: ソフトウェアとソフトウェアバージョンは、E-MapReduce の各リリースで修正されています。 現在、E-MapReduce はソフトウェアの異なるバージョンの選択をサポートしていません。 ソフトウェアバージョンを変更しないことを推奨します。
  • クラスターの作成: E-MapReduce のバージョンを選択し、それを使用してクラスターを作成した後、クラスターのバージョンは自動的にアップグレードされません。 このバージョンで使用されるイメージへの後続のアップグレードは、作成済みのクラスターには影響しません。 ただし、新しいクラスターの作成には最新のイメージが使用されます。
  • クラスターのアップグレード: クラスターのバージョンを (例えば、バージョン 1.0.x から 1.1.x へ) アップグレードする場合、クラスター内の既存のジョブが新しいソフトウェア環境で正常に実行できることをテストする必要があります。

バージョン更新記録

  • EMR-3.19.0 から EMR-3.22.0
    バージョン EMR-3.19.0 EMR-3.19.1 EMR-3.20.0 EMR-3.21.0 EMR-3.22.0
    リリース日 2019 年 3 月 2019 年 4 月 2019 年 5 月 2019 年 6 月 2019 年 7 月
    Hadoop 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    Knox 1.1.0 1.1.0 1.1.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.4.1 2.4.1 2.4.2 2.4.3 2.4.3
    Hive 3.1.1 3.1.1 3.1.1 3.1.1 3.1.1
    Tez 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7 1.4.7 1.4.7 1.4.7
    YARN 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    HDFS 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    Flink 1.7.2 1.7.2 1.7.2 1.7.2 1.7.2
    Druid 0.13.0 0.13.0 0.13.0 0.14.2 0.14.2
    HBase 1.4.9 1.4.9 1.4.9 1.4.9 1.4.9
    Phoenix 4.14.1 4.14.1 4.14.1 4.14.1 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13 3.5.5
    Livy 0.60 0.60 0.60 0.60 0.60
    Presto 0.213 0.213 0.213 0.213 0.221
    Storm 1.2.2 1.2.2 1.2.2 1.2.2 1.2.2
    Impala 2.12.2 2.12.2 2.12.2 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.4.0 4.4.0
    Oozie 4.2.0 4.2.0 5.1.0 5.1.0 5.1.0
    Zeppelin 0.8.0 0.8.0 0.8.1 0.8.1 0.8.1
    Ranger 1.2.0 1.2.0 1.2.0 1.2.0 1.2.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0 1.8.0
    Kafka 2.11-1.1.1 1.1.1 2.11 1.1.1 1.1.1
    Superset 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
    Jupyter - - 4.4.0 4.4.0 4.4.0
    Analytics Zoo - - 0.2.0 0.5.0 0.5.0
    Bigboot - - 1.0.0 1.0.0 2.0.0
    OpenLDAP - - - - 2.4.44
    Kudu - - - - 1.10.0
  • EMR-3.15.0 から EMR-3.18.1
    バージョン EMR-3.15.0 EMR-3.16.0 EMR-3.17.0 EMR-3.18.1
    リリース日 2018 年 11 月 2018 年 12 月 2019 年 1 月 2019 年 2 月
    Hadoop 2.7.2 2.7.2-1.3.2 2.7.2 2.8.5
    Knox 0.13.0 0.13.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.3.2 2.3.2-1.0.1 2.3.2 2.3.2
    Hive 2.3.3 2.3.3-1.0.3 2.3.3 3.1.1
    Tez 0.9.1 0.9.1-1.0.2 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7-1.0.0 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.8.5
    HDFS 2.7.2 2.7.2 2.7.2 2.8.5
    Flink 1.4.0 1.6.2-1.0.0 1.6.2 1.6.2
    Druid 0.12.3 0.12.3-1.0.1 0.12.3 0.13.0
    HBase 1.1.1 1.1.1-1.0.2 1.1.1 1.4.9
    Phoenix 4.10.0 4.10.0-1.0.0 4.10.0 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13
    Livy 0.50. 0.50. 0.50. 0.60.
    Presto 0.208 0.208 0.213 0.213
    Storm 1.1.2 1.2.2 1.2.2 1.2.2
    Impala 2.10.0 2.10.0-1.0.0 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.8.0 0.8.0 0.8.0 0.8.0
    Ranger 1.0.0 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow 1.8.0 1.8.0 1.8.0 -
    Kafka 2.11-1.0.1 2.11-1.1.0 2.11-1.1.1 2.11-1.1.1
    Superset 0.27.0 0.28.1 0.28.1 0.28.1
    Jupyter 4.4.0 4.4.0 4.4.0 -
    Analytics Zoo 0.2.0 0.2.0 0.2.0 -
  • EMR3.11.0からEMR-3.14.0
    バージョン EMR-3.11.0 EMR-3.12.0 EMR-3.13.0 EMR-3.14.0
    リリース日 2018 年 6 月 2018 年 7 月 2018 年 8 月 2018 年 10 月
    Hadoop 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2 2.7.2
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.3.1 2.3.1 2.3.1
    Hive 2.3.3 2.3.3 2.3.3 2.3.3
    Tez 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.7 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink 1.4.0 1.4.0 1.4.0 1.4.0
    Druid 0.11.0 0.12.0 0.12.2 0.12.3
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.12 3.4.12 3.4.13
    Livy - - - -
    Presto 0.188 0.188 0.208 0.208
    Storm 1.1.2 1.1.2 1.1.2 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.3 0.7.3 0.8.0 0.8.0
    Ranger 0.7.3 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0
    Kafka - - 2.11-1.0.1 2.11-1.0.1
    Superset - - 0.25.6 0.25.6
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-3.7.1 から EMR-3.10.1
    バージョン EMR-3.7.1 EMR-3.8.1 EMR-3.9.1 EMR-3.10.1
    リリース日 2018 年 1 月 2018 年 1 月 2018 年 2 月 2018 年 4 月
    Hadoop 2.7.2-emr-1.2.10 2.7.2-emr-1.2.12 2.7.2-emr-1.2.13 2.7.2-emr-1.2.14
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.2.1 2.2.1 2.2.1
    Hive 2.3.2 2.3.2 2.3.2 2.3.2
    Tez 0.8.4 0.8.4 0.8.4 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6 1.4.6
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink - 1.4.0 1.4.0 1.4.0
    Druid - - 0.11.0 0.11.0
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.11 3.4.11 3.4.11
    Livy - - - -
    Presto 0.188 0.188 0.188 0.188
    Storm 1.0.1 1.0.1 1.0.1 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 3.12.0 3.12.0 3.12.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.1 0.7.1 0.7.1 0.7.1
    Ranger - - 0.7.1 0.7.1
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - - -
    Kafka - - - -
    Superset - - - -
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-2.9.2 から EMR-2.11.0
    バージョン EMR-2.9.2 EMR-2.10.0 EMR-2.11.0
    リリース日 2018 年 2 月 2018 年 4 月 2018 年 7 月
    Hadoop 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12
    Spark 1.6.3 1.6.3 1.6.3
    Hive 2.3.2 2.3.2 2.3.3
    Tez 0.8.4 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6
    Hue 3.12.0 4.1.0 4.1.0
    Zeppelin 0.7.1 0.7.1 0.7.3
    HBase 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0
    Storm 1.0.1 1.1.2 1.1.2
    Presto 0.188 0.188 0.188.0
    Impala 2.10.0 2.10.0 2.10.0
    Zookeeper 3.4.6 3.4.11 3.4.11
    Oozie 4.2.0 4.2.0 4.2.0
    Ranger 0.7.1 0.7.1 0.7.3
    Ganglia 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4
  • EMR-1.0.0 から EMR-1.3.0
    バージョン EMR-1.0.0 EMR-1.1.0 EMR-1.2.0 EMR-1.3.0
    リリース日 2015 年 11 月 2016 年 3 月 2016 年 4 月 2016 年 5 月
    Hadoop 2.6.0 2.6.0 2.6.0 2.6.0-emr-1.1.1
    Spark 1.4.1 1.6.0 1.6.1 1.6.1
    Hive 1.0.1 1.0.1 2.0.0 2.0.0
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop - - - 1.4.6
    Hue - - - 3.9.0
    Zeppelin - - - 0.5.6
    HBase - - 1.1.1 1.1.1
    Phoenix - - - -
    Zookeeper - - 3.4.6 3.4.6
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
注

Hadoop バージョンについて

Alibaba Cloud Object Storage Service (OSS) との完全な互換性を確立するために、既存の API に変更を加えることなく、オープンソースの Hadoop バージョンに基づいて emr-core コンポーネントを追加しています。 emr-core コンポーネントのバージョン番号は、Hadoop バージョンの末尾に追加されます。

リリースノート

E-MapReduce の各リリースのより詳細な説明は、以下をご参照ください。