すべてのプロダクト
Search

このプロダクト

    E-MapReduce:EMR 5.x シリーズ リリースノート

    ドキュメントセンター

    E-MapReduce:EMR 5.x シリーズ リリースノート

    最終更新日:Jul 18, 2026

    EMR 5.x シリーズのリリースノートです。各バージョンのリリース日、コンポーネントの更新内容、バグ修正を含みます。各リリースでサポートされているコンポーネントについては、「リリースバージョン」をご参照ください。

    EMR-5.21.x

    リリース日

    バージョン

    日付

    EMR-5.21.0

    2025 年 10 月 27 日

    新機能

    サービス

    変更点

    Hive

    • ORC などのレイクストレージファイル形式を自動検出し、JindoSDK 最適化バッファおよびプリリードパラメーターを適用するプロファイルメカニズムを追加しました。

    • 中〜大規模な ORC ファイル処理時のスループットを向上させるため、ORC ストライププリフェッチメカニズムを導入しました。この機能により、現在のストライプ処理中に後続ストライプを非同期でプリフェッチすることで、計算と I/O をオーバーラップさせます。

    • ORC ベクトル化読み取りをサポートしました。ORC インデックスデータの読み取りや述語プッシュダウンの実行などを行うと、多数の散在した非隣接ファイル範囲が生成される場合があります。ベクトル化読み取りではこれらのリクエストをバッチ処理し、スループットを大幅に向上させます。

    • JindoSDK バッチメタデータ API を統合しました。getFileStatus などのリクエストをバッチ処理することで、メタデータリクエストのスループットを向上させます。

    Spark

    • ORC などのレイクストレージファイル形式を自動検出し、JindoSDK 最適化バッファおよびプリリードパラメーターを適用するプロファイルメカニズムを追加しました。

    • 中〜大規模な ORC ファイル処理時のスループットを向上させるため、ORC ストライププリフェッチメカニズムを導入しました。この機能により、現在のストライプ処理中に後続ストライプを非同期でプリフェッチすることで、計算と I/O をオーバーラップさせます。

    • 小規模ファイルの並列事前オープンをサポートしました。この機能は小規模ファイルクエリシナリオを自動検出し、複数のファイルを並列で事前オープンすることで、頻繁なファイルオープンによる I/O レイテンシを大幅に削減します。

    • ORC ベクトル化読み取りをサポートしました。ORC インデックスデータの読み取りや述語プッシュダウンの実行などを行うと、多数の散在した非隣接ファイル範囲が生成される場合があります。ベクトル化読み取りではこれらのリクエストをバッチ処理し、スループットを大幅に向上させます。

    Tez

    小規模ファイルの並列事前オープンをサポートしました。この機能は小規模ファイルクエリシナリオを自動検出し、複数のファイルを並列で事前オープンすることで、頻繁なファイルオープンによる I/O レイテンシを大幅に削減します。

    Ranger

    • Jindoauth Server が Object Storage Service (OSS) にアクセスするクライアント向けにカスタム RAM ロールをサポートするようになりました。

    • Ranger-yarn-plugin の不足している依存関係を修正しました。

    Paimon

    バージョン 1-ali-16.3 にアップグレードしました。

    JindoCache

    バージョン 6.10.1 にアップグレードしました。

    Delta Lake

    Delta Lake を新しいコンポーネントとして導入しました（バージョン 3.2.1）。

    リリース情報

    Data lake クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Delta Lake

    3.2.1

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.10.1

    Paimon

    1-ali-16.3

    OLAP クラスター

    サービス

    バージョン

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    ZooKeeper

    3.8.4

    Dataflow クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    Data serving クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger plugin

    1.0.0

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    カスタムクラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Delta Lake

    3.2.1

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.10.1

    Paimon

    1-ali-16.3

    Phoenix

    5.2.1

    EMR-5.20.x

    リリース日

    バージョン

    日付

    EMR-5.20.0

    2025 年 7 月 10 日

    新機能

    サービス

    変更点

    Hive

    パーティションテーブルへのカラム追加時のパフォーマンスを改善しました。

    YARN

    特定のアプリケーションがクラスターのパフォーマンスを低下させないように、グローバルスケジューリングを改善しました。

    コンポーネントバージョン

    DataLake

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    OLAP

    サービス

    バージョン

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    ZooKeeper

    3.8.4

    DataFlow

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    DataServing

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    Custom

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    Phoenix

    5.2.1

    EMR-5.19.x

    リリース日

    バージョン

    日付

    EMR-5.19.0

    2025 年 4 月 24 日

    更新内容

    サービス

    変更点

    Trino

    LDAP の可用性に関する問題を修正しました。

    YARN

    • リソース割り当てをより効率的に行うため、グローバルスケジューリングを最適化しました。

    • HTTP サービスのメトリクスモニタリングを追加しました。

    • オープンソースのバグ (YARN-10213) を修正しました。

    HBase

    • 2.6.3 にアップグレードしました。

    • デフォルトの実行環境を Java 11 に変更しました。

    • G1 ガベージコレクタをデフォルトに設定しました。

    Phoenix

    5.2.1 にアップグレードしました。

    JindoCache

    6.8.2 にアップグレードしました。

    StarRocks

    コンピュート・ストレージ分離クラスターの作成を有効にしました。

    EMRHOOK

    • Spark 3.5 をサポートしました。

    • Paimon テーブルのデータリネージ追跡を有効にしました。

    • 安定性を強化しました。

    コンポーネントバージョン

    DataLake クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    OLAP クラスター

    サービス

    バージョン

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    ZooKeeper

    3.8.4

    DataFlow クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    DataServing クラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    ZooKeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    カスタムクラスター

    サービス

    バージョン

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    ZooKeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    Phoenix

    5.2.1

    EMR-5.18.x

    リリース日

    バージョン

    日付

    EMR-5.18.1

    2024 年 12 月 18 日

    EMR-5.18.0 (購入不可)

    2024 年 12 月 4 日

    更新内容

    サービス

    説明

    Spark 3

    • 3.5.3 にアップグレードしました。

    • スケールアウト時に発生する設定の問題を修正しました。

    Trino

    LDAP を有効化した後に接続が失敗する問題を修正しました。

    Presto

    ZooKeeper

    カスタム設定をサポートしました。

    Ranger

    既存の Spark 3 Ranger プラグインを、オープンソース Kyuubi プロジェクトのものに置き換えました。

    Hudi

    0.15.0 にアップグレードしました。

    Celeborn

    0.5.2 にアップグレードしました。

    Paimon

    1.0-ali-1 にアップグレードしました。

    JindoCache

    6.5.3 にアップグレードしました。

    StarRocks 3

    3.2.11 にアップグレードしました。

    StarRocks 2

    2.5.22 にアップグレードしました。

    Impala

    これらのサービスは廃止されました。推奨される代替サービスを使用するか、手動でサービスをインストールしてください。

    Impala の場合は、Presto、Trino、ClickHouse、または StarRocks を使用してください。

    Kudu

    Kafka

    Kafka-Manager

    EMR-5.17.x

    リリース日

    バージョン

    リリース日

    EMR-5.17.4

    2024 年 12 月 18 日

    EMR-5.17.3 (新規購入不可)

    2024 年 11 月 29 日

    EMR-5.17.2 (新規購入不可)

    2024 年 8 月 29 日

    EMR-5.17.1 (新規購入不可)

    2024 年 6 月 21 日

    EMR-5.17.0 (新規購入不可)

    2024 年 4 月 23 日

    更新内容

    EMR-5.17.4

    サービス

    変更点

    JindoCache

    バージョン 6.5.3 にアップグレードしました。

    StarRocks 2

    バージョン 2.5.22 にアップグレードしました。

    StarRocks 3

    バージョン 3.2.11 にアップグレードしました。

    EMR-5.17.3

    サービス

    変更点

    JindoSDK

    デッドロックを修正するために JindoSDK をアップグレードしました。

    EMR-5.17.2

    サービス

    変更点

    JindoCache

    • バージョン 6.5.1 にアップグレードしました。

    • 分散ハッシュテーブル (DHT) の読み書き性能を改善しました。

    Spark

    • パーティションディレクトリを削除できない問題を解決しました。

    • Hive パッケージの依存関係の問題を解決し、クライアント操作が metastore クライアント接続を中断しないようにしました。

    Trino

    • スケールアウト時に変更された設定が元に戻ってしまう問題を解決しました。

    • 高セキュリティ OSS-HDFS 上のデータをクエリする機能を追加しました。

    • DLF-Auth を有効化した際に発生するサービス例外を解決しました。

    Presto

    高セキュリティ OSS-HDFS 上のデータをクエリする機能を追加しました。

    HDFS

    NameNode および DataNode のメモリを変更できない問題を解決しました。

    HBase-HDFS

    YARN

    • ResourceManager がタイムラインイベントをバッチ送信できるようになり、処理能力が向上しました。

    • ResourceManager のコンテナおよびリソース処理におけるロジックの問題を解決しました。

    ZooKeeper

    • ノードグループのメモリ設定を変更できない問題を解決しました。

    • ログ設定ファイルの再構成をサポートしました。

    Impala

    オートスケーリングが顧客設定を誤って変更してしまう問題を解決しました。

    Ranger

    新しい JindoSDK カーネルをサポートし、CPU 使用率を大幅に削減しました。

    Knox

    Master-Extend ノードグループが 1 つしかない場合にコンポーネント URL にアクセスできなくなる問題を解決しました。

    Kafka

    Kafka Connect クラスターが起動しない問題を解決しました。

    StarRocks

    スケールアウト後に新しく追加された BE が表示されない問題を解決しました。

    Doris

    バージョン 2.1.4 にアップグレードしました。

    Paimon

    バージョン 0.9-ali-7 にアップグレードしました。

    EMR-HOOK

    MaxCompute テーブルからのデータリネージ解析をサポートしました。

    EMR-5.17.1

    サービス

    変更点

    Spark

    Master-Extend ノードグループのデプロイをサポートしました。

    Hive

    Kyuubi

    Paimon

    VVR エディションの Flink 依存関係をコミュニティエディションに置き換え、DLF Catalog をサポートしました。

    Knox

    JDK 8 が同梱されています。

    Flink

    EMR-5.17.0 で削除された DLF 設定および依存関係を復元しました。

    EMR-5.17.0

    サービス

    変更点

    Spark

    Spark 3 をバージョン 3.4.2 にアップグレードしました。

    Celeborn

    バージョン 0.4.0 にアップグレードしました。

    Doris

    バージョン 2.1.0 にアップグレードしました。

    StarRocks

    • StarRocks 2 をバージョン 2.5.18 にアップグレードしました。

    • StarRocks 3 をバージョン 3.2.4 にアップグレードしました。

    Delta Lake

    バージョン 3.0.0 にアップグレードしました。

    Iceberg

    バージョン 1.5.0 にアップグレードしました。

    ZooKeeper

    バージョン 3.8.4 にアップグレードしました。

    JindoCache

    バージョン 6.2.5 にアップグレードしました。

    Flink

    バージョン 1.17.2 にアップグレードしました。

    EMR-5.16.x

    リリース日

    バージョン

    日付

    EMR-5.16.0

    2024 年 2 月 19 日

    更新内容

    サービス

    更新内容

    Hudi

    バージョン 0.14.0 にアップグレードしました。

    Flume

    バージョン 1.11.0 にアップグレードしました。

    Kyuubi

    バージョン 1.7.3 にアップグレードしました。

    Impala

    バージョン 4.3.0 にアップグレードしました。

    Celeborn

    バージョン 0.3.2 にアップグレードしました。

    JindoCache

    バージョン 6.2.0 にアップグレードしました。

    Paimon

    バージョン 0.7-ali-1 にアップグレードしました。

    Kafka

    バージョン 3.6.1 にアップグレードしました。

    StarRocks

    • StarRocks2 をバージョン 2.5.13 にアップグレードしました。

    • StarRocks3 をバージョン 3.1.5 にアップグレードしました。

    Spark

    Commons Text の脆弱性を修正しました。

    Ranger

    • Commons Text ライブラリの脆弱性を修正しました。

    • Spring Security フレームワークのパスマッチング権限バイパス脆弱性を修正しました。

    • Spring Security フレームワークの forward/include 認証バイパス脆弱性を修正しました。

    • Spring Framework の特殊なマッチングモードにおける身分認証バイパス脆弱性を修正しました。

    • Lightweight Directory Access Protocol (LDAP) サーバーからユーザー情報を取得し、ユーザー情報を更新する間隔を変更できるようにしました。

    EMR-5.15.x

    リリース日

    バージョン

    日付

    EMR-5.15.1

    2023 年 11 月 16 日

    EMR-5.15.0 (購入不可)

    2023 年 10 月 27 日

    更新内容

    サービス

    説明

    JindoCache

    JindoCache サービス (バージョン 6.1.1) を追加しました。

    JindoData

    JindoData は廃止されました。キャッシュには JindoCache サービスを、認証には DLF-Auth を使用できます。

    Spark

    hive-site.xml から jdo 関連の設定を削除しました。

    HBase

    HBase Thrift Server のバージョン (v1 または v2) を選択するオプションを追加しました。

    StarRocks

    StarRocks をバージョン 2.5.10 にアップグレードしました。

    Doris

    Doris をバージョン 1.2.7 にアップグレードしました。

    Celeborn

    Celeborn をバージョン 0.3.1 にアップグレードしました。

    Paimon

    Paimon をバージョン 0.6-ali-2 にアップグレードしました。

    ClickHouse

    ClickHouse をバージョン 23.3.13.6 にアップグレードしました。

    EMR-5.14.x

    リリース日

    バージョン

    日付

    EMR-5.14.2

    2023 年 8 月 17 日

    更新内容

    サービス

    変更点

    Trino

    • Paimon コネクタが HDFS テーブルをクエリできない問題を修正しました。

    • ワーカーノードのメトリクスを読み取れない問題を修正しました。

    Presto

    • バージョン 0.283 にアップグレードしました。

    • ワーカーノードのメトリクスを読み取れない問題を修正しました。

    ClickHouse

    デフォルトユーザーにすべての権限を付与するようになりました。

    StarRocks

    • 従来の StarRocks サービスを StarRocks2 に名称変更しました。

    • StarRocks3 (バージョン 3.1.2) を追加しました。デフォルトでコンピュート・ストレージ統合アーキテクチャを使用します。コンピュート・ストレージ分離アーキテクチャはまだサポートされていません。

    Celeborn

    バージョン 0.3.0 にアップグレードしました。

    EMR-5.13.x

    リリース日

    バージョン

    リリース日

    EMR-5.13.0

    2023 年 8 月 3 日

    更新内容

    サービス

    説明

    Hudi

    0.13.1 にアップグレードしました。

    Paimon

    0.5-ali-1 にアップグレードしました。

    StarRocks

    2.5.8 にアップグレードしました。

    JindoData

    4.6.11 にアップグレードしました。

    Trino

    • 422 にアップグレードしました。

    • Hudi コネクタが Merge on Read (MOR) テーブルをクエリできるようになりました。

    • ユーザー定義関数 (UDF) を動的にロードする際のエラーメッセージを改善しました。

    EMR-5.12.x

    リリース日

    バージョン

    日付

    EMR-5.12.1

    2023 年 7 月 13 日

    EMR-5.12.0 (購入不可)

    2023 年 6 月 1 日

    更新内容

    EMR-5.12.1

    サービス

    説明

    Spark

    • Spark History Server がデフォルトで OSS-HDFS をストレージとして使用するようになりました。

    • Spark3 Native Engine がストレージとして OSS および OSS-HDFS をサポートするようになりました。

    Hive

    Hive ウェアハウスがデフォルトで OSS-HDFS をストレージとして使用するようになりました。

    OSS-HDFS

    新しいサービスとして利用可能になりました。

    YARN

    YARN がデフォルトで OSS-HDFS をストレージとして使用するようになりました。

    HBase

    • HBase がデフォルトで HFile データの保存に OSS-HDFS を使用するようになりました。

    • HBase が OSS-HDFS 上に write-ahead ログを保存することをサポートするようになりました。

    EMR-5.12.0

    サービス

    説明

    Kyuubi

    バージョン 1.7.1 にアップグレードしました。

    Celeborn

    バージョン 0.2.2 にアップグレードしました。

    Paimon

    • Flink Table Store の名称を Paimon に変更しました。

    • バージョン 0.4-ali-1 にアップグレードしました。

    StarRocks

    バージョン 2.5.5 にアップグレードしました。

    Doris

    バージョン 1.2.4 にアップグレードしました。

    ClickHouse

    バージョン 23.3.2.37 にアップグレードしました。

    Trino

    Trino に監査ログを取得するためのデフォルトのイベントリスナーが含まれるようになりました。

    Phoenix

    Phoenix が Hive on Phoenix をサポートするようになりました。

    EMR-5.11.x

    リリース日

    バージョン

    日付

    EMR-5.11.1

    2023 年 4 月 3 日

    EMR-5.11.0 (購入不可)

    2023 年 2 月 28 日

    更新内容

    EMR-5.11.1

    サービス

    変更点

    ClickHouse

    バージョン 22.8.14.53 にアップグレードしました。

    Trino

    MaxCompute をクエリするための odps.properties コネクタを追加しました。

    JindoData

    バージョン 4.6.5 にアップグレードしました。

    JindoSDK

    バージョン 4.6.5 にアップグレードしました。

    Flink Table Store

    バージョン 0.3-ali-2 にアップグレードしました。

    YARN

    ノードラベルをサポートしました。

    EMR-5.11.0

    サービス

    変更点

    Iceberg

    バージョン 1.1.0 にアップグレードしました。

    Hudi

    • バージョン 0.12.2 にアップグレードしました。

    • Change Data Capture (CDC) をサポートしました。

    Delta Lake

    • バージョン 2.2.0 にアップグレードしました。

    • トランザクションログに vacuum 操作を記録するようになりました。

    Kudu

    バージョン 1.16.0 にアップグレードしました。

    ClickHouse

    ClickHouse のインストールに ZooKeeper サービスが必要になりました。

    Celeborn

    • Remote Shuffle Service (RSS) の名称を Celeborn に変更しました。

    • 初期バージョンは 0.2.0 です。

    Presto

    Presto を新しいサービスとして追加しました。カーネルはコミュニティ版 Facebook PrestoDB 0.278.3 に基づいています。デフォルトポートは HTTP が 8889、HTTPS が 7779 です。

    StarRocks

    バージョン 2.5.1 にアップグレードしました。

    Doris

    バージョン 1.2.1 にアップグレードしました。

    Kafka Manager

    バージョン 3.0.0.6 にアップグレードしました。

    Impala

    バージョン 4.2.0 にアップグレードしました。

    OpenLDAP

    バージョン 2.4.46 にアップグレードしました。

    HBase

    • JDK 11 をサポートしました。

    • ThriftServer 2 をサポートしました。

    • hbase.block.data.cachecompressed パラメーターのデフォルト値が true になりました。

    Flink Table Store

    Flink Table Store を新しいサービスとして追加しました。コミュニティ版 0.3 に基づいています。

    JindoData

    バージョン 4.6.4 にアップグレードしました。

    EMR-5.10.x

    リリース日

    EMR-5.10.0: 2022 年 12 月 1 日

    更新内容

    サービス

    説明

    Iceberg

    バージョン 0.14.1 にアップグレードしました。

    Flink

    Apache Flink 1.15 メジャーバージョンに基づく Flink 1.15-vvr-6.0.2 にアップグレードしました。

    Kafka

    • LDAP 認証および権限付与をサポートしました。

    • ユーザーグループの権限付与をサポートしました。

    Trino

    • EMR Presto コンポーネントの名称を Trino に変更し、公式コミュニティ名に合わせました。

    • Ranger および DLF-Auth をサポートしました。

    • LDAP を有効化した後にワーカーノードへの接続が失敗する問題を修正しました。

    JindoSDK

    バージョン 4.6.2 にアップグレードしました。

    JindoData

    バージョン 4.6.2 にアップグレードしました。

    HBase

    • Ranger をサポートしました。

    • サービス追加時に OSS-HDFS をストレージモードとして選択できない問題を修正しました。

    YARN

    セキュリティモードで Access Control List (ACL) がデフォルトで有効になりました。

    StarRocks

    バージョン 2.4.1 にアップグレードしました。

    Doris

    バージョン 1.1.5 にアップグレードしました。

    Hudi

    コンソールで hudi-defaults.conf を設定できるようになりました。

    Ranger

    • バージョン 2.3.0 にアップグレードしました。

    • Trino、YARN、HBase、Kafka との統合をサポートしました。

    DLF-Auth

    • バージョン 2.0.2 にアップグレードしました。

    • Trino および Impala をサポートしました。

    OpenLDAP

    Nslcd コンポーネントと統合しました。

    Kudu

    タスクノードグループに Kudu Tserver をインストールできなくなりました。

    Spark

    バージョン 3.3.1 にアップグレードしました。

    Tez

    バージョン 0.10.2 にアップグレードしました。

    Kyuubi

    バージョン 1.6.0 にアップグレードしました。

    EMR-5.9.x

    リリース日

    バージョン

    日付

    EMR-5.9.1

    2022 年 11 月 8 日

    EMR-5.9.0 (新規購入不可)

    2022 年 10 月 14 日

    更新内容

    EMR-5.9.1

    サービス

    変更点

    Kerberos

    外部 KDC への接続をサポートしました。

    Kafka

    サービス起動パラメーターをカスタマイズするための設定オプションを追加しました。

    JindoData

    • バージョン 4.6.0 にアップグレードしました。

    • OSS-HDFS アクセスパスの書き換えをサポートしました。

    Flink

    バージョン 1.13_vvr_4.0.15 にアップグレードしました。

    RSS

    バージョン 0.1.4 にアップグレードしました。

    EMR-5.9.0

    サービス

    変更点

    Spark

    • バージョン 3.3 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    Hudi

    • バージョン 0.12.0 にアップグレードしました。

    • Spark 3.3 をサポートしました。

    • クラウドベースのメタストアを使用してメタデータをホストし、アクセラレーション機能を有効にできるようになりました。詳細については、「Hudi メタストアの使用方法」をご参照ください。

    Flink

    • Kerberos 認証をサポートしました。

    • Data Lake Formation (DLF) への自動接続をサポートしました。

    Iceberg

    • バージョン 0.14.0 にアップグレードしました。

    • Spark 3.3 をサポートしました。

    • Kerberos 認証をサポートしました。

    JindoData

    • バージョン 4.5.1 にアップグレードしました。

    • AccessKey ペアを使用せずに Alibaba Cloud リソースにアクセスできるようになりました。

    Hadoop Common および HDFS

    • Kerberos 認証をサポートしました。

    • CVE-2022-25168 脆弱性に対応しました。

    Knox

    Ranger と統合し、Access Links and Ports タブから Ranger UI にアクセスできるようになりました。

    HBase

    • バージョン 2.4.9 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    • ノードグループ設定をサポートしました。

    RSS

    • バージョン 0.1.2 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    Doris

    • バージョン 1.1.2 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    StarRocks

    • バージョン 2.3.2 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    Kafka

    • バージョン 2.13_3.2.1 にアップグレードしました。

    • Kerberos 認証をサポートしました。

    Delta Lake

    • バージョン 2.1.0 にアップグレードできるようになりました。

    • Spark 3.3 をサポートしました。

    • Kerberos 認証をサポートしています。

    Impala

    • Data Lake Formation (DLF) でビューを作成できるようになりました。

    • Kerberos 認証をサポートしました。

    Kudu

    新しいコンポーネントとして追加しました (バージョン 1.14.0)。

    YARN、Ranger、Hive、Kyuubi、Tez、ZooKeeper、DLF-Auth、Phoenix、Sqoop、および Presto

    Kerberos 認証をサポートしました。

    EMR-5.8.x

    リリース日

    EMR-5.8.0: 2022 年 8 月 5 日

    更新内容

    サービス

    変更点

    Spark

    LDAP 認証をサポートしました。

    Hive

    LDAP 認証をサポートしました。

    Presto

    • コミュニティ版 389 にアップグレードしました。

      コミュニティ版のスタンドアロン Delta Lake および Hudi コネクタを使用します。

      • Delta Lake コネクタはタイムトラベルおよび Z-Order をサポートしていません。

      • Hudi コネクタは MOR テーブルのクエリをサポートしていません。

    • LDAP 認証をサポートしました。

    Delta Lake

    • Data Lake Formation (DLF) と統合し、レイクテーブルの自動管理を行います。

    • CTAS シナリオでのパーティション情報の自動同期に関する問題を修正しました。

    • OPTIMIZE および VACUUM コマンドがメトリクスを返すようになりました。

    Hudi

    バージョン 0.11.1 にアップグレードしました。

    Hadoop Common

    HDFS、YARN、JindoSDK 間の設定のオーバーライド問題を解決するために Hadoop Common コンポーネントを追加しました。

    YARN

    オートスケーリングを強化しました。

    Ranger

    • Spark 2 および Spark 3 の両方をサポートしました。

    • Ranger UserSync の LDAP 認証をサポートしました。

    Kafka

    Kafka 2.12-2.4.1 を新しいコンポーネントとして導入しました。

    HBase

    HBase 2.3.4 を新しいコンポーネントとして導入しました。

    Phoenix

    Phoenix 5.1.2 を新しいコンポーネントとして導入しました。

    Doris

    バージョン 1.1.1 にアップグレードしました。

    StarRocks

    • バージョン 2.3.0 にアップグレードしました。

    • プライマリキーモデルが完全な DELETE WHERE 構文、メモリ使用量を削減する永続的なプライマリキーインデックスなどをサポートするようになりました。

    ClickHouse

    • バージョン 22.3.8.39 にアップグレードしました。

    • Object Storage Service から大規模ファイルを読み取る際のメモリ不足 (OOM) エラーを修正しました。

    EMR-5.6.x

    リリース日

    EMR-5.6.0: 2022 年 4 月 21 日

    更新内容

    サービス

    変更点

    JindoData

    新しいコンポーネント: 4.3.0。

    JindoSDK

    バージョン 4.3.0 にアップグレードしました。

    Spark

    バージョン 3.2.1 にアップグレードしました。

    Hive

    Hive on Tez でスペキュレーティブ実行が有効な場合に重複コミットが発生する問題を解決しました。

    Presto

    初期化済みの Hadoop クラスターに Presto サービスを追加した後にサービスが起動しない問題を解決しました。

    Delta Lake

    DML ステートメントがサブクエリをサポートするようになりました。

    Hudi

    バージョン 0.10.1 にアップグレードしました。

    Iceberg

    バージョン 0.13.1 にアップグレードしました。

    YARN

    ApplicationMaster をコアノードでのみ実行するための設定を追加しました。

    HBase

    HBase 2.3.4 カーネルのバグを修正しました。

    ZooKeeper

    JVM パラメーターを最適化しました。

    Impala

    JindoSDK 4.3.0 をサポートしました。

    Sqoop

    PostgreSQL をアップグレードしました。

    Zeppelin

    JDBC インタープリターが起動時に失敗する問題を解決しました。

    Ranger

    Ranger 1.2.0 Spark プラグインが Delta Lake および Hudi をサポートするようになりました。

    Flume

    JindoSDK 4.3.0 をサポートしました。

    Oozie

    Log4j をバージョン 2.17.2 にアップグレードしました。

    DLF-Auth

    バージョン 2.0.0 にアップグレードしました。

    EMR-5.5.x

    リリース日

    バージョン

    日付

    EMR-5.5.1

    2022 年 3 月 25 日

    EMR-5.5.0 (新規購入不可)

    2022 年 2 月 15 日

    更新内容

    EMR-5.5.1

    説明

    このバージョンは、新しいコンソールの OLAP クラスターでのみサポートされています。

    サービス

    更新内容

    ClickHouse

    デフォルトパラメーター値を更新しました。

    StarRocks

    バージョン 2.1.1 にアップグレードしました。

    EMR-5.5.0

    サービス

    更新内容

    SmartData

    廃止されました。

    Bigboot

    RSS

    • EMR Remote Shuffle Service (ESS) を RSS にアップグレードしました。

    • 機能性と安定性を強化しました。

    JindoSDK

    • アーキテクチャを JindoData にアップグレードしました。

    • JindoSDK 4.0 を統合し、OSS および Alibaba Cloud OSS-HDFS サービスをサポートしました。

    Spark

    • COUNT DISTINCT 内の IF 式をサポートし、CASE WHEN の使用を最適化しました。

      パラメーター spark.sql.optimizer.rewriteConditionalDistinctAggregates を true に設定します。

    • Shuffle Hash Join から Sort Merge Join へのフォールバックを有効にしました。

      spark.sql.join.preferSortMergeJoin パラメーターを false に、spark.sql.join.enableShuffledHashJoinFallback パラメーターを true に設定します。

    • 非動的パーティションの小規模ファイルの自動マージを有効にしました。

      spark.sql.adaptive.merge.output.small.files.enabled パラメーターを true に設定します。

    • GROUPING SETS や DISTINCT などのシナリオで同時実行数を自動調整します。

      パラメーター spark.sql.execution.optimizeExpand を true に設定します。

    • Hive on Spark を最適化しました。

    • タイムトラベル構文をサポートしました。

    • JindoSDK をサポートしました。

    Tez

    JindoSDK をサポートしました。

    Hive

    • Hive Jindo の一括削除の問題を修正しました。

    • HiveServer2 のメモリ不足 (OOM) 問題を修正しました。

    • Hive on Spark を最適化しました。

    • JindoSDK をサポートしました。

    Presto

    • Presto をコミュニティ版 358 にアップグレードしました。

    • MySQL、Iceberg、Hudi、Phoenix、Kudu、Delta コネクタをデフォルトで追加し、デフォルト設定を更新しました。

    • データレイク分析をサポートしました。

    • UDF の動的ロードをサポートしました。

    • JindoSDK をサポートしました。

    Delta Lake

    • バージョンアップ

      • Spark 3.2.0 と互換性のあるバージョン 1.1.0 にアップグレードしました。

      • すべての商用機能をバージョン 1.1.0 に移行しました。

    • メタデータ管理

      • メタストアへのメタデータ変更の同期を最適化しました。

      • テーブル統計 (データプロファイリング) をメタストアに自動報告します。

    • SQL

      • タイムトラベル構文をサポートしました。

      • DROP PARTITION SQL 構文をサポートしました。

      • SQL による動的パーティションの上書きをサポートしました。

      • ADD COLUMN 操作で指定位置 (FIRST および AFTER) をサポートしました。

    • テーブル管理機能を強化

      • テーブルサイズに基づいてファイルサイズを動的に調整できるようになりました。この機能はデフォルトで有効です。

      • 自動かつ同時実行の vacuum を有効にしました。自動 vacuum はデフォルトで有効です。

      • 自動コンパクションロジックを最適化しました。この機能はデフォルトで無効です。

      • Z-order 構文を導入し、Z-ordering プロセスを高速化しました。

    Hudi

    • バージョン 0.10.0 にアップグレードしました。

    • Spark 3.2.0 をサポートしました。

    • JindoFS ブロックモードをサポートしました。

    HDFS

    JindoSDK をサポートしました。

    YARN

    • RSS メモリ設定をサポートしました。

    • JindoSDK をサポートしました。

    Flume

    JindoSDK をサポートしました。

    Impala

    JindoSDK をサポートしました。

    Ranger

    • Spark 3.2.0 をサポートしました。

    • Presto 358 をサポートしました。

    HBase

    • 不正確なデフォルトパラメーターを修正しました。

    • ガベージコレクション (GC) ログの日付形式に関する問題を修正しました。

    ClickHouse

    • データ階層化をサポートするために HDFS および OSS ディスクタイプを追加しました。詳細については、「HDFS を使用したデータ階層化」および「OSS を使用したデータ階層化」をご参照ください。

    • Replicated*MergeTree ファミリーのエンジンが OSS、HDFS、S3 ディスクタイプでゼロコピー操作をサポートするようになりました。

    • ClickHouse コンポーネントのシャットダウンプロセスを最適化しました。

    Iceberg

    • バージョン 0.13.0 にアップグレードしました。

    • Presto 358 をサポートしました。

    DLF-Auth

    • Spark 3.2.0 をサポートしました。

    • Presto 358 をサポートしました。

    EMR-5.4.x

    リリース日

    バージョン

    日付

    EMR-5.4.3

    2021 年 12 月

    EMR-5.4.2 (新規購入不可)

    2021 年 12 月

    EMR-5.4.1 (新規購入不可)

    2021 年 11 月

    EMR-5.4.0 (新規購入不可)

    2021 年 10 月

    更新内容

    EMR-5.4.3

    このバージョンでは、関連するすべてのコンポーネントの Log4j セキュリティ脆弱性を修正しています。詳細については、「セキュリティ情報 | Apache Log4j 2 リモートコード実行脆弱性」をご参照ください。

    サービス

    変更点

    Presto

    Elasticsearch コネクタの Log4j 脆弱性を修正しました。

    DLF Metastore

    • メタストアロギングをデフォルトで無効にしました。

    • getTableStats URI が長すぎるために発生するエラーを修正しました。

    Delta Lake

    スキーマ変更がメタストアに同期されない問題を修正しました。

    Sqoop

    HCatalog テーブルにデータをインポートする際に DECIMAL データ型の精度が失われる問題を修正しました。

    EMR-5.4.2

    サービス

    変更点

    SmartData

    • SmartData を 3.8.0 に更新しました。詳細については、「SmartData 3.8.x の概要」をご参照ください。

    • Kerberos および Ranger に基づく認証と権限付与を使用して、OSS 内のデータに対する権限を管理できるようになりました。

    EMR-5.4.1

    サービス

    変更点

    SmartData

    SmartData をバージョン 3.7.3 にアップグレードしました。詳細については、「SmartData 3.7.x の概要」をご参照ください。

    Oozie

    依存関係 JAR の競合により高可用性 (HA) 環境で Oozie Jetty Server が起動しない問題を修正しました。

    Impala

    DLF メタデータテーブルをクエリする際に発生する no such method error を修正しました。

    DLF-Auth

    DLF-Auth をバージョン 1.0.1 にアップグレードしました。

    EMR-5.4.0

    サービス

    変更点

    SmartData

    SmartData をバージョン 3.7.2 にアップグレードしました。詳細については、「SmartData 3.7.x の概要」をご参照ください。

    Spark

    • Spark をバージョン 3.1.2 にアップグレードしました。

    • Spark 3.x では、Spark SQL の Distinct 計算パフォーマンスが最適化されています。この最適化機能は、集約オペレーターに複数の count(distinct case ... when ...) メソッドが含まれている場合にトリガーされます。

    • Adaptive Query Execution (AQE) に必要な一部の統計情報が不足している場合に返される範囲外の配列インデックスエラーを修正しました。

    • AQE とデータキャッシングに関する特定のシナリオでのエラーを修正しました。

    Hive

    Hive on JindoFS (Block) がバッチメタデータ最適化をサポートするようになりました。この機能はデフォルトで無効です。

    Presto

    ストレージハンドラを使用して Delta Lake テーブルをクエリする機能を追加しました。

    Delta Lake

    • Delta Lake をバージョン 1.0.0 にアップグレードしました。

    • Hive 2 および Hive 3 の delta-connectors を統合しました。

    • 多段パーティション化テーブルをクエリする際に delta-connectors で発生するエラーを修正しました。

    • Data Skipping、OPTIMIZE、Z-Ordering などの機能に対する SQL サポートを追加しました。

    • メタストアへのメタデータ同期をサポートしました。

    Hudi

    • Hudi を 0.9.0 に更新しました。

    • Delta Lake と Hudi の間の sql.extension の互換性に関する問題を修正しました。

    説明

    Spark 3.1.2 をサポートしています。

    HDFS

    NameNode のデフォルト予約領域が、ディスク領域が少ない場合に NameNode が迅速にセーフモードに入れるように適応的に増加するようになりました。

    Storm

    Storm コンポーネントを廃止しました。

    Zeppelin

    Zeppelin をコミュニティ版 0.10.0 にアップグレードしました。

    Hue

    • YARN Job Browser がジョブを表示または終了できない問題が時折発生する問題を修正しました。

    • デフォルト設定で YARN Job Browser を有効にしました。

    • デフォルト設定で Presto プロトコルを有効にしました。

    Druid

    サーバーが予期せずシャットダウンされた後、PID ファイルが削除されないために関連ノードが再起動できない問題を修正しました。

    ClickHouse

    • デフォルト設定を更新しました。

    • クラスタースケールアウトをサポートしました。

    • MetaChecker 機能をサポートしました。

    • OSS テーブルエンジンおよび OSS テーブル関数を使用したデータ読み取りをサポートしました。

    Iceberg

    • Iceberg をバージョン 0.12.0-1.0.1 にアップグレードしました。

    • Hive ランタイム依存関係のエラーを修正しました。

    Knox

    Spark UI への初回アクセスが失敗する問題を修正しました。

    DLF-Auth

    サービスを追加しました。

    Hive または Spark を使用して DLF にアクセスするための権限を設定できます。サービスバージョンは 1.0.0 です。

    EMR-5.3.x

    リリース日

    バージョン

    日付

    EMR-5.3.1

    2021 年 9 月

    EMR-5.3.0 (新規購入不可)

    2021 年 8 月

    更新内容

    EMR-5.3.1

    サービス

    変更点

    SmartData

    SmartData をバージョン 3.7.1 にアップグレードしました。

    Hue

    高セキュリティクラスターで Impala を使用できない問題を修正しました。

    Kudu

    Kerberos をサポートしました。

    HBase

    • 高セキュリティクラスターで HBase の再起動時間が過剰になる問題を修正しました。

    • Spark 3.1.1 との統合失敗を解決しました。

    • グレースフルストッププロセスを最適化しました。

    EMR-5.3.0

    サービス

    変更点

    SmartData

    SmartData をバージョン 3.7.0 にアップグレードしました。

    Spark

    Delta Lake との互換性の問題を修正しました。

    Hive

    Hive on JindoFS (ブロックストレージモード) がバッチメタデータ最適化をサポートするようになりました。

    この機能はデフォルトで無効です。

    Delta Lake

    • Delta Lake パーティショニングをサポートしました。

    • desc detail コマンドと Spark 3.1.1 の互換性の問題を修正しました。

    YARN

    • ノードコンテナ REST API に appId、CPU、メモリリソース使用量情報を追加しました。

    • オートスケーリングによって解放されたノード上の Application Master (AM) ログにアクセスできない問題を修正しました。

    • State Store の既存データがクラスターの使用不能を引き起こす問題を修正しました。

    • オートスケーリングによるノード解放時にノードのクリーンアップをサポートしました。

    • オートスケーリングのグレースフルデコミッションロジックを改善しました。デコミッションは、NodeManager (NM) プロセスが終了した後にのみ完了とマークされます。

    ZooKeeper

    ZooKeeper をコミュニティ版 3.6.3 にアップグレードしました。

    Flink

    • Flink に SmartData コンポーネントを追加しました。

    • SSH 経由で Dataflow Flink クラスターにジョブを送信する際の Object Storage Service (OSS) へのパスワードなしのアクセスに関する問題を修正しました。

    Impala

    Object Storage Service (OSS) パーティションディレクトリを直接削除した際に発生する無限ループを修正しました。

    Hue

    Hue と Oozie の統合に関する UI 表示の問題を修正しました。

    Kudu

    Kudu をコミュニティ版 1.14.0 にアップグレードしました。

    ClickHouse

    ClickHouse コンポーネント (バージョン 21.3.13.9) を追加しました。

    Iceberg

    Iceberg コンポーネント (バージョン 0.12.0) を追加しました。

    EMR-5.2.x

    リリース日

    EMR-5.2.1: 2021 年 7 月 16 日

    更新内容

    サービス

    更新内容

    SmartData

    SmartData をバージョン 3.6.1 にアップグレードしました。詳細については、「SmartData 3.6.x の概要」をご参照ください。

    Hive

    • DLF メタデータを使用する際に show create table コマンドが不正確な結果を返す問題を修正しました。

    • ジョブパフォーマンスを向上させるためにデフォルトの Hive パラメーターを最適化しました。

    • EMR コンソールの Hive サービスの Configure ページの hive-env タブで、設定項目名の大文字表記を改善し、使いやすさを向上させました。

    • ユーザー定義関数 (UDF) による HiveServer2 のメモリリークを修正しました。

    • ファイルシステムとメタストアが不整合な状態で Hive テーブルへの書き込み操作を行う際のエラーメッセージを改善しました。

    HDFS

    Zstandard 圧縮形式をサポートしました。

    Delta Lake

    • Delta Lake をバージョン 0.8.0 にアップグレードしました。

    • Spark 3 をサポートしました。

    Flink

    Flink をバージョン 1.12-vvr-3.0.2 にアップグレードしました。

    Hudi

    • Hudi をバージョン 0.8.0 にアップグレードしました。

    • Spark SQL との統合をサポートしました。

    Spark
    重要

    EMR-5.2.1 では、Spark (3.1.1) と Kudu (1.11.1) は互換性がありません。

    • Delta Lake および Hudi データレイク形式をサポートしました。

    • Remote Shuffle Service をサポートしました。

    • Livy をサポートしました。

    • EMR コンソールの Spark サービスの Configure ページの spark-defaults タブで、設定項目名を改善しました。

    • コストベース最適化 (CBO)、動的パーティションプルーニング (DPP)、Z-order などの機能を最適化し、オープンソース Spark 3 と比較してパフォーマンスを 50% 向上させました。

    • Log Service、DataHub、Message Queue for Apache RocketMQ (ONS) などのデータソースをサポートしました。

    Tez

    ジョブパフォーマンスを向上させるためにデフォルトの Tez パラメーターを最適化しました。

    Ranger

    • Ranger を有効にした際に Spark ログに表示される警告メッセージを修正しました。

    • LDAP サーバーに接続した際のユーザー同期失敗を修正しました。

    Knox

    • Kudu コンポーネントをサポートしました。

    • HBase コンポーネントをサポートしました。

    Kafka

    • Kafka クラスターのバランス調整のため Cruise Control コンポーネントをサポートしました。

    • Kafka クラスターのディスクがホットスワップ可能になりました。Kafka ブローカーを停止せずに破損したディスクを交換できます。

    • 一部のパラメーターのデフォルト値を変更しました。

    Phoenix

    Hive または Spark SQL 経由で Phoenix テーブルにアクセスする際に発生する「JDBC ドライバーが見つかりません」エラーを修正しました。

    EMR Remote Shuffle Service (ESS)

    Spark 3 をサポートしました。