E-MapReduce:EMR 3.x シリーズのリリースノート

バージョン

日付

EMR-3.55.0

2025年10月27日

サービス

変更

Ranger

• Jindoauth Server は、クライアントユーザーが OSS にアクセスするためのカスタム RAM ロールをサポートします。

• Ranger-yarn-plugin の依存関係の欠落を修正しました。

Paimon

バージョン 1-ali-16.3 にアップグレードしました。

JindoCache

バージョン 6.10.1 にアップグレードしました。

バージョン

日付

EMR-3.54.0

2025 年 7 月 10 日

サービス

変更

Hive

いくつかの既知のバグを修正しました。

Tez

パフォーマンスと安定性を向上させるためにコミュニティのバグを修正しました。

バージョン

日付

EMR-3.53.0

2025 年 4 月 24 日

サービス

変更

Trino

LDAP が利用できない問題を修正しました。

YARN

オープンソースのバグ (YARN-10213、YARN-6207、および YARN-9339) を修正しました。

StarRocks

ストレージと計算リソースが分離されたクラスターの作成をサポートします。

JindoCache

バージョン 6.8.2 にアップグレードしました。

EMRHOOK

安定性を向上させました。

バージョン

日付

EMR-3.52.1

2024 年 12 月 18 日

EMR-3.52.0 (新規購入はサポートされていません)

2024 年 12 月 4 日

サービス

変更

Spark

• スケールアウト中に発生した構成の問題を修正しました。

• Kerberos クラスターで SASL 接続が時々失敗する問題を修正しました。

Hive

スケールアウト中に発生した構成の問題を修正しました。

Trino

LDAP を有効にした後に接続が失敗する問題を解決しました。

Presto

Zookeeper

カスタム構成の追加をサポートします。

Ranger

既存の Spark 3 Ranger プラグインを、オープンソースの Kyuubi プロジェクトによって提供されるバージョンに置き換えました。

Hudi

バージョン 0.15.0 にアップグレードしました。

Celeborn

バージョン 0.5.2 にアップグレードしました。

JindoCache

バージョン 6.5.3 にアップグレードしました。

StarRocks3

バージョン 3.2.11 にアップグレードしました。

Kyuubi

バージョン 1.9.2 にアップグレードしました。

StarRocks2

バージョン 2.5.22 にアップグレードしました。

Impala

Kudu

Kafka

Kafka-Manager

バージョン

日付

EMR-3.51.4

2024 年 12 月 18 日

EMR-3.51.3 (新規購入はサポートされていません)

2024 年 11 月 29 日

EMR-3.51.2 (新規購入はサポートされていません)

2024 年 8 月 29 日

EMR-3.51.1 (新規購入はサポートされていません)

2024 年 6 月 21 日

EMR-3.51.0 (新規購入はサポートされていません)

2024 年 4 月 23 日

バージョン

日付

EMR-3.50.0

2024 年 2 月 19 日

サービス

変更

Hudi

バージョン 0.14.0 にアップグレードしました。

Flume

バージョン 1.11.0 にアップグレードしました。

Kyuubi

バージョン 1.7.3 にアップグレードしました。

Impala

バージョン 4.3.0 にアップグレードしました。

Celeborn

バージョン 0.3.2 にアップグレードしました。

JindoCache

バージョン 6.2.0 にアップグレードしました。

Paimon

バージョン 0.7-ali-1 にアップグレードしました。

Kafka

• バージョン 3.6.1 にアップグレードしました。

• Kafka Connect コンポーネントの SASL セキュリティ認証の脆弱性を修正しました。

Spark

Commons Text の脆弱性を修正しました。

StarRocks

• StarRocks2 をバージョン 2.5.13 にアップグレードしました。

• StarRocks3 をバージョン 3.1.5 にアップグレードしました。

Ranger

• Commons Text の脆弱性を修正しました。

• Spring Security のパス一致権限バイパスの脆弱性を修正しました。

• Spring Security のフォワード/インクルード認証バイパスの脆弱性を修正しました。

• 特別な一致パターン下での Spring Framework の ID 認証バイパスの脆弱性を修正しました。

• Ranger が LDAP ユーザーを同期する期間の変更をサポートします。

バージョン

日付

EMR-3.49.1

2023 年 11 月 16 日

EMR-3.49.0 (新規購入はサポートされていません)

2023 年 10 月 27 日

サービス

変更

JindoCache

コンポーネントを追加しました。バージョンは 6.1.1 です。

JindoData

JindoData は利用できません。データキャッシングには JindoCache を、認証には DLF-Auth を使用できます。

Spark

[hive-site.xml] から jdo 関連の構成を削除しました。

HBase

設定項目を追加しました。必要に応じて、v1 と v2 を含む HBase Thrift Server のバージョンを選択できます。

StarRocks

StarRocks2 をバージョン 2.5.10 にアップグレードしました。

Doris

Doris をバージョン 1.2.7 にアップグレードしました。

Celeborn

Celeborn をバージョン 0.3.1 にアップグレードしました。

Paimon

Paimon をバージョン 0.6-ali-2 にアップグレードしました。

ClickHouse

ClickHouse をバージョン 23.8.2.7 にアップグレードしました。

バージョン

日付

EMR-3.48.2

2023 年 8 月 17 日

サービス

変更

Trino

• Paimon コネクタが HDFS テーブルを正常にクエリできなかった問題を修正しました。

• ワーカーの監視メトリックを読み取れなかった問題を修正しました。

Presto

• バージョン 0.283 にアップグレードしました。

• ワーカーの監視メトリックを読み取れなかった問題を修正しました。

ClickHouse

デフォルトでは、デフォルトユーザーにすべての権限が付与されます。

StarRocks

• 以前の StarRocks の名前を StarRocks2 に変更しました。

• StarRocks3、バージョン 3.1.2 を追加しました。デフォルトでは、ストレージとコンピューティングが結合されたバージョンとして作成されます。ストレージとコンピューティングが分離されたバージョンはサポートされていません。

Celeborn

バージョン 0.3.0 にアップグレードしました。

バージョン

日付

EMR-3.47.0

2023 年 8 月 3 日

サービス

変更

Hudi

バージョン 0.13.1 にアップグレードしました。

Paimon

バージョン 0.5-ali-1 にアップグレードしました。

StarRocks

バージョン 2.5.8 にアップグレードしました。

JindoData

バージョン 4.6.11 にアップグレードしました。

Trino

• バージョン 422 にアップグレードしました。

• Hudi コネクタは、Merge On Read (MOR) テーブルのクエリをサポートします。

• 動的 UDF 読み込みのエラーメッセージを最適化しました。

バージョン

日付

EMR-3.46.1

2023 年 7 月 13 日

EMR-3.46.0 (新規購入はサポートされていません)

2023 年 6 月 1 日

バージョン

日付

EMR-3.45.1

2023 年 4 月 3 日

EMR-3.45.0 (新規購入はサポートされていません)

2023 年 2 月 28 日

サービス

変更

Iceberg

バージョン 0.14.1 にアップグレードしました。

Flink

Flink1.15-vvr-6.0.2 にアップグレードしました。これはコミュニティ Flink 1.15 メジャーバージョンに対応しています。

Kafka

• LDAP ユーザーのログイン認証と権限付与をサポートします。

• ユーザーグループの権限付与をサポートします。

Trino

• EMR Presto は、公式のコミュニティ名である Trino に名前が変更されました。

• Ranger と DLF AUTH をサポートします。

• ワンクリックで LDAP を有効にした後、ワーカーノードへの接続が失敗する問題を修正しました。

JindoSDK

バージョン 4.6.2 にアップグレードしました。

JindoData

バージョン 4.6.2 にアップグレードしました。

HBase

• Ranger をサポートします。

• サービスを追加するときに OSS-HDFS をストレージモードとして選択できない問題を修正しました。

YARN

高セキュリティモードでは、ACL はデフォルトで有効になっています。

Starrocks

バージョン 2.3.4 にアップグレードしました。

Doris

バージョン 1.1.5 にアップグレードしました。

Hudi

コンソールは hudi-defaults.conf の構成をサポートします。

Ranger

Trino、YARN、HBase、および Kafka との統合をサポートします。

DLF-Auth

• バージョン 2.0.2 にアップグレードしました。

• Trino と Impala をサポートします。

OpenLDAP

Nslcd コンポーネントと統合されました。

Kudu

Kudu Tserver は Task ノードグループにインストールできなくなりました。

Spark

バージョン 3.3.1 にアップグレードしました。

Tez

バージョン 0.10.2 にアップグレードしました。

Kyuubi

バージョン 1.6.0 にアップグレードしました。

バージョン

日付

EMR-3.43.1

2022 年 11 月 8 日

EMR-3.43.0 (新規購入はサポートされていません)

2022 年 10 月 14 日

サービス

変更

Hive

LDAP とのワンクリック統合をサポートします。

Presto

• コミュニティバージョン 389 にアップグレードしました。

  コミュニティが提供するスタンドアロンの Delta Lake および Hudi コネクタを使用します。

  • このバージョンの Delta Lake コネクタは、Time Travel と Z-Order をサポートしていません。

  • このバージョンの Hudi コネクタは、MOR テーブルのクエリをサポートしていません。

• LDAP とのワンクリック統合をサポートします。

DeltaLake

• 自動化されたレイクテーブル管理のために DLF と統合されました。

• Ranger 権限付与をサポートします。

• タイムスタンプフィールドの統計を収集できない問題を修正しました。

• optimize および vacuum コマンドがメトリック情報を返すようになりました。

Hudi

バージョン 0.11.1 にアップグレードしました。

HadoopCommon

HDFS、YARN、および JindoSDK の構成が互いに上書きされる問題を解決するために、新しいコンポーネントを追加しました。

YARN

弾力性のある機能を強化しました。

Ranger

• Spark2 と Spark3 の両方をサポートします。

• Ranger Usersync は LDAP とのワンクリック統合をサポートします。

Kafka

CruiseControl は起動時に自動的に関連トピックを作成します。

HBase

コンポーネントを追加しました。バージョンは 1.4.9 です。

Phoenix

コンポーネントを追加しました。バージョンは 4.14.1 です。

Doris

バージョン 1.1.1 にアップグレードしました。

StarRocks

バージョン 2.2.3 にアップグレードしました。

ClickHouse

OSS から大きなファイルを読み取るときのメモリオーバーフローの問題を修正しました。

サービス

変更

JindoData

コンポーネントを追加しました。バージョンは 4.3.0 です。

JindoSDK

バージョン 4.3.0 にアップグレードしました。

Spark

バージョン 3.2.1 にアップグレードしました。

Hive

• Speculation が有効な場合に TEZ が繰り返しコミットするバグを修正しました。

• 関数を再読み込みした後にのみ UDF を呼び出すことができるバグを修正しました。

Presto

Hadoop クラスターが初期化されたときに追加された Presto サービスを開始できないバグを修正しました。

DeltaLake

Streaming SQL との互換性の問題を修正しました。

Hudi

バージョン 0.10.1 にアップグレードしました。

Iceberg

バージョン 0.13.1 にアップグレードしました。

YARN

• ApplicationMasters (AM) が CORE グループノードでのみ実行されるように制限する機能を追加しました。

• mareduce.map.java.opts 構成に taihaodoctor がない問題を修正しました。

Zookeeper

JVM パラメーター構成を最適化しました。

Flink

JindoSDK 4.3.0 に適合しました。

Impala

Flume

Druid

Sqoop

PostgreSQL のバージョンをアップグレードしました。

Zeppelin

JDBC Interpreter の起動失敗の問題を解決しました。

Ranger

Ranger 1.2.0 Spark Plugin は Hudi をサポートします。

Oozie

Log4j をバージョン 2.17.2 にアップグレードしました。

HBase

HBase 1.4.9 で RegionServer を起動できない問題を修正しました。

DLF-Auth

バージョン 2.0.0 にアップグレードしました。

バージョン

日付

EMR-3.39.2

2022 年 3 月 25 日

EMR-3.39.1 (新規購入はサポートされていません)

2022 年 2 月 15 日

バージョン

日付

EMR-3.38.3

2021 年 12 月

EMR-3.38.2 (新規購入はサポートされていません)

2021 年 12 月

EMR-3.38.1 (新規購入はサポートされていません)

2021 年 11 月

EMR-3.38.0 (新規購入はサポートされていません)

2021 年 10 月

バージョン

日付

EMR-3.37.1

2021 年 9 月

EMR-3.37.0 (新規購入はサポートされていません)

2021 年 8 月

サービス

変更

SmartData

SmartData をバージョン 3.6.1 にアップグレードしました。

詳細については、「SmartData 3.6.x の概要」をご参照ください。

Hive

• Hive をバージョン 2.3.8 にアップグレードしました。

• Data Lake Formation (DLF) メタデータを使用して show create table コマンドを実行すると、誤った結果が返される問題を修正しました。

• Hive のデフォルトパラメーターを最適化し、ジョブのパフォーマンスを向上させました。

• E-MapReduce コンソールの Hive サービスの [設定] ページにある [hive-env] タブの設定項目の名前を、使いやすさのために大文字に変更しました。

• Hive テーブルにデータを書き込む際に、ファイルシステムと Hive メタストア間の非互換性が原因で報告されるエラーメッセージを最適化しました。

HDFS

Zstandard (ZSTD) 圧縮フォーマットのサポートを追加しました。

Flink

Flink をバージョン 1.12-vvr-3.0.2 にアップグレードしました。

Hudi

• Hudi をバージョン 0.8.0 にアップグレードしました。

• Spark SQL との統合のサポートを追加しました。

Spark

• E-MapReduce コンソールの Spark サービスの [設定] ページにある [spark-defaults] タブの設定項目の名前を最適化しました。

• ログ出力のパフォーマンスを最適化しました。

• ZSTD 圧縮フォーマットのサポートを追加しました。

Impala

Hadoop 分散ファイルシステム (HDFS) を使用する際にコアダンプエラーが発生する問題を修正しました。

Tez

Tez のデフォルトパラメーターを最適化し、ジョブのパフォーマンスを向上させました。

Knox

• Kudu コンポーネントのサポートを追加しました。

• Impala コンポーネントのサポートを追加しました。

• Hbase コンポーネントのサポートを追加しました。

Phoenix

Hive または Spark SQL を使用して Phoenix テーブルにアクセスする際に、「Java Database Connectivity (JDBC) Driver not found」エラーが報告される問題を修正しました。

ClickHouse

アプリケーションパフォーマンス管理 (APM) のモニタリングとアラートを有効にしました。

サービス

変更

SmartData

バージョン 3.5.0 にアップグレードされました。

詳細については、「SmartData 3.5.x の概要」をご参照ください。

Spark

• 一部のシナリオで Adaptive Execution が有効にならない問題が修正されました。

• 統計集計関数の動作が Hive の動作と一致しない問題が修正されました。

• Hive ORC テーブルから char 型のデータが正しく読み取られない問題が修正されました。

HDFS

SM4 国家暗号化アルゴリズムのサポートが追加されました。

Hue

Hue がバージョン 4.9.0 にアップグレードされました。

Alluxio

Alluxio がバージョン 2.5.0 にアップグレードされました。

Druid

• Druid がバージョン 0.20.1 にアップグレードされました。

• セキュリティが強化されました。

Livy

Livy がバージョン 0.7.1 にアップグレードされました。

サービス

変更

SmartData

バージョン 3.4.0 にアップグレードされました。

詳細については、「SmartData 3.4.x の概要」をご参照ください。

Spark

Hive

• 一部のデフォルト構成が最適化されました。

• パフォーマンスの最適化: コストベースオプティマイザー (CBO) が強化されました。

• ワンクリックで LDAP 機能を有効または無効にする機能がサポートされました。

• Calcite がバージョン 1.12.0 にアップグレードされました。

• [hive.security.authorization.sqlstd.confwhitelist.append] パラメーターが追加されました。

Presto

ワンクリックで LDAP 機能を有効または無効にする機能がサポートされました。

YARN

Hadoop Web UI への不正アクセスに関連する重要なセキュリティ脅威が修正されました。この脅威は、Secure Shell (SSH) トンネルを介して YARN Web UI にアクセスする際に発生し、URL で user.name=name を明示的に指定する必要がありました。

Zookeeper

バージョン 3.6.2 にアップグレードされました。

Flink

初期化中に config.sh ファイルが更新され、HADOOP_CLASSPATH の問題が修正されました。

Impala

• Impala がバージョン 3.4.0 にアップグレードされました。

• Shiro がバージョン 1.7.0 にアップグレードされました。

• Data Lake Formation (DLF) メタデータがサポートされました。

• Delta フォーマットのデータのクエリがサポートされました。

• ワンクリックで LDAP 機能を有効または無効にする機能がサポートされました。

Tez

デフォルト構成が最適化されました。

HAS

HAS インストールフロー中にエラーが発生した後、admin.keytab ファイルを再初期化できない問題が修正されました。

Ranger

• Spark のフィルタープッシュダウンによって引き起こされる問題が修正されました。

• Ranger で Presto を無効にした後、Presto を有効にできない問題が修正されました。

• クリックで LDAP 認証を有効または無効にできます。

Knox

Druid 0.20.0 の Knox リンクに関する問題が修正されました。

Hue

ワンクリックで LDAP 機能を有効または無効にする機能がサポートされました。

Hudi

Delta Lake

Superset

• 管理者ユーザーが Web UI にログオンできない問題が修正されました。

• データセットは Druid クラスターと互換性があります。

• Spark SQL データセットはサポートされなくなりました。

Sqoop

Parquet フォーマットのファイルを Object Storage Service (OSS) にインポートする機能がサポートされました。

Alluxio

バージョン 2.4.1 にアップグレードされました。

Phoenix

Hive on Phoenix でバッキングフィールド設定がサポートされるようになりました。

Pig

削除されました。

サービス

変更

SmartData

バージョン 3.2.0 にアップグレードされました。

詳細については、「SmartData 3.2.x の概要」をご参照ください。

Spark

• バージョン 2.4.7 にアップグレードされました。

• jQuery がバージョン 3.5.1 にアップグレードされました。

• テーブルとパーティションのサイズを自動的に更新するための Hive との互換性が追加されました。

• Spark のメタデータとジョブ実行情報を DataWorks に出力する機能がサポートされました。

Hive

• バージョン 2.3.7 にアップグレードされました。

• HCatalog が Data Lake Formation をサポートするようになりました。

• Hive のメタデータとジョブ実行情報を DataWorks に出力する機能がサポートされました。

Metastore

• Hive Statistics 機能が追加されました。

• HCatalog が Data Lake Formation をサポートするようになりました。

• STS トークンを取得するメソッドが最適化されました。

HDFS

jQuery がバージョン 3.5.1 にアップグレードされました。

YARN

• jQuery がバージョン 3.5.1 にアップグレードされました。

• Fair Scheduler の構成が調整されました。

• Timeline Server が最適化されました。

Zeppelin

バージョン 0.9.0 にアップグレードされました。

Ranger

• Hive の監査ログ構成が追加されました。

• Log4j の監査構成が追加されました。

OpenLDAP

• 監査機能が追加されました。

• SSL ポート (10636) がデフォルトで有効になりました。

• Presto のワンクリック起動がサポートされました。

Knox

• Spring の脆弱性が修正されました。

• Spark UI の Executors ページの表示に関する問題が修正されました。

• Oozie のジョブステータスページに関する問題が修正されました。

Hue

Presto がサポートされました。

Druid

バージョン 0.20.0 にアップグレードされました。

EMRHook

• 新しいソフトウェアサービスが追加されました。

• hive-hook: Hive のメタデータとジョブ実行情報を DataWorks に出力する機能をサポートします。

• spark-hook: Spark のメタデータとジョブ実行情報を DataWorks に出力する機能をサポートします。

サービス

変更

SmartData

バージョン 3.1.0 にアップグレードされました。

詳細については、「SmartData 3.1.x の概要」をご参照ください。

Alluxio

• Alluxio 2.4.0 をサポートします。

• デフォルトのパラメーター設定は、クラスターノードのサイズに応じてスケーリングされます。

• EMR クラスターの HDFS をデフォルトの UnderFS として使用します。この機能はすぐに使用できます。

• Alluxio OSS UnderFS が強化され、OSS の複数バージョン管理などの新機能をサポートするようになりました。

• Hadoop、Hive、Spark、Presto などのエンジンと互換性があります。

HUDI

HUDI 0.6.0 をサポートします。

Spark

JindoTable は、データ収集機能の有効化または無効化をサポートします。

Hive

• HiveServer の接続プールリークの問題を修正しました。

• JindoTable は、データ収集機能の有効化または無効化をサポートします。

• ADD COLUMN のパフォーマンスを最適化しました。

• HUDI テーブルから不正なデータが読み取られる問題を修正しました。

• デフォルトのパラメーター設定は、クラスターノードのサイズに応じてスケーリングされます。

HDFS

より多くのスナップショットをサポートします。

YARN

デフォルトのパラメーター設定は、クラスターノードのサイズに応じてスケーリングされます。

Tez

デフォルトのパラメーター設定は、クラスターノードのサイズに応じてスケーリングされます。

Sqoop

Avro フォーマットのファイルのインポートに関する問題を修正しました。

サービス

更新

SmartData

3.0.0 にアップグレードされました。

詳細については、「SmartData 3.0.x の概要」をご参照ください。

Spark

• Alibaba Cloud Data Lake Formation (DLF) メタデータのサポートが追加されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

• Streaming SQL のバックティックに関する問題が修正されました。

• Delta JAR パッケージが削除されました。Delta は個別にデプロイされるようになりました。

• すべてのログを HDFS に書き込むようにログパスが変更されました。

Hive

• Alibaba Cloud DLF メタデータのサポートが追加されました。

• Delta テーブルの空のディレクトリを読み取るときに DUMMY ファイルが書き込まれる問題が解決されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

Presto

• Alibaba Cloud DLF メタデータのサポートが追加されました。

• Delta テーブルの読み取りを制限する問題が解決されました。

• 高セキュリティモードで JVM 構成が欠落する問題が修正されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

HDFS

• ホットスワップ可能なディスクモードのサポートが追加されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

YARN

• YARN RMZKStateStore の問題が修正されました。

• SLS によって出力される SNAPPY ファイルのサポートが追加されました。

• MapReduce ローカルモードのディレクトリ構成が変更され、ディレクトリ権限のチェック問題が解決されました。

• ホットスワップ可能なディスクモードのサポートが追加されました。

• すべてのログを HDFS に書き込むようにログパスが設定されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

Zookeeper

• 起動時にサービスポートを内部 IP アドレスにアタッチするサポートが追加されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

Flink-Vvp

• バージョン 1.11-2.2.2 にアップグレードされました。

• SQL および Autopilot 機能のサポートが追加されました。

Flink

• キャッシュモードでの OSS への書き込みのサポートが追加されました。この機能は、Flink Checkpoints と再開可能なソースと組み合わせることで、EXACTLY_ONCE セマンティクスを実現します。

• Flink コミュニティバージョン 1.11.1 の機能と同期されました。SQL は複数の出力 (MULTI INSERT) をサポートするようになりました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

Impala

• catalogd.flgs、impalad.flgs、および statestored.flgs のカスタム構成のサポートが追加されました。

• Shiro がバージョン 1.6.0 にアップグレードされました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

Tez

• Application Master (AM) のデフォルトのメモリパラメーターが最適化されました。

• HAS 依存関係が 2.0.1 にアップグレードされました。

HAS

HAS 依存関係が 2.0.1 にアップグレードされました。

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

サービス

変更点

Bigboot

• バージョン 2.7.301 にアップグレードされました。

• Jindo DistCp は、アーカイブまたは低頻度アクセスストレージタイプの OSS へのデータ書き込みをサポートするようになりました。

• 複数の名前空間をサポートするために FUSE 機能が強化されました。

• キャッシュモードのメタデータキャッシュ機能が改善されました。

Spark

• Spark が 2.4.5.2.0 にアップグレードされました。

• サードパーティのメタストアのサポートが追加されました。

• datalake metastore-client が追加されました。

Hive

• Hive が 2.3.5.6.0 にアップグレードされました。

• サードパーティのメタストアのサポートが追加されました。

• datalake metastore-client が追加されました。

Presto

バージョン 338 にアップグレードされました。

Ranger

• ソフトウェアパッケージが 1.2.0-1.5.0 にアップグレードされました。

• Presto 338 のサポートが追加されました。

• 構成ファイルに説明が追加されました。

Hadoop 分散ファイルシステム (HDFS)

データノードの予約領域サイズの適応構成が有効になりました。

Knox

Impala、Flink の新しいバージョン、および PAI がサポートされるようになりました。

Druid

バージョン 0.18.1 にアップグレードされました。

SmartData

バージョン 2.7.301 にアップグレードされました。

サービス

変更

Bigboot

• テーブルとパーティションのホットスポット統計を提供する JindoTable の最初のバージョンをリリースしました。

• ブロックモードでの完全なストレージポリシーと、低頻度アクセスやアーカイブなどの階層型ストレージポリシーのサポートを追加しました。

• Jindo DistCp データ移行ツールを追加しました。

• Jindo Fuse を改善および修正しました。

• キャッシュモードでの JFS スキームと Hive エンジンおよび Jindo JobCommitter との統合を改善しました。

• OSS から直接データを読み取るためにブロックモードで読み取り比率を設定する機能を追加しました。これにより、ローカルキャッシュからの読み取りのオーバーヘッドが削減されます。

• JindoFS ソフトウェアモジュールを Bigboot (コントロールレイヤー)、Smartdata (分散サービス)、および JindoFS SDK に分離しました。各モジュールは個別にアップグレードおよび保守できます。

サービス

変更

Flink

オープンソースの Flink を Ververica Platform Enterprise Edition にアップグレードしました。このプラットフォームは、オープンソースの Flink 1.10 をベースに大幅にカスタマイズされており、自社開発の Gemini ストレージエンジンなどの付加価値機能を提供します。

Bigboot

バージョン 2.7.0 にアップグレードしました。

Delta

• バージョン 0.6.0 にアップグレードしました。

• Delta コードを Spark コードから分離しました。

Spark

• バージョン 2.4.5 にアップグレードしました。

• DataFactory の streaming-sql スクリプトをサポートします。

• Delta 0.6.0 をサポートします。

Hive

Delta 0.6.0 をサポートします。

Ranger

• Hadoop 分散ファイルシステム (HDFS)、Hive、および Spark のカスタムデプロイメントをサポートします。

• コンソールでの ranger-admin-site および ranger-ugsync-site の構成をサポートします。

HDFS

利用可能な DataNode がないために HDFS の書き込みが失敗した場合に、DataNode の例外情報を出力するようになりました (HDFS-9023)。

Hue

• Gateway クラスターへの Hue コンポーネントのインストールをサポートします。

• 単一ノードへの複数の Hue インスタンスのデプロイをサポートします。

DataFactory

Delta 0.6.0 をサポートします。

Druid

バージョン 0.18.0 にアップグレードしました。

Knox

• バージョン 1.1.0-1.0.7 にアップグレードしました。

• HBase UI をサポートします。

バージョン

日付

EMR-3.27.0

2020年4月29日

EMR-3.27.1 (新規購入はサポートされていません)

2020年5月8日

EMR-3.27.2 (新規購入はサポートされていません)

2020年5月20日

機能

変更

カスタムコンポーネントのデプロイメント

マスターノードでのコンポーネントのカスタムデプロイメントのサポートが追加されました。次のコンポーネントがサポートされています:

• Hadoop

• Spark

• Hive

• Zookeeper

• Presto

Auto Scaling のグレースフルシャットダウン

グレースフルシャットダウンが有効になっている場合、ノードはすぐにはリリースされません。指定された期間内にタスクが完了した後にリリースされます。

サービス

変更

Spark

• CUBE が日付型のパーティションフィールドをサポートするようになりました。

• Spark-Submit のスタック深度が増加しました。

Delta

• CREATE、SHOW、DESCRIBE などのコマンドを含む、データ定義言語 (DDL) 構文が強化されました。

• Delta が ZOrder を使用した Optimize 構文をサポートするようになりました。

Knox

• Druid ユーザーインターフェイス (UI) に対応しました。

• マルチマスターデプロイメントがサポートされています。

Hive

• hcatalog テーブルが magic committer をサポートするようになりました。

• 古いデフォルト構成の一部が削除されました。

Bigboot

• バージョン 2.6.3 にアップグレードされました。

• マルチマスターデプロイメントがサポートされています。

SmartData

• バージョン 2.6.3 にアップグレードされました。

• マルチマスターデプロイメントがサポートされています。

Ranger

• Ranger が Solr コンポーネントをサポートするようになりました。

• Ranger が PrestoSQL バージョン 311 をサポートするようになりました。

Tez

Tez が OSS 上での scratchdir の設定をサポートするようになりました。

Presto

バージョン 331 にアップグレードされました。

Druid

バージョン 0.17.1 にアップグレードされました。

Superset

バージョン 0.35.2 にアップグレードされました。

Sqoop

• MySQL Java Database Connectivity (JDBC) JAR パッケージがバージョン 5.1.48 にアップグレードされました。

• MySQL ダイレクトエクスポートモードでは、--mysql-charset を使用してカスタムエンコーディングを設定できます。

バージョン

日付

EMR-3.26.3 (新規購入はサポートされていません)

2020年4月16日

サービス

変更

Bigboot

• バージョン 2.6.3 にアップグレードされました。

• OTS メタデータと Namespace HA のサポートが追加されました。

SmartData

Hive

HCatalog テーブルがダイレクトコミッターをサポートするようになりました。

YARN

デフォルトのコミッターが JindoOssCommitter に変更されました。

HDFS

JindoFS 関連の構成がアップグレードされました。

Spark

デフォルトのコミッターが JindoOssCommitter に変更されました。

サービス

変更

Ranger

• 高可用性 (HA) クラスター用に RangerAdmin データベースを初期化しました。

• RangerUserSync 起動スクリプトのセキュリティ問題を修正しました。

Spark

• コンソールで spark.sql.extensions などの Delta 関連パラメーターを設定できるようになりました。

• 入力フォーマットを設定せずに Hive が Delta テーブルを読み取れるようになりました。

• ALTER TABLE SET TBLPROPERTIES および UNSET TBLPROPERTIES 文のサポートが追加されました。

Delta

Hive

自動ローカルモードで MapReduce (MR) タスクの実行が失敗する問題を修正しました。

Presto

• バージョン 310 にアップグレードしました。

• joda-time のバージョンを 2.10.5 にアップグレードしました。

Tez

• バージョン 0.9.2 にアップグレードしました。

• Tez ユーザーインターフェース (UI) でアプリケーションの進捗が正しく表示されない問題を修正しました。

• Tez UI でアプリケーションの履歴を表示できない問題を修正しました。

Impala

Impala が LZO テーブルにアクセスできない問題を修正しました。

HDFS

mongo-hadoop 関連の JAR パッケージを削除しました。

Zookeeper

バージョン 3.5.6 にアップグレードしました。

YARN

Tez UI に対応しました。[yarn-site] タブで、設定項目 [yarn.resourcemanager.system-metrics-publisher.enabled=true] を追加できるようになりました。

Bigboot

• バージョン 2.2.3 にアップグレードしました。

• OSS キャッシュモードでの名前変更操作のサポートが追加されました。

SmartData

Knox

依存関係パッケージのバージョンをアップグレードしました。

Oozie

依存関係パッケージのバージョンをアップグレードしました。

サービス

変更

Delta

• ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE、VACUUM などの SQL 構文をサポートします。

• OPTIMIZE コマンドを組み込み、最適化しました。

• Hive コネクタをサポートします。

• 他の既存のオープンソース機能をサポートします。

Grafana

スタンドアロン Flink クラスターの新しいコンポーネントとして追加されました。バージョン: 6.4.2。

Prometheus

スタンドアロン Flink クラスターの新しいコンポーネントとして追加されました。バージョン: 2.13.0。

AlertManager

スタンドアロン Flink クラスターの新しいコンポーネントとして追加されました。バージョン: 0.19.0。

TensorFlow on spark

• Spark 上での TensorFlow の実行をサポートします。これにより、Spark と深層学習フレームワークが深く統合されます。この統合には、最適化されたタスクスケジューリングとデータ交換が含まれます。データの前処理からディープラーニングトレーニングまで、完全なワークフローを提供します。

• ストリーミングタスクをサポートします。

サービス

変更

SmartData

• JindoFS の使用モードを最適化しました。Block モードの使用法は変更されていません。Cache モードは、元の使用法をサポートし、元の OSS ファイルシステムの使用法とも互換性があります。データとメタデータのキャッシュをサポートします。これらの機能は、構成によって個別に有効または無効にすることができ、デフォルトでは無効になっています。

• Block モードと Cache モードの読み取りおよび書き込みパフォーマンスを最適化しました。

• ディスククリーンアップを最適化しました。これにより、ローカルディスクにキャッシュされたホットデータに対して、より正確な統計とタイムリーなクリーンアップが提供されます。ディスク使用率がクォータを超えないように厳密に保証します。

• Gateway クラスターのサポートを改善しました。Block モードと Cache モードが Gateway で使用できるようになりました。

• 1 つのストレージクラスターが複数の計算クラスターから分離されるデプロイメントモードをサポートします。

Spark

• Delta 関連のパラメーターのサポートを追加しました。

• Ranger Spark プラグイン構成のサポートを追加しました。

• JindoCube をバージョン 0.3.0 にアップグレードしました。

Hive

• SQL 互換性チェック機能のロジックを追加しました。

• Hive 2.3.5 と Hadoop 2.8.5 の組み合わせをリリースしました。

• コンポーネントを再起動する際、hiveserver2-site.xml の内容は spark-conf 配下の hive-site.xml に同期されなくなりました。

• MSCK コマンドを使用して増分フォルダを追加することをサポートします。

• Hive が Tez コンテナーを再利用する際に発生するバグを修正しました。

• MSCK コマンドを使用して列ベースのフォルダを最適化することをサポートします。

Bigboot

2.2.1 にアップグレードしました。一部のマシンモデルでのネイティブコードサポートに関する問題を修正しました。

Ranger

• Spark プラグインのデプロイメントメソッドをリファクタリングしました。

• HA クラスターの header2 が keytab を取得しないバグを修正しました。

Kudu

起動ロジックを修正しました。

Zookeeper

4 文字の単語の構成を追加しました。これはデフォルトで有効になっています。

HDFS

JindoFS との互換性を追加しました。

YARN

• [yarn.scheduler.capacity.node-locality-delay] 構成のデフォルト値を -1 に変更しました。

• JindoFS との互換性を追加しました。

Has

バックエンドとして OpenLDAP と統合しました。

OpenLDAP

Has との互換性を追加しました。

Presto

バージョン 0.228 にアップグレードしました。

Kafka

D1 の不良ディスクを削除しました。

Druid

0.16.0 にアップグレードしました。

Flume

1.9.0 にアップグレードしました。

Flink

• 1.9.1 にアップグレードしました。

• スタンドアロン Flink クラスターをサポートします (ホワイトリストにリリース)。

サービス

変更

Druid

• 0.15.1 にアップグレードしました。

• ルーターコンポーネントを追加しました。

• fastjson をアップグレードしました。

Spark

• クラスローダーの問題を修正するために Spark Thrift Server を更新しました。

• 安定性を向上させるために Spark トランザクションコードをリファクタリングしました。

• 組み込みの Hive がバージョン 2.3 にアップグレードされた後、ORC フォーマットのファイルの読み書きに関する問題を修正しました。

• MERGE INTO 構文のサポートを追加しました。

• SCAN および STREAM 構文のサポートを追加しました。

• Structured Streaming Kafka シンクが 1 回限りのセマンティクス (EOS) をサポートするようになりました。

• Delta Lake を 0.4.0 に更新しました。

Hive

• 古いバージョンの Hive フックを削除しました。

• 複数の COUNT(DISTINCT) フィールドのデータスキューを処理するための最適化を追加しました。

• 異なるバケットバージョンのテーブルを結合する際にデータが失われる問題を修正しました。

Flink

1.8.2 にアップグレードしました。

Bigboot

• small ファイルツールを更新しました。

• 非デーモンスレッドの問題を修正するために OSS JAR パッケージを更新しました。

Kafka

• Deployment Set awareness 機能のサポートを追加しました。

• fastjson の依存関係を削除しました。

HDFS

• SmartData OSS JAR パッケージのデプロイメントロジックを最適化しました。

• SmartData OSS JAR パッケージを更新しました。

Flume

fastjson をアップグレードしました。

TensorFlow on Spark

このサービスを追加しました。

HAS

fastjson をアップグレードしました。

Livy

fastjson をアップグレードしました。

サービス

変更

Kudu

• 新しいコンポーネントとして Kudu を追加しました。Kudu は Hadoop エコシステムのギャップを埋めます。HBase と同様の高速なデータ挿入とランダムアクセスを提供し、データを変更できます。また、Hadoop 分散ファイルシステム (HDFS) や Parquet と同様の大規模なデータ分析およびクエリ機能も提供します。

  • カスタム開発用に C++ および Java API を提供します。

  • Impala、Spark、Hive Metastore と統合します。

• このバージョンの Kudu は Apache Kudu 1.10.0 に基づいています。

OpenLDAP

• ApacheDS を置き換える新しいコンポーネントとして OpenLDAP を追加しました。ApacheDS はオフラインになりました。

• 高可用性 (HA) をサポートします。

コンポーネント

詳細

JindoFileSystem

• 複数のストレージモード

  • ブロックモード: データはバックエンド OSS にブロックとして保存されます。ローカルの Namespace サービスがメタデータを維持します。ブロックモードは、より優れたメタデータとデータパフォーマンスを提供します。ブロックモードは、WARM (ローカルレプリカ、OSS レプリカ)、COLD (OSS レプリカのみ)、HOT (複数のローカルレプリカ、OSS レプリカ)、TEMP (ローカルレプリカのみ)、ALL_HDD (複数のローカルレプリカ) など、さまざまなストレージポリシーをサポートします。デフォルトのポリシーは WARM です。アプリケーションシナリオに基づいて、フォルダに異なるストレージポリシーを設定できます。

  • キャッシュモード: このモードは、既存の OSS ストレージメソッドと互換性があります。キャッシュモードでは、ファイルは OSS にオブジェクトとして保存されます。各ファイルのデータとメタデータは、アクセス頻度に基づいてローカルにキャッシュされます。これにより、データとメタデータのアクセスパフォーマンスが向上します。キャッシュモードは、さまざまなシナリオのニーズを満たすために、さまざまなメタデータ同期ポリシーを提供します。

• 外部クライアントのサポート

  • クライアントソフトウェア開発キット (SDK) を使用すると、EMR クラスターの外部から EMR JindoFS ファイルシステムにアクセスできます。クライアントを使用してブロックモードで Namespace にアクセスできます。ただし、外部クライアントは、EMR クラスター内で EMR JindoFS によって構築されたデータキャッシュを使用できません。これにより、EMR クラスター内で使用する場合と比較してパフォーマンスが低下します。

  • キャッシュモードは、元の OSS ストレージセマンティクスを保持します。JindoFS を使用して、EMR クラスター内のデータキャッシュを高速化します。したがって、OSS SDK や EMR OssFileSystem などの OSS クライアントを使用して、EMR クラスターの外部からデータに直接アクセスできます。

• エコシステムコンポーネントのサポート

  • JindoFS は、Spark、Flink、Hive、MapReduce、Impala、Presto など、EMR 上の多くのコンピュートエンジンをサポートするようになりました。

  • コンピューティングとストレージを分離するシナリオでは、YARN Container ログや Spark Event ログなどのジョブログを JindoFS に保存することもできます。

  • JindoFS は、HBase の HFile バックエンドストレージとして使用して、そのストレージ容量を拡張できます。

OssFileSystem

• 不良ディスクを自動的に検出するロジックを OssFileSystem に追加しました。これにより、不良ディスクが原因で OSS 書き込み中にキャッシュ書き込みが失敗する問題が修正されます。

• OssFileSystem の関連構成を完了しました。

Bigboot

• バージョン 2.0.0 にアップグレードしました。

• 複数の Namespace のサポート、ローカルデータブロックのラージファイルとしての保存、マルチモードストレージ、外部クライアントなど、いくつかの主要な更新が含まれています。

• マシンの再起動中に Bigboot モニターのステータスが正しくない問題を修正しました。

• Kudu コンポーネントのサービス仕様を追加しました。

• すべてのサービス仕様の正当性チェックを追加しました。

Hadoop

• HDFS

  • HDFS Federation に対応しました。カスタム構成と API を使用して HDFS Federation クラスターを作成できるようになりました。これにより、Federation クラスターを作成する際の 2 回目のフォーマット操作が不要になります。

  • 不良ディスク検出ロジックを最適化しました。ローカルディスクのシナリオでは、dfsadmin によって DataNode ブロックレポートがトリガーされたときに、不良ディスク検出をトリガーできます。

• YARN

  MapReduce ジョブの Container ログが JindoFS または OSS に保存されている場合に、MapReduce JobHistory ジョブリストが更新されない問題を修正しました。

Spark

• リレーショナルキャッシュ

  リレーショナルキャッシュのサポートを追加しました。リレーショナルキャッシュは、事前計算を使用してユーザーのクエリを高速化します。リレーショナルキャッシュを作成してデータを事前計算できます。ユーザーのクエリが実行されると、Spark Optimizer は自動的に適切なキャッシュを見つけ、SQL 実行計画を再書き込みし、キャッシュされたデータに基づいて計算を続行します。これにより、クエリ速度が向上します。この機能は、レポート、ダッシュボード、データ同期、多次元分析などのシナリオに適しています。

  • データ定義言語 (DDL) を使用して、CACHE、UNCACHE、ALTER、SHOW などの操作を実行します。キャッシュされたデータは、すべての Spark データソースとデータ形式をサポートします。

  • REFRESH コマンドを使用した自動キャッシュデータ更新と更新をサポートします。パーティションに基づく増分更新をサポートします。

  • リレーショナルキャッシュに基づく実行計画の最適化をサポートします。

• ストリーミング SQL

  • Stream Query Writer のパラメーター構成を標準化しました。

  • Kafka データテーブルのスキーマ互換性チェックを最適化しました。

  • Kafka データテーブルのスキーマが存在しない場合、SchemaRegistry に自動的に作成されます。

  • Kafka スキーマに互換性がない場合のログ情報を最適化しました。

  • クエリ結果を Kafka テーブルに書き込むときに列名を明示的に指定する必要がある問題を修正しました。

  • ストリーミング SQL クエリが Kafka と Loghub のデータソースのみをサポートするという制限を削除しました。

• Delta

  Delta を追加しました。Spark を使用して Delta データソースを作成し、ストリーミングデータの書き込み、トランザクションの読み取りと書き込み、データ検証、データ履歴などのシナリオをサポートできます。詳細については、「Delta の詳細」をご参照ください。

  • DataFrame API を使用して Delta からデータを読み取ったり、Delta にデータを書き込んだりすることをサポートします。

  • Structured Streaming API を使用して、ソースまたはシンクとして Delta から読み取ったり、Delta に書き込んだりすることをサポートします。

  • Delta API を使用して、更新、削除、マージ、バキューム、最適化などの操作を実行することをサポートします。

  • SQL を使用して、Delta ベースのテーブルの作成、Delta へのデータのインポート、Delta テーブルからのデータの読み取りなどの操作を実行することをサポートします。

• その他

  • プライマリキーと外部キーをサポートする制約機能を追加しました。

  • サーブレットなどの JAR ファイルの競合を解決しました。

Flink

Log4j ログのロールバック

Kafka

• Log4j のログロールバック。

• fastjson をアップグレードしました。

Zeppelin

依存する commons-lang3 パッケージをバージョン 3.7 にアップグレードしました。これにより、PySpark が OSS に書き込めない問題が修正されます。詳細については、「Zeppelin における Spark 2.4 と commons-lang3 の非互換性」をご参照ください。

Ranger

SHOW GRANTS のサポートを追加しました。

Analytics-Zoo

NumPy のインストールエラーを修正しました。

Impala

Apache Kudu 1.10.0 と互換性があります。

Presto

バージョン 0.221 にアップグレードしました。

ZooKeeper

バージョン 3.5.5 にアップグレードしました。