E-MapReduce:EMR-3.x シリーズのリリース

バージョン

日付

EMR-3.55.0

2025年10月27日

サービス

変更

Ranger

• Jindoauth サーバーで、クライアントユーザーがカスタム RAM ロールを使用して OSS にアクセスできるようになりました。

• Ranger YARN プラグインの依存関係の欠落を修正しました。

Paimon

1-ali-16.3 にアップグレードしました。

JindoCache

6.10.1 にアップグレードしました。

バージョン

日付

EMR-3.54.0

2025年7月10日

サービス

変更

Hive

既知の問題を解決しました。

Tez

パフォーマンスと安定性を向上させるため、コミュニティのバグ修正を組み込みました。

バージョン

日付

EMR-3.53.0

2025年4月24日

サービス

変更

Trino

LDAP の可用性の問題を修正しました。

YARN

オープンソースの不具合 (YARN-10213、YARN-6207、YARN-9339) を修正しました。

StarRocks

ストレージとコンピューティングが分離されたクラスターのサポートを追加しました。

JindoCache

6.8.2 にアップグレードしました。

EMRHOOK

安定性を向上させました。

バージョン

日付

EMR-3.52.1

2024年12月18日

EMR-3.52.0 (新規購入不可)

2024年12月4日

サービス

変更

Spark

• スケールアウト中に発生した設定の問題を修正しました。

• Kerberos クラスターでの断続的な SASL 接続の失敗を修正しました。

Hive

スケールアウト中に発生した設定の問題を修正しました。

Trino

LDAP を有効にした後に接続できなくなる問題を修正しました。

Presto

ZooKeeper

カスタム設定のサポートを追加しました。

Ranger

Spark 3 Ranger プラグインをオープンソースの Kyuubi プロジェクトのものに置き換えました。

Hudi

0.15.0 にアップグレードしました。

Celeborn

0.5.2 にアップグレードしました。

JindoCache

6.5.3 にアップグレードしました。

StarRocks 3

3.2.11 にアップグレードしました。

Kyuubi

1.9.2 にアップグレードしました。

StarRocks 2

2.5.22 にアップグレードしました。

Impala

Kudu

Kafka

Kafka-Manager

バージョン

リリース日

EMR-3.51.4

2024年12月18日

EMR-3.51.3 (新規購入不可)

2024年11月29日

EMR-3.51.2 (新規購入不可)

2024年8月29日

EMR-3.51.1 (新規購入不可)

2024年6月21日

EMR-3.51.0 (新規購入不可)

2024年4月23日

バージョン

日付

EMR-3.50.0

2024年2月19日

サービス

変更

Hudi

バージョン 0.14.0 にアップグレードしました。

Flume

バージョン 1.11.0 にアップグレードしました。

Kyuubi

バージョン 1.7.3 にアップグレードしました。

Impala

バージョン 4.3.0 にアップグレードしました。

Celeborn

バージョン 0.3.2 にアップグレードしました。

JindoCache

バージョン 6.2.0 にアップグレードしました。

Paimon

バージョン 0.7-ali-1 にアップグレードしました。

Kafka

• バージョン 3.6.1 にアップグレードしました。

• Kafka Connect の SASL 認証の脆弱性を修正しました。

Spark

Commons Text の脆弱性を修正しました。

StarRocks

• StarRocks 2 をバージョン 2.5.13 にアップグレードしました。

• StarRocks 3 をバージョン 3.1.5 にアップグレードしました。

Ranger

• Commons Text の脆弱性を修正しました。

• Spring Security のパス一致による権限バイパスの脆弱性を修正しました。

• Spring Security のフォワード/インクルード認証バイパスの脆弱性を修正しました。

• Spring Framework の特殊なパターン一致による認証バイパスの脆弱性を修正しました。

• Ranger LDAP ユーザーの同期期間が設定可能になりました。

バージョン

日付

EMR-3.49.1

2023年11月16日

EMR-3.49.0 (購入不可)

2023年10月27日

コンポーネント

変更

JindoCache

JindoCache コンポーネント、バージョン 6.1.1 を追加しました。

JindoData

JindoData は利用できません。データキャッシングには JindoCache を、認証には DLF-Auth を使用できます。

Spark

hive-site.xml から jdo 関連の設定を削除しました。

HBase

HBase Thrift Server のバージョン (v1 または v2) を選択する設定オプションを追加しました。

StarRocks

StarRocks を 2.5.10 にアップグレードしました。

Doris

Doris を 1.2.7 にアップグレードしました。

Celeborn

Celeborn を 0.3.1 にアップグレードしました。

Paimon

Paimon を 0.6-ali-2 にアップグレードしました。

ClickHouse

ClickHouse を 23.8.2.7 にアップグレードしました。

バージョン

日付

EMR-3.48.2

2023年8月17日

サービス

説明

Trino

• Paimon コネクタが HDFS テーブルをクエリできない問題を修正しました。

• ワーカーノードのメトリックが読み取れない問題を修正しました。

Presto

• バージョン 0.283 にアップグレードしました。

• ワーカーノードのメトリックが読み取れない問題を修正しました。

ClickHouse

デフォルトユーザーにすべての権限が付与されるようになりました。

StarRocks

• 既存の StarRocks サービスを StarRocks2 に改名しました。

• StarRocks3 (バージョン 3.1.2) を追加しました。これはデフォルトでコンピューティングとストレージの統合を使用します。コンピューティングとストレージの分離はサポートされていません。

Celeborn

バージョン 0.3.0 にアップグレードしました。

バージョン

リリース日

EMR-3.47.0

2023年8月3日

サービス

説明

Hudi

バージョン 0.13.1 にアップグレードしました。

Paimon

バージョン 0.5-ali-1 にアップグレードしました。

StarRocks

バージョン 2.5.8 にアップグレードしました。

JindoData

バージョン 4.6.11 にアップグレードしました。

Trino

• バージョン 422 にアップグレードしました。

• Hudi コネクタでマージオンリード (MOR) テーブルのクエリをサポートしました。

• 動的 UDF 読み込みのエラーメッセージを改善しました。

バージョン

日付

EMR-3.46.1

2023年7月13日

EMR-3.46.0 (購入不可)

2023年6月1日

バージョン

日付

EMR-3.45.1

2023年4月3日

EMR-3.45.0 (新規購入不可)

2023年2月28日

サービス

変更

Iceberg

バージョン 0.14.1 にアップグレードしました。

Flink

Apache Flink 1.15 メジャーバージョンをベースにした Flink 1.15-vvr-6.0.2 にアップグレードしました。

Kafka

• LDAP を使用したユーザーログイン認証と権限付与のサポートを追加しました。

• ユーザーグループ権限付与のサポートを追加しました。

Trino

• EMR Presto は、公式コミュニティ名である Trino に改名されました。

• Ranger と DLF-Auth のサポートを追加しました。

• LDAP を有効にした後、ワーカーノードへの接続が失敗する問題を修正しました。

JindoSDK

バージョン 4.6.2 にアップグレードしました。

JindoData

バージョン 4.6.2 にアップグレードしました。

HBase

• Ranger のサポートを追加しました。

• サービス追加時に OSS-HDFS をストレージモードとして選択できない問題を修正しました。

YARN

セキュリティモードでは、アクセス制御リスト (ACL) 機能がデフォルトで有効になりました。

StarRocks

バージョン 2.3.4 にアップグレードしました。

Doris

バージョン 1.1.5 にアップグレードしました。

Hudi

コンソールで hudi-defaults.conf を設定するサポートを追加しました。

Ranger

Trino、YARN、HBase、Kafka との統合を追加しました。

DLF-Auth

• バージョン 2.0.2 にアップグレードしました。

• Trino と Impala のサポートを追加しました。

OpenLDAP

Nslcd コンポーネントと統合しました。

Kudu

Kudu TServer はタスクノードグループにインストールできなくなりました。

Spark

バージョン 3.3.1 にアップグレードしました。

Tez

バージョン 0.10.2 にアップグレードしました。

Kyuubi

バージョン 1.6.0 にアップグレードしました。

バージョン

日付

EMR-3.43.1

2022年11月8日

EMR-3.43.0 (新規購入不可)

2022年10月14日

サービス

変更

Hive

ワンクリック LDAP 統合のサポートを追加しました。

Presto

• コミュニティバージョン 389 にアップグレードしました。

  Delta Lake と Hudi 用にコミュニティのスタンドアロンコネクタを使用します。

  • このバージョンの Delta Lake コネクタは、タイムトラベルまたは Z-Order 機能をサポートしていません。

  • Hudi コネクタは MOR テーブルのクエリをサポートしていません。

• ワンクリック LDAP 統合のサポートを追加しました。

Delta Lake

• Data Lake Formation と統合し、レイクテーブルを自動的に管理するようになりました。

• Ranger 認証をサポートするようになりました。

• TIMESTAMP フィールドの統計を収集できない問題を修正しました。

• optimize および vacuum コマンドがメトリックを返すようになりました。

Hudi

バージョン 0.11.1 にアップグレードしました。

Hadoop Common

HDFS、YARN、JindoSDK 間の設定の競合を解決するために Hadoop Common コンポーネントを追加しました。

YARN

自動スケーリングを強化しました。

Ranger

• Spark 2 と Spark 3 の両方をサポートするようになりました。

• Ranger UserSync とのワンクリック LDAP 統合をサポートするようになりました。

Kafka

Cruise Control が起動時に必要なトピックを自動的に作成するようになりました。

HBase

HBase コンポーネント、バージョン 1.4.9 を追加しました。

Phoenix

Phoenix コンポーネント、バージョン 4.14.1 を追加しました。

Doris

バージョン 1.1.1 にアップグレードしました。

StarRocks

バージョン 2.2.3 にアップグレードしました。

ClickHouse

Object Storage Service から大きなファイルを読み取る際のメモリ不足 (OOM) エラーを修正しました。

コンポーネント

説明

JindoData

バージョン 4.3.0 の新しいコンポーネントとして追加されました。

JindoSDK

4.3.0 にアップグレードしました。

Spark

3.2.1 にアップグレードしました。

Hive

• 投機的実行が有効な場合に Tez で重複コミットが発生する問題を修正しました。

• UDF を呼び出す前に再読み込みする必要がある問題を修正しました。

Presto

初期化された Hadoop クラスターに追加された Presto サービスが起動に失敗する問題を修正しました。

Delta Lake

ストリーミング SQL との互換性の問題を修正しました。

Hudi

0.10.1 にアップグレードしました。

Iceberg

0.13.1 にアップグレードしました。

YARN

• Application Master (AM) をコアノードに制限する設定オプションを追加しました。

• mapreduce.map.java.opts 設定から taihaodoctor が欠落している問題を修正しました。

ZooKeeper

JVM パラメーターを最適化しました。

Flink

JindoSDK 4.3.0 に対応しました。

Impala

Flume

Druid

Sqoop

PostgreSQL のバージョンをアップグレードしました。

Zeppelin

JDBC インタープリターが起動に失敗する問題を修正しました。

Ranger

Ranger 1.2.0 Spark プラグインが Hudi をサポートするようになりました。

Oozie

Log4j を 2.17.2 にアップグレードしました。

HBase

HBase 1.4.9 の RegionServer が起動に失敗する問題を修正しました。

DLF-Auth

2.0.0 にアップグレードしました。

バージョン

日付

EMR-3.39.2

2022年3月25日

EMR-3.39.1 (購入不可)

2022年2月15日

バージョン

リリース日

EMR-3.38.3

2021年12月

EMR-3.38.2 (購入不可)

2021年12月

EMR-3.38.1 (購入不可)

2021年11月

EMR-3.38.0 (購入不可)

2021年10月

バージョン

リリース日

EMR-3.37.1

2021年9月

EMR-3.37.0 (購入不可)

2021年8月

サービス

変更

SmartData

SmartData をバージョン 3.6.1 にアップグレードしました。

詳細については、「SmartData 3.6.x の概要」をご参照ください。

Hive

• Hive をバージョン 2.3.8 にアップグレードしました。

• DLF (Data Lake Formation) メタデータを使用する際に show create table コマンドが不正な結果を返す問題を修正しました。

• ジョブのパフォーマンスを向上させるために、デフォルトの Hive パラメーターを最適化しました。

• ユーザビリティを向上させるため、EMR コンソールの Hive サービスの Configure ページにある [hive-env] タブで、パラメーター名が大文字で表示されるようになりました。

• Hive テーブルにデータを書き込む際に、ファイルシステムと Hive メタストアの非互換性によって報告されるエラーメッセージが最適化されました。

HDFS

Zstandard (ZSTD) 圧縮形式のサポートを追加しました。

Flink

Flink をバージョン 1.12-vvr-3.0.2 にアップグレードしました。

Hudi

• Hudi をバージョン 0.8.0 にアップグレードしました。

• Spark SQL 統合のサポートを追加しました。

Spark

• EMR コンソールの Spark サービスのConfigureページにある[spark-defaults]タブで、パラメーター名が最適化されました。

• ログ出力のパフォーマンスを向上させました。

• Zstandard (ZSTD) 圧縮形式のサポートを追加しました。

Impala

HDFS を使用する際に発生するコアダンプエラーを修正しました。

Tez

ジョブのパフォーマンスを向上させるために、デフォルトの Tez パラメーターを最適化しました。

Knox

• Kudu のサポートを追加しました。

• Impala のサポートを追加しました。

• HBase のサポートを追加しました。

Phoenix

Hive または Spark SQL で Phoenix テーブルにアクセスする際の「JDBC ドライバが見つかりません」エラーを修正しました。

ClickHouse

モニタリングとアラートのための Application Performance Management (APM) を追加しました。

サービス

変更

SmartData

バージョン 3.5.0 にアップグレードしました。

詳細については、「SmartData 3.5.x の概要」をご参照ください。

Spark

• 一部のシナリオで Adaptive Execution が有効にならない問題を修正しました。

• 統計集計関数の動作が Hive と一致しない問題を修正しました。

• Hive ORC テーブルから CHAR 型のデータが正しく読み取れない問題を修正しました。

HDFS

HDFS が SM4 暗号化アルゴリズムをサポートするようになりました。

Hue

Hue をバージョン 4.9.0 にアップグレードしました。

Alluxio

Alluxio をバージョン 2.5.0 にアップグレードしました。

Druid

• Druid をバージョン 0.20.1 にアップグレードしました。

• セキュリティを強化しました。

Livy

Livy をバージョン 0.7.1 にアップグレードしました。

サービス

更新

SmartData

バージョン 3.4.0 にアップグレードしました。

詳細については、「SmartData 3.4.x リリースノート」をご参照ください。

Spark

• 一部のデフォルト設定を最適化しました。
• パフォーマンスの最適化：Window TopK プッシュダウンをサポートしました。
• Hive が CSV または JSON テーブルを読み書きする際の互換性を強化しました。
• ANALYZE 文でテーブル全体の列名を省略できるようになりました。
• ワンクリックで LDAP 機能を有効または無効にできるようになりました。
• Spark Beeline ツールの使いやすさを向上させました。

Hive

• デフォルト設定を最適化しました。

• コストベースオプティマイザ (CBO) を改善してパフォーマンスを向上させました。

• LDAP 機能を有効または無効にするワンクリックオプションを追加しました。

• Calcite をバージョン 1.12.0 にアップグレードしました。

• hive.security.authorization.sqlstd.confwhitelist.append パラメーターを追加しました。

Presto

LDAP 機能を有効または無効にするワンクリックオプションを追加しました。

YARN

Hadoop Web UI への不正アクセスを許可する高リスクの脆弱性を修正しました。この問題は、SSH トンネル経由で YARN Web UI にアクセスする際に URL で user.name=name を指定する必要がありました。

ZooKeeper

バージョン 3.6.2 にアップグレードしました。

Flink

初期化中に config.sh ファイルを更新し、HADOOP_CLASSPATH の問題を修正しました。

Impala

• バージョン 3.4.0 にアップグレードしました。

• Shiro をバージョン 1.7.0 にアップグレードしました。

• DLF メタデータのサポートを追加しました。

• Delta 形式のデータのクエリを有効にしました。

• LDAP 機能を有効または無効にするワンクリックオプションを追加しました。

Tez

デフォルト設定を最適化しました。

HAS

HAS のインストール中にエラーが発生した後、admin.keytab ファイルが再初期化に失敗する問題を修正しました。

Ranger

• Spark のフィルタープッシュダウンによって引き起こされる問題を修正しました。

• Ranger で Presto を無効にした後、Presto を有効にできない問題を修正しました。

• ワンクリックで LDAP 認証を有効または無効にできます。

Knox

Druid 0.20.0 との Knox の接続問題を修正しました。

Hue

LDAP 機能を有効または無効にするワンクリックオプションを追加しました。

Hudi

• SQL on Hudi 機能をサポートしました。
• 一部のデータをクエリする際の精度の問題を修正しました。
• Spark が Hudi の Copy On Write テーブルをクエリする際に、パーティションプルーニングをサポートしました。
• バケットインデックスメカニズムをサポートし、書き込みパフォーマンスを向上させました。

Delta Lake

• 既存の Delta テーブルに基づいて Hive Metastore にメタデータを同期できない問題を修正しました。
• Merge コマンドが * を解析できない問題を修正しました。
• Parquet 形式のデータを Delta テーブルに変換し、テーブルメタデータを作成する際にエラーが発生する問題を修正しました。
• コンパクション対象のファイルがない場合に Optimize コマンドを実行すると例外が発生する問題を修正しました。
• Merge 構文で source コマンドとしてサブクエリを使用できるようになりました。
• Presto を使用して Delta テーブルをクエリする際に、クエリ効率を向上させるためのキャッシュメカニズムを導入しました。
• Impala が Delta テーブルをクエリできるようになりました。

Superset

• admin ユーザーが Web UI にログインできない問題を修正しました。

• データセットは Druid クラスターと互換性があります。

• Spark SQL データセットはサポートされなくなりました。

Sqoop

Parquet ファイルの OSS へのインポートを有効にしました。

Alluxio

バージョン 2.4.1 にアップグレードしました。

Phoenix

Hive on Phoenix がフィールド設定をサポートするようになりました。

Pig

削除されました。

サービス

説明

SmartData

バージョン 3.2.0 にアップグレードしました。

詳細については、「SmartData 3.2.x の概要」をご参照ください。

Spark

• バージョン 2.4.7 にアップグレードしました。

• jQuery をバージョン 3.5.1 にアップグレードしました。

• Hive テーブルとパーティションサイズの自動更新のサポートを追加しました。

• Spark メタデータとジョブ実行情報を DataWorks にエクスポートするサポートを追加しました。

Hive

• バージョン 2.3.7 にアップグレードしました。

• HCatalog が Data Lake Formation をサポートするようになりました。

• Hive メタデータとジョブ実行情報を DataWorks にエクスポートするサポートを追加しました。

metastore

• Hive 統計機能を追加しました。

• HCatalog が Data Lake Formation をサポートするようになりました。

• STS トークンを取得する方法を最適化しました。

HDFS

jQuery をバージョン 3.5.1 にアップグレードしました。

YARN

• jQuery をバージョン 3.5.1 にアップグレードしました。

• Fair Scheduler の設定を調整しました。

• Timeline Server を最適化しました。

Zeppelin

バージョン 0.9.0 にアップグレードしました。

Ranger

• Hive の監査ログ設定を追加しました。

• Log4j Audit の設定を追加しました。

OpenLDAP

• 監査機能を追加しました。

• デフォルトで SSL ポート 10636 を有効にしました。

• Presto のワンクリック有効化を追加しました。

Knox

• Spring フレームワークの脆弱性を修正しました。

• Spark UI の Executors ページの問題を修正しました。

• Oozie UI のジョブステータスページの問題を修正しました。

Hue

Presto のサポートを追加しました。

Druid

バージョン 0.20.0 にアップグレードしました。

EMR Hook

• 新しいサービスとして導入されました。

• hive-hook: Hive メタデータとジョブ実行情報を DataWorks にエクスポートするサポートを追加しました。

• spark-hook: Spark メタデータとジョブ実行情報を DataWorks にエクスポートするサポートを追加しました。

サービス

変更

SmartData

3.1.0 にアップグレードしました。

「SmartData 3.1.x の概要」をご参照ください。

Alluxio

• Alluxio 2.4.0 のサポートを追加しました。

• デフォルト設定はクラスターノードサイズに応じてスケーリングします。

• デフォルトでは、EMR クラスターは UnderFS として HDFS を使用し、すぐに使用できます。

• Alluxio OSS UnderFS を強化し、OSS バージョン管理などの新機能をサポートしました。

• Hadoop、Hive、Spark、Presto などのエンジンと互換性があります。

Hudi

Hudi 0.6.0 のサポートを追加しました。

Spark

JindoTable がデータ収集の有効化または無効化をサポートするようになりました。

Hive

• HiveServer の接続プールのリークを修正しました。

• JindoTable がデータ収集の有効化または無効化をサポートするようになりました。

• ADD COLUMN のパフォーマンスを最適化しました。

• Hudi テーブルからの不正なデータ読み取りを修正しました。

• デフォルト設定はクラスターノードサイズに応じてスケーリングします。

HDFS

スナップショットの上限を増やしました。

YARN

デフォルト設定はクラスターノードサイズに応じてスケーリングします。

Tez

デフォルト設定はクラスターノードサイズに応じてスケーリングします。

Sqoop

Avro ファイルのインポートに関する問題を修正しました。

サービス

更新

SmartData

3.0.0 にアップグレードしました。

詳細については、「SmartData 3.0.x の概要」をご参照ください。

Spark

• Alibaba Cloud Data Lake Formation (DLF) のメタデータのサポートを追加しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

• ストリーミング SQL のバックティックの問題を修正しました。

• Delta JAR パッケージを削除しました。Delta は個別にデプロイされるようになりました。

• ログパスが HDFS に書き込まれるようになりました。

Hive

• Alibaba Cloud Data Lake Formation (DLF) のメタデータのサポートを追加しました。

• Delta テーブルから空のディレクトリを読み込む際に DUMMY ファイルが書き込まれる問題を修正しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

Presto

• Alibaba Cloud Data Lake Formation (DLF) のメタデータのサポートを追加しました。

• Delta テーブルの読み取りに関する制限を削除しました。

• 高セキュリティモードでの JVM 設定の欠落を修正しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

HDFS

• ホットスワップディスクモードのサポートを追加しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

YARN

• YARN RMZKStateStore の問題を修正しました。

• Log Service (SLS) からの SNAPPY ファイルのサポートを追加しました。

• ディレクトリ権限チェックの問題を修正するために、MapReduce ローカルモードのディレクトリ設定を変更しました。

• ホットスワップディスクモードのサポートを追加しました。

• ログが HDFS に書き込まれるようになりました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

ZooKeeper

• サービスポートを内部 IP アドレスにバインドするサポートを追加しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

Flink-Vvp

• 1.11-2.2.2 にアップグレードしました。

• SQL と Autopilot のサポートを追加しました。

Flink

• キャッシュモードで OSS にデータを書き込むサポートを追加しました。この機能は、Flink チェックポイントと再生可能なソースと組み合わせることで、EXACTLY_ONCE セマンティクスを提供します。

• Apache Flink 1.11.1 と同期しました。SQL がマルチウェイ出力 (MULTI INSERT) をサポートするようになりました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

Impala

• catalogd.flgs、impalad.flgs、statestored.flgs のカスタマイズのサポートを追加しました。

• Shiro を 1.6.0 にアップグレードしました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

Tez

• デフォルトの AM メモリパラメーターを最適化しました。

• HAS の依存関係を 2.0.1 にアップグレードしました。

HAS

HAS の依存関係を 2.0.1 にアップグレードしました。

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

サービス

説明

Bigboot

• バージョン 2.7.301 にアップグレードしました。

• Jindo DistCp がアーカイブまたは低頻度アクセスモードで OSS にデータを書き込むようになりました。

• Fuse を強化し、複数の名前空間をサポートしました。

• キャッシュモードでのメタデータキャッシングを改善しました。

Spark

• Spark をバージョン 2.4.5.2.0 にアップグレードしました。

• サードパーティのメタストアのサポートを追加しました。

• datalake metastore-client を追加しました。

Hive

• Hive をバージョン 2.3.5.6.0 にアップグレードしました。

• サードパーティのメタストアのサポートを追加しました。

• datalake metastore-client を追加しました。

Presto

バージョン 338 にアップグレードしました。

Ranger

• ソフトウェアパッケージをバージョン 1.2.0-1.5.0 にアップグレードしました。

• Presto 338 のサポートを追加しました。

• 設定ファイルに説明フィールドを追加しました。

HDFS

DataNode の予約領域が適応的に設定されるようになりました。

Knox

Impala、Flink の新しいバージョン、および Platform for AI (PAI) のサポートを追加しました。

Druid

バージョン 0.18.1 にアップグレードしました。

SmartData

バージョン 2.7.301 にアップグレードしました。

サービス

変更

Bigboot

• テーブルまたはパーティションの人気度に基づいた統計収集をサポートする JindoTable をリリースしました。

• ブロックストレージモードでの完全なストレージポリシーと、低頻度アクセスおよびアーカイブを含む階層型ストレージポリシーのサポートを追加しました。

• Jindo DistCp データ移行ツールを追加しました。

• Jindo Fuse を改善し、関連する問題を修正しました。

• キャッシュモードでの Hive エンジンと Jindo JobCommitter との JFS スキームの統合を改善しました。

• ブロックストレージモードでは、OSS から直接データを読み取るための重みを設定できるようになりました。これにより、ローカルキャッシュからの読み取りのオーバーヘッドを分散および削減できます。

• JindoFS を個別のソフトウェアモジュールに分離しました：Bigboot (管理レイヤー)、SmartData (分散サービス)、JindoFS SDK。各モジュールは個別にアップグレードおよび保守できます。

サービス

変更

Flink

オープンソースの Flink を Ververica Platform にアップグレードしました。このプラットフォームは、独自の Gemini ストレージエンジンなどの追加機能を提供する Flink 1.10 のカスタマイズバージョンです。

Bigboot

バージョン 2.7.0 にアップグレードしました。

Delta

• バージョン 0.6.0 にアップグレードしました。

• Delta コードを Spark コードから分離しました。

Spark

• バージョン 2.4.5 にアップグレードしました。

• DataFactory の streaming-sql スクリプトとの互換性を追加しました。

• Delta 0.6.0 のサポートを追加しました。

Hive

Delta 0.6.0 のサポートを追加しました。

Ranger

• HDFS、Hive、Spark のカスタムデプロイのサポートを追加しました。

• コンソールで ranger-admin-site.xml と ranger-ugsync-site.xml を設定できるようになりました。

HDFS

HDFS にデータを書き込む際に利用可能な DataNode がない場合、HDFS は利用できない DataNode を特定する例外メッセージ (HDFS-9023) を表示するようになりました。

Hue

• ゲートウェイクラスターへの Hue コンポーネントのインストールのサポートを追加しました。

• 単一ノードへの複数の Hue インスタンスのデプロイのサポートを追加しました。

DataFactory

Delta 0.6.0 のサポートを追加しました。

Druid

バージョン 0.18.0 にアップグレードしました。

Knox

• バージョン 1.1.0-1.0.7 にアップグレードしました。

• HBase UI の Knox サポートを追加しました。

バージョン

リリース日

EMR-3.27.0

2020年4月29日

EMR-3.27.1 (購入不可)

2020年5月8日

EMR-3.27.2 (購入不可)

2020年5月20日

特徴

説明

カスタムサービスデプロイ

マスターノードでのサービスのデプロイをカスタマイズできるようになりました。次のサービスがサポートされています：

• Hadoop

• Spark

• Hive

• ZooKeeper

• Presto

自動スケーリングのためのグレースフルシャットダウン

グレースフルシャットダウンを有効にすると、EMR は指定された時間内に実行中のタスクを完了した後にのみノードを解放します。

サービス

説明

Spark

• CUBE の日付型パーティションフィールドのサポートを追加しました。

• spark-submit のスタック深度を増やしました。

Delta

• CREATE、SHOW、DESCRIBE などの DDL 文を強化しました。

• Z-order を使用した OPTIMIZE 文のサポートを追加しました。

Knox

• Knox が Druid UI と互換性を持つようになりました。

• マルチマスターデプロイのサポートを追加しました。

Hive

• HCatalog テーブルの magic committer のサポートを追加しました。

• 古いデフォルト設定を削除しました。

Bigboot

• バージョン 2.6.3 にアップグレードしました。

• マルチマスターデプロイのサポートを追加しました。

SmartData

• バージョン 2.6.3 にアップグレードしました。

• マルチマスターデプロイのサポートを追加しました。

Ranger

• Solr サービスのサポートを追加しました。

• PrestoSQL バージョン 311 のサポートを追加しました。

Tez

OSS 上のスクラッチディレクトリ (scratchdir) の設定のサポートを追加しました。

Presto

バージョン 331 にアップグレードしました。

Druid

バージョン 0.17.1 にアップグレードしました。

Superset

バージョン 0.35.2 にアップグレードしました。

Sqoop

• MySQL JDBC JAR パッケージをバージョン 5.1.48 にアップグレードしました。

• MySQL ダイレクトエクスポートモードが --mysql-charset パラメーターを使用したカスタムエンコーディングをサポートするようになりました。

バージョン

リリース日

EMR-3.26.3 (購入不可)

2020年4月16日

サービス

変更

Bigboot

• 2.6.3 にアップグレードしました。

• Tablestore メタデータと名前空間の高可用性のサポートを追加しました。

SmartData

Hive

HCatalog テーブルのダイレクトコミッターのサポートを有効にしました。

YARN

JindoOssCommitter をデフォルトのコミッターとして設定しました。

HDFS

JindoFS 関連の設定を更新しました。

Spark

JindoOssCommitter をデフォルトのコミッターとして設定しました。

サービス

変更

Ranger

• 高可用性クラスターで RangerAdmin データベースを初期化しました。

• RangerUserSync 起動スクリプトのセキュリティ問題を修正しました。

Spark

• コンソールで spark.sql.extensions などの Delta 関連パラメーターを設定するサポートを追加しました。

• 入力形式を設定せずに Hive を使用して Delta テーブルを読み取るサポートを追加しました。

• ALTER TABLE SET TBLPROPERTIES および UNSET TBLPROPERTIES 文のサポートを追加しました。

Delta

Hive

自動ローカルモードで MapReduce タスクが失敗する問題を修正しました。

Presto

• バージョン 310 にアップグレードしました。

• joda-time をバージョン 2.10.5 にアップグレードしました。

Tez

• バージョン 0.9.2 にアップグレードしました。

• Tez UI でアプリケーションの進行状況が正しく表示されない問題を修正しました。

• Tez UI でアプリケーション履歴を表示できない問題を修正しました。

Impala

Impala が LZO テーブルにアクセスできない問題を修正しました。

HDFS

mongo-hadoop に関連する JAR パッケージを削除しました。

ZooKeeper

バージョン 3.5.6 にアップグレードしました。

YARN

yarn-site.xml タブに yarn.resourcemanager.system-metrics-publisher.enabled=true 設定項目を追加して、Tez UI をサポートできるようになりました。

Bigboot

• バージョン 2.2.3 にアップグレードしました。

• OSS キャッシュモードでの rename 操作のサポートを追加しました。

SmartData

Knox

依存パッケージをアップグレードしました。

Oozie

依存パッケージをアップグレードしました。

サービス

変更

Delta

• ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE、VACUUM などの SQL 文のサポートを追加しました。

• OPTIMIZE コマンドを組み込み、最適化しました。

• Hive コネクタのサポートを追加しました。

• その他のオープンソース機能のサポートを追加しました。

Grafana

Flink 独立クラスター用の Grafana コンポーネント、バージョン 6.4.2 を追加しました。

Prometheus

Flink 独立クラスター用の Prometheus コンポーネント、バージョン 2.13.0 を追加しました。

Alertmanager

Flink 独立クラスター用の Alertmanager コンポーネント、バージョン 0.19.0 を追加しました。

TensorFlow on Spark

• Spark 上に TensorFlow フレームワークをデプロイするサポートを追加しました。この緊密な統合により、データの前処理からディープラーニングのトレーニングまで、最適化されたタスクスケジューリングとデータ交換を特徴とするエンドツーエンドのプロセスが可能になります。

• ストリーミングタスクのサポートを追加しました。

サービス

変更

SmartData

• JindoFS の使用モードを最適化しました。ブロックモードは変更ありません。キャッシュモードは、既存の OSS ファイルシステムの使用方法との互換性を高めるために強化されました。データキャッシングとメタデータキャッシングをサポートするようになり、どちらもデフォルトで無効で、個別に設定できます。

• ブロックモードとキャッシュモードでの読み書きパフォーマンスを最適化しました。

• ディスクのクリーンアップを最適化しました。システムは、ローカルディスクにキャッシュされたホットデータをより正確に測定し、ディスク使用量が設定されたクォータを超えないように、より迅速にクリアするようになりました。

• ゲートウェイクラスターのサポートを強化し、ブロックモードとキャッシュモードの両方を使用できるようにしました。

• 単一のストレージクラスターと複数のコンピューティングクラスターを分離するデプロイモードのサポートを追加しました。

Spark

• Delta 関連のパラメーターのサポートを追加しました。

• Ranger Spark プラグインの設定のサポートを追加しました。

• JindoCube をバージョン 0.3.0 にアップグレードしました。

Hive

• SQL 互換性チェック機能を追加しました。

• Hive 2.3.5 と Hadoop 2.8.5 の組み合わせをリリースしました。

• コンポーネントの再起動時に、hiveserver2-site.xml ファイルの内容が spark-conf ディレクトリの hive-site.xml ファイルに同期されなくなりました。

• MSCK コマンドを使用して増分ディレクトリを追加するサポートを追加しました。

• Hive が Tez コンテナを再利用する際に発生するバグを修正しました。

• MSCK コマンドを使用して列ディレクトリを最適化するサポートを追加しました。

Bigboot

バージョン 2.2.1 にアップグレードしました。これにより、特定のサーバーモデルでネイティブコードが実行できない問題が修正されました。

Ranger

• Spark プラグインのデプロイモードをリファクタリングしました。

• 高可用性クラスターの emr-header-2 ノードが keytab を取得できないバグを修正しました。

Kudu

起動ロジックを修正しました。

ZooKeeper

4 文字コマンドの設定を追加しました。これはデフォルトで有効です。

HDFS

HDFS を JindoFS に対応させました。

YARN

• yarn.scheduler.capacity.node-locality-delay のデフォルト値を -1 に変更しました。

• YARN を JindoFS に対応させました。

Has

バックエンドとして OpenLDAP と統合しました。

OpenLDAP

OpenLDAP を Has に対応させました。

Presto

バージョン 0.228 にアップグレードしました。

Kafka

d1 インスタンスファミリーの不良ディスクを自動的に分離する機能を導入しました。

Druid

バージョン 0.16.0 にアップグレードしました。

Flume

バージョン 1.9.0 にアップグレードしました。

Flink

• バージョン 1.9.1 にアップグレードしました。

• Flink 独立クラスターのサポートを追加しました (ホワイトリスト経由で利用可能)。

サービス

説明

Druid

• 0.15.1 にアップグレードしました。

• ルーターコンポーネントを追加しました。

• fastjson をアップグレードしました。

Spark

• spark thrift サーバーのクラスローダーの問題を修正しました。

• Spark のトランザクション関連コードの安定性を向上させました。

• 組み込みの Hive をバージョン 2.3 にアップグレードした後の ORC 形式の読み書きの問題を修正しました。

• MERGE INTO 構文のサポートを追加しました。

• SCAN および STREAM 構文のサポートを追加しました。

• Structured Streaming Kafka シンクが Exactly-Once Semantics (EOS) をサポートするようになりました。

• Delta を 0.4.0 にアップグレードしました。

Hive

• レガシーな Hive フックを削除しました。

• 複数の COUNT(DISTINCT) フィールドを含むクエリのデータスキューを最適化しました。

• 異なるバケットバージョンのテーブルを結合する際のデータ損失の問題を修正しました。

Flink

1.8.2 にアップグレードしました。

Bigboot

• 小規模ファイルツールを更新しました。

• OSS JAR で非デーモンスレッドがアクティブなままになる問題を修正しました。

Kafka

• Deployment Set の認識を追加しました。

• fastjson の依存関係を削除しました。

HDFS

• SmartData OSS JAR のデプロイロジックを最適化しました。

• SmartData OSS JAR を更新しました。

Flume

fastjson をアップグレードしました。

Tensorflow on Spark

Tensorflow on Spark を追加しました。

Has

fastjson をアップグレードしました。

Livy

fastjson をアップグレードしました。

コンポーネント

変更

Kudu

• Kudu コンポーネントを追加しました。Kudu は Hadoop エコシステムのギャップを埋めます。HBase のような高速なデータ挿入、変更、ランダムアクセスを提供し、HDFS や Parquet のような大規模なデータ分析とクエリをサポートします。

  • カスタム開発用の C++ および Java API を提供します。

  • Impala、Spark、Hive Metastore との統合を提供します。

• このバージョンは、オープンソースの Apache Kudu 1.10.0 に基づいています。

OpenLDAP

• ApacheDS を置き換えるために OpenLDAP コンポーネントを追加しました。ApacheDS は廃止されました。

• 高可用性をサポートします。

コンポーネント

説明

JindoFileSystem

• 複数のストレージモード

  • ブロックモード：このモードでは、データはバックエンド OSS にブロックとして保存され、ローカルの Namespace サービスがメタデータを維持します。このモードは、メタデータとデータ操作で優れたパフォーマンスを提供します。ブロックモードは、WARM (ローカルと OSS のレプリカ)、COLD (OSS のみのレプリカ)、HOT (複数のローカルレプリカと 1 つの OSS レプリカ)、TEMP (ローカルのみのレプリカ)、ALL_HDD (複数のローカルレプリカ) など、さまざまなストレージポリシーをサポートします。デフォルトのポリシーは WARM です。アプリケーションシナリオに基づいて、ディレクトリに異なるストレージポリシーを設定できます。

  • キャッシュモード：このモードは、主に既存の OSS ストレージ方法と互換性があります。キャッシュモードでは、ファイルは OSS にオブジェクトとして保存されます。アクセスパターンに基づいて、データとメタデータがローカルにキャッシュされ、アクセスパフォーマンスが向上します。このモードは、さまざまなシナリオに対応するさまざまなメタデータ同期ポリシーを提供します。

• 外部クライアントのサポート

  • クライアント SDK を使用すると、E-MapReduce クラスターの外部から JindoFS ファイルシステムにアクセスできます。クライアントを使用してブロックモードで名前空間にアクセスできます。ただし、外部クライアントは E-MapReduce クラスター内のデータキャッシュを使用できないため、クラスター内からのアクセスよりもパフォーマンスが低下します。

  • キャッシュモードは、元の OSS ストレージセマンティクスを保持し、JindoFS を使用して E-MapReduce クラスター内のデータキャッシングを高速化します。したがって、OSS SDK や E-MapReduce の OssFileSystem などの OSS クライアントを使用して、E-MapReduce クラスターの外部から直接データにアクセスできます。

• エコシステムコンポーネントのサポート

  • JindoFS は、Spark、Flink、Hive、MapReduce、Impala、Presto など、E-MapReduce のさまざまなコンピューティングエンジンをサポートするようになりました。

  • ストレージとコンピューティングが分離されたシナリオでは、JindoFS は YARN コンテナログや Spark イベントログなどのジョブログを保存できます。

  • JindoFS は、HBase HFiles のバックエンドストレージとして使用して、HBase のストレージ容量を拡張できます。

OssFileSystem

• 不良ディスクを検出し、OSS へのキャッシュ書き込みの失敗を防ぐ自動メカニズムを追加しました。

• OssFileSystem に必要な設定を追加しました。

Bigboot

• バージョン 2.0.0 にアップグレードしました。

• 複数の名前空間のサポート、ローカルデータブロックの大きなファイルとしての保存、マルチモードストレージ、外部クライアントなどの主要な更新が含まれています。

• サーバーの再起動中に Bigboot モニターが不正なステータスを表示する問題を修正しました。

• Kudu コンポーネントのサービス仕様を追加しました。

• サービス仕様の正当性検証を追加しました。

Hadoop

• HDFS

  • HDFS Federation に対応しました。カスタム設定と API 操作を使用して HDFS Federation クラスターを作成できるようになりました。これにより、Federation クラスターを作成する際に NameNode を再フォーマットする必要がなくなります。

  • 不良ディスク検出ロジックを最適化しました。ローカルディスクのシナリオでは、dfsadmin コマンドを実行して DataNode ブロックレポートをトリガーできます。

• YARN

  MR ジョブコンテナログが JindoFS または OSS に保存されている場合に、MapReduce JobHistory ジョブリストが更新されない問題を修正しました。

Spark

• リレーショナルキャッシュ

  事前計算を通じてユーザーのクエリを高速化するために、リレーショナルキャッシュのサポートを追加しました。リレーショナルキャッシュを作成してデータを事前計算できます。クエリが実行されると、Spark Optimizer は適切なキャッシュを自動的に見つけ、SQL 実行計画を書き換え、キャッシュされたデータに基づいて計算を続行してクエリ速度を向上させます。この機能は、レポート、ダッシュボード、データ同期、多次元分析などのシナリオに適しています。

  • DDL 文を使用して CACHE、UNCACHE、ALTER、SHOW 操作をサポートします。キャッシュされたデータは、Spark のすべてのデータソースとデータ形式をサポートします。

  • REFRESH コマンドを使用した自動キャッシュデータ更新と手動更新をサポートします。増分、パーティションベースの更新もサポートされています。

  • リレーショナルキャッシュに基づく実行計画の最適化をサポートします。

• ストリーミング SQL

  • Stream Query Writer のパラメーター設定を標準化しました。

  • Kafka データテーブルのスキーマ互換性チェックを最適化しました。

  • Kafka データテーブルにスキーマが存在しない場合、Schema Registry にスキーマが自動的に作成されます。

  • Kafka スキーマの非互換性に関するログメッセージを改善しました。

  • クエリ結果を Kafka テーブルに書き込む際に列名を明示的に指定する必要がある問題を修正しました。

  • ストリーミング SQL クエリがデータ入力ソースとして Kafka と Loghub のみをサポートするという制限を削除しました。

• Delta

  Delta のサポートを追加しました。Spark を使用して Delta データソースを作成し、ストリーミングデータ書き込み、トランザクション読み書き、データ検証、タイムトラベルなどのシナリオをサポートできます。詳細については、「Delta ドキュメント」をご参照ください。

  • DataFrame API を使用した Delta へのデータの読み書きをサポートします。

  • Structured Streaming API を使用してデータを読み書きするためのソースまたはシンクとして Delta を使用することをサポートします。

  • Delta API を使用した更新、削除、マージ、バキューム、最適化操作をサポートします。

  • SQL を使用した Delta ベースのテーブルの作成、Delta へのデータのインポート、Delta テーブルの読み取りをサポートします。

• その他の更新

  • 主キーと外部キーを含む制約のサポートを追加しました。

  • サーブレットおよびその他の JAR パッケージの競合を解決しました。

Flink

log4j ロギング設定を元に戻しました。

Kafka

• log4j ロギング設定を元に戻しました。

• fastjson をアップグレードしました。

Zeppelin

commons-lang3 依存パッケージをバージョン 3.7 にアップグレードし、PySpark が OSS に書き込めない問題を修正しました。詳細については、「Zeppelin の commons-lang3 との Spark 2.4 の非互換性」をご参照ください。

Ranger

SHOW GRANTS 文のサポートを追加しました。

Analytics-Zoo

NumPy のインストールエラーを修正しました。

Impala

Impala が Apache Kudu 1.10.0 と互換性を持つようになりました。

Presto

バージョン 0.221 にアップグレードしました。

ZooKeeper

バージョン 3.5.5 にアップグレードしました。