E-MapReduce:EMR 5.x シリーズのリリースノート

サービス

変更

JindoCache

バージョン 6.5.3 にアップグレードしました。

StarRocks2

バージョン 2.5.22 にアップグレードしました。

StarRocks3

バージョン 3.2.11 にアップグレードしました。

サービス

変更

JindoSDK

デッドロックの問題を解決するために JindoSDK をアップグレードします。

サービス

変更

JindoCache

• バージョン 6.5.1 にアップグレードしました。

• 分散ハッシュテーブル (DHT) の読み取りおよび書き込みパフォーマンスを向上させます。

Spark

• パーティションフォルダーを削除できない問題を修正しました。

• クライアント操作が metaStoreClient への接続を中断しないように、Hive パッケージの依存関係の問題を修正しました。

Trino

• スケールアウト中に変更された一部の構成が予期せず復元される可能性がある問題を修正しました。

• 高セキュリティの OSS-HDFS 上のデータのクエリをサポートします。

• DLF-AUTH を有効にした後に発生するサービスの異常問題を修正しました。

Presto

高セキュリティの OSS-HDFS 上のデータのクエリをサポートします。

HDFS

NameNode と DataNode のメモリを変更できない問題を修正しました。

HBaseHDFS

YARN

• ResourceManager は、処理能力を向上させるためにタイムラインイベントをバッチで送信することをサポートします。

• ResourceManager のコンテナーとリソース処理におけるロジックの問題を修正しました。

Zookeeper

• ノードグループのメモリ構成を変更できない問題を修正しました。

• ログ構成ファイルのリファクタリングをサポートします。

Impala

エラスティックスケーリング中に顧客の構成が変更される問題を修正しました。

Ranger

新しい JindoSDK カーネルをサポートし、CPU 使用率を効果的に削減します。

Knox

Master-Extend ノードが 1 つしかない場合にコンポーネントの URL アクセスが失敗する問題を修正しました。

Kafka

Kafka Connect クラスターの起動問題を修正しました。

StarRocks

スケールアウト後に新しい BE ノードが表示されない問題を修正しました。

Doris

バージョン 2.1.4 にアップグレードしました。

Paimon

バージョン 0.9-ali-7 にアップグレードしました。

EMRHOOK

MaxCompute テーブルのデータリネージの解析をサポートします。

サービス

変更

Spark

Master-Extend ノードグループのデプロイをサポートします。

Hive

Kyuubi

Paimon

Flink の依存関係を VVR バージョンからコミュニティバージョンに置き換え、DLF カタログをサポートします。

Knox

パッケージングに JDK 8 を使用します。

Flink

EMR-5.17.0 で削除された DLF の構成と依存関係を復元します。

サービス

変更

Spark

Spark3 はバージョン 3.4.2 にアップグレードされました。

Celeborn

バージョン 0.4.0 にアップグレードしました。

Doris

バージョン 2.1.0 にアップグレードしました。

StarRocks

• StarRocks2 はバージョン 2.5.18 にアップグレードされました。

• StarRocks3 はバージョン 3.2.4 にアップグレードされました。

DeltaLake

バージョン 3.0.0 にアップグレードしました。

Iceberg

バージョン 1.5.0 にアップグレードしました。

Zookeeper

バージョン 3.8.4 にアップグレードしました。

JindoCache

バージョン 6.2.5 にアップグレードしました。

Flink

バージョン 1.17.2 にアップグレードしました。

サービス

変更

Spark

• Spark History Server は、デフォルトでストレージに OSS-HDFS を使用することをサポートします。

• Spark 3 ネイティブエンジンは、ストレージに OSS と OSS-HDFS を使用することをサポートします。

Hive

Hive ウェアハウスは、デフォルトでストレージに OSS-HDFS を使用することをサポートします。

OSS-HDFS

サービスを追加しました。

YARN

デフォルトでストレージに OSS-HDFS を使用することをサポートします。

HBase

• HBase HFile データは、デフォルトでストレージに OSS-HDFS を使用することをサポートします。

• HBase WAL ログは、ストレージに OSS-HDFS を使用することをサポートします。

サービス

変更

Kyuubi

バージョン 1.7.1 にアップグレードしました。

Celeborn

バージョン 0.2.2 にアップグレードしました。

Paimon

• Flink-Table-Store は Paimon に名前変更されました。

• バージョン 0.4-ali-1 にアップグレードしました。

StarRocks

バージョン 2.5.5 にアップグレードしました。

Doris

バージョン 1.2.4 にアップグレードしました。

ClickHouse

バージョン 23.3.2.37 にアップグレードしました。

Trino

監査ログを取得するために、デフォルトでシンプルなイベントリスナーを提供します。

Phoenix

Hive on Phoenix をサポートします。

サービス

変更

ClickHouse

バージョン 22.8.14.53 にアップグレードしました。

Trino

odps.properties コネクタを追加して、MaxCompute でのクエリをサポートします。

JindoData

バージョン 4.6.5 にアップグレードしました。

JindoSDK

バージョン 4.6.5 にアップグレードしました。

Flink-Table-Store

バージョン 0.3-ali-2 にアップグレードしました。

YARN

ノードラベル管理をサポートします。

サービス

変更

Iceberg

バージョン 1.1.0 にアップグレードしました。

Hudi

• バージョン 0.12.2 にアップグレードしました。

• CDC をサポートします。

DeltaLake

• バージョン 2.2.0 にアップグレードしました。

• トランザクションログでの Vacuum 操作の記録をサポートします。

Kudu

バージョン 1.16.0 にアップグレードしました。

Clickhouse

ClickHouse サービスをインストールする際には、ZooKeeper サービスを選択する必要があります。

Celeborn

• RSS は Celeborn に名前変更されました。

• Celeborn のバージョンは 0.2.0 です。

Presto

サービスを追加しました。カーネルはコミュニティ Facebook PrestoDB 0.278.3 です。デフォルトの HTTP ポートは 8889、デフォルトの HTTPS ポートは 7779 です。

StarRocks

バージョン 2.5.1 にアップグレードしました。

Doris

バージョン 1.2.1 にアップグレードしました。

Kafka-Manager

バージョン 3.0.0.6 にアップグレードしました。

Impala

バージョン 4.2.0 にアップグレードしました。

OpenLDAP

バージョン 2.4.46 にアップグレードしました。

HBase

• JDK 11 をサポートします。

• ThriftServer2 をサポートします。

• hbase.block.data.cachecompressed パラメーターのデフォルト値が true に変更されました。

Flink-Table-Store

サービスを追加しました。バージョンはコミュニティバージョン 0.3 に基づいています。

JindoData

バージョン 4.6.4 にアップグレードしました。

サービス

変更

Kerberos

EMR 上の外部 KDC への接続をサポートします。

Kafka

ユーザーがサービスの起動パラメーターをカスタマイズできる起動コマンド用の設定項目を追加します。

JindoData

• バージョン 4.6.0 にアップグレードしました。

• OSS-HDFS アクセスパスの書き換えをサポートします。

Flink

バージョン 1.13_vvr_4.0.15 にアップグレードしました。

RSS

バージョン 0.1.4 にアップグレードしました。

サービス

変更

Spark

• バージョン 3.3 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

Hudi

• バージョン 0.12.0 にアップグレードしました。

• Spark 3.3 をサポートします。

• クラウドベースの MetaStore を使用してメタデータをホストし、アクセラレーション機能を有効にすることをサポートします。詳細については、「Hudi MetaStore の使用方法」をご参照ください。

Flink

• Kerberos 認証の有効化をサポートします。

• Data Lake Formation (DLF) との自動接続をサポートします。

Iceberg

• バージョン 0.14.0 にアップグレードしました。

• Spark 3.3 をサポートします。

• Kerberos 認証の有効化をサポートします。

JindoData

• バージョン 4.5.1 にアップグレードしました。

• Alibaba Cloud リソースへの AccessKey なしのアクセスをサポートします。

Hadoop-Common and HDFS

• Kerberos 認証の有効化をサポートします。

• セキュリティ脆弱性 CVE-2022-25168 を修正しました。

Knox

Ranger と統合します。[アクセスリンクとポート] タブから Ranger UI にアクセスできます。

HBase

• バージョン 2.4.9 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

• グループ構成をサポートします。

RSS

• バージョン 0.1.2 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

Doris

• バージョン 1.1.2 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

StarRocks

• バージョン 2.3.2 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

Kafka

• バージョン 2.13_3.2.1 にアップグレードしました。

• Kerberos 認証の有効化をサポートします。

DeltaLake

• バージョン 2.1.0 へのアップグレードをサポートします。

• Spark 3.3 をサポートします。

• Kerberos 認証の有効化をサポートします。

Impala

• DLF でのビューの作成をサポートします。

• Kerberos 認証の有効化をサポートします。

Kudu

コンポーネントを追加しました。バージョンは 1.14.0 です。

YARN, Ranger, Hive, Kyuubi, Tez, Zookeeper, DLF-Auth, Phoenix, Sqoop, and Presto

Kerberos 認証の有効化をサポートします。

サービス

変更

Clickhouse

一部のパラメーターのデフォルト値を変更しました。

StarRocks

バージョン 2.1.1 にアップグレードしました。

サービス

変更

SmartData

コンポーネントはオフラインです。

BIGBOOT

RSS

• ESS サービスを RSS にアップグレードします。

• サービスの機能と安定性を強化します。

JindoSDK

• アーキテクチャを JindoData にアップグレードします。

• EMR は初めて JindoSDK 4.0 と統合され、OSS や OSS-HDFS などのサービスをサポートします。

Spark

• COUNT DISTINCT 関数は IF 文をサポートし、CASE WHEN の使用を最適化します。

  spark.sql.optimizer.rewriteConditionalDistinctAggregates パラメーターを true に設定します。

• Shuffle Hash Join は Sort Merge Join へのフォールバックをサポートします。

  spark.sql.join.preferSortMergeJoin パラメーターを false に設定し、spark.sql.join.enableShuffledHashJoinFallback パラメーターを true に設定します。

• 非動的パーティションの小規模ファイルの自動マージをサポートします。

  spark.sql.adaptive.merge.output.small.files.enabled パラメーターを true に設定します。

• GroupingSet や Distinct などのシナリオでは、同時実行性が自動的に調整されます。

  spark.sql.execution.optimizeExpand パラメーターを true に設定します。

• Hive on Spark を最適化します。

• Time Travel 構文をサポートします。

• JindoSDK に対応しました。

Tez

JindoSDK に対応しました。

Hive

• Hive Jindo のバッチ削除を最適化します。

• HiveServer2 の OOM 問題を最適化します。

• Hive on Spark を最適化します。

• JindoSDK に対応しました。

Presto

• Presto をコミュニティバージョン 358 にアップグレードしました。

• デフォルトで MySQL、Iceberg、Hudi、Phoenix、Kudu、Delta コネクタを追加し、デフォルト構成を更新します。

• データレイク分析をサポートします。

• 動的 UDF 読み込みをサポートします。

• JindoSDK に対応しました。

Delta Lake

• バージョンアップ

  • バージョン 1.1.0 にアップグレードしました。これは Spark 3.2.0 と互換性があります。

  • すべての商用機能はバージョン 1.1.0 に移行されました。

• メタデータ管理

  • メタストアへのメタデータ変更の同期を最適化します。

  • テーブル統計 (dataProfiling) をメタストアに自動的にレポートします。

• SQL

  • Time Travel 構文をサポートします。

  • DropPartition SQL 構文をサポートします。

  • SQL を使用した動的パーティションの上書きをサポートします。

  • 指定された位置 (FIRST および AFTER) での ADD COLUMN 操作をサポートします。

• テーブル管理の強化

  • デフォルトで、テーブルサイズに基づいてファイルサイズを動的に調整することをサポートし、有効にします。

  • デフォルトで自動 Vacuum をサポートし、有効にします。同時 Vacuum もサポートされています。

  • 自動コンパクションのロジックを最適化します。この機能はデフォルトで無効になっています。

  • Z-order 構文を追加し、Z-order プロセスを高速化します。

Hudi

• バージョン 0.10.0 にアップグレードしました。

• Spark 3.2.0 をサポートします。

• JindoFS ブロックモードをサポートします。

HDFS

JindoSDK に対応しました。

YARN

• RSS メモリ構成に対応しました。

• JindoSDK に対応しました。

Flume

JindoSDK に対応しました。

Impala

JindoSDK に対応しました。

Ranger

• Spark 3.2.0 をサポートします。

• Presto 358 をサポートします。

HBase

• デフォルトパラメーターに関する問題を修正しました。

• GC ログの日付形式に関する問題を修正しました。

Clickhouse

• HDFS および OSS ディスクタイプを追加して、コールド・ホットデータ分離をサポートします。詳細については、「HDFS を使用したコールド・ホットデータ分離」および「OSS を使用したコールド・ホットデータ分離」をご参照ください。

• Replicated*MergeTree シナリオでは、OSS、HDFS、および S3 ディスクタイプでゼロコピーがサポートされます。

• ClickHouse コンポーネントが停止したときの処理ロジックを最適化します。

Iceberg

• バージョン 0.13.0 にアップグレードしました。

• Presto 358 をサポートします。

DLF-Auth

• Spark 3.2.0 をサポートします。

• Presto 358 をサポートします。

サービス

変更

SmartData

• SmartData は 3.8.0 に更新されました。詳細については、「SmartData 3.8.X の概要」をご参照ください。

• Kerberos と Ranger に基づく認証と権限付与を使用して、OSS 内のデータの権限を管理できます。

サービス

変更

SmartData

SmartData をバージョン 3.7.3 にアップグレードしました。詳細については、「SmartData 3.7.x の概要」をご参照ください。

Oozie

HA 環境での JAR パッケージの競合により Oozie の Jetty サーバーが起動に失敗する問題を修正しました。

Impala

DLF メタデータテーブルをクエリする際に発生する no such method error を修正しました。

DLF-Auth

DLF-Auth をバージョン 1.0.1 にアップグレードしました。

サービス

変更

SmartData

SmartData をバージョン 3.7.2 にアップグレードしました。詳細については、「SmartData 3.7.x の概要」をご参照ください。

Spark

• Spark をバージョン 3.1.2 にアップグレードします。

• Spark 3.x では、Spark SQL の Distinct 計算パフォーマンスが最適化されます。この最適化機能は、集約オペレーターに複数の count(distinct case ... when ...) メソッドが含まれている場合にトリガーされます。

• Adaptive Query Execution (AQE) に必要な統計情報の一部が欠落している場合に返される範囲外の配列インデックスエラーが修正されます。

• 特定のシナリオにおける AQE とデータキャッシングに関連するエラーが修正されます。

Hive

JindoFS (Block) 上の Hive では、バッチメタデータ最適化機能がサポートされています。この機能はデフォルトで無効になっています。

Presto

Delta テーブルは StorageHandler クエリをサポートします。

DeltaLake

• DeltaLake をバージョン 1.0.0 にアップグレードします。

• Hive 2 と Hive 3 用の delta-connectors を統合します。

• delta-connectors が多階層パーティションテーブルをクエリするときに発生するエラーを修正します。

• DataSkipping、Optimize、Zorder などの複数の特徴の SQL 構文をサポートします。

• MetaStore へのメタデータの同期をサポートします。

Hudi

• Hudi が 0.9.0 に更新されました。

• Delta Lake と Hudi 間の sql.extension の互換性に関する問題が修正されました。

HDFS

NameNode の予約容量のデフォルトパラメーターが自動的に増加され、ディスク領域が不足した際に NameNode が速やかにセーフモードに入るようになります。

Storm

コンポーネントはオフラインです。

Zeppelin

Zeppelin をコミュニティバージョン 0.10.0 にアップグレードします。

Hue

• YARN Job Browser で、場合によってジョブの表示または停止に失敗する不具合を修正。

• デフォルトの構成で YARN Job Browser を有効化。

• デフォルトの構成で Presto プロトコルをサポート。

Druid

ClickHouse

• デフォルト構成を更新します。

• クラスターのスケールアウトをサポートします。

• MetaChecker 機能をサポートします。

• OSS テーブルエンジンと OSS テーブル関数によるデータの読み取りをサポートします。

Iceberg

• Iceberg をバージョン 0.12.0-1.0.1 にアップグレードします。

• Hive Runtime の依存関係に関するエラーを修正します。

Knox

DLF-Auth

サービス

変更

SmartData

SmartData をバージョン 3.7.1 にアップグレードしました。

Hue

高セキュリティクラスターで Impala を使用できない問題を修正しました。

Kudu

Kerberos のサポートを追加しました。

HBase

• 高セキュリティクラスターで HBase を再起動すると時間がかかりすぎる問題を修正しました。

• Spark 3.1.1 と HBase の統合が失敗する問題を修正しました。

• グレースフルストッププロセスを最適化しました。

サービス

変更

SmartData

SmartData をバージョン 3.7.0 にアップグレードしました。

Spark

Delta Lake との互換性の問題を修正しました。

Hive

JindoFS (ブロックモード) 上の Hive が、バッチメタデータ最適化機能をサポートするようになりました。

この機能はデフォルトで無効になっています。

DeltaLake

• DeltaLake パーティション機能のサポートを追加しました。

• desc detail コマンドと Spark バージョン 3.1.1 との間の互換性の問題を修正しました。

YARN

• ノードの Containers REST API に appId、CPU、およびメモリのリソース使用量情報を追加しました。

• リリースされた Auto Scaling ノード上の ApplicationMaster (AM) ログを表示できない問題を修正しました。

• State Store 内の既存データが原因でクラスターが利用できなくなる問題を修正しました。

• Auto Scaling によってデコミッションされた後にリリースされたノードをクリーンアップするサポートを追加しました。

• Auto Scaling のグレースフルデコミッションロジックを改善しました。NodeManager (NM) プロセスが終了した後にのみ、ノードがオフラインとしてマークされるようになりました。

Zookeeper

コミュニティバージョン 3.6.3 にアップグレードしました。

Flink

• SmartData コンポーネントを追加しました。

• Secure Shell (SSH) を使用して DataFlow-Flink クラスターにタスクを送信する際に、OSS へのパスワードなしのアクセスができない問題を修正しました。

Impala

OSS パーティションディレクトリを直接削除すると、ディレクトリリストのループが発生する問題を修正しました。

Hue

Hue を Oozie と統合したときに発生するユーザーインターフェース (UI) の表示問題を修正しました。

Kudu

コミュニティバージョン 1.14.0 にアップグレードしました。

Clickhouse

コンポーネントのバージョンは 21.3.13.9 です。

Iceberg

Iceberg コンポーネントを追加しました。コンポーネントのバージョンは 0.12.0 です。