Serverless StarRocks カーネルリリースノート - E-MapReduce - Alibaba Cloud ドキュメントセンター

このトピックでは、EMR Serverless StarRocks カーネルの機能更新について説明します。

3.3

説明

EMR Serverless StarRocks 3.3 は、Linux Foundation Project StarRocks に基づいています。詳細については、「StarRocks バージョン 3.3」をご参照ください。

バージョン 3.3.13-1.1.1

リリース日

2025 年 9 月 21 日

更新

機能カテゴリ	説明
ベースエンジン	[最適化された機能] パーティション統計情報の収集パフォーマンスを最適化しました。フロントエンド (FE) クエリフラグメントデプロイヤーのスレッドプールサイズの動的調整のサポートが追加されました。設定可能な FE チェックポイントパラメーターをサポートし、長時間実行タスクをログに記録します。 [修正された問題] Java Database Connectivity (JDBC) 接続の数が `jdbc_connection_pool_size` の制限を超えていました。パーティション名の競合により、動的パーティションの作成が失敗していました。インポートタスクの統計情報からスキャンデータ情報が欠落していました。転置インデックスクエリが null フィールドを誤ってフィルタリングしていました。正規表現一致のパターンが空文字列の場合、全文検索が誤った結果を返していました。手動で作成されたパーティションで挿入上書き操作が失敗していました。パーティション作成との競合により、Alter Job がキャンセルされました。統計情報収集のための分析ジョブのステータスが異常でした。 FE 上のインポートトランザクションログが不完全でした。
ストレージと計算の分離	[修正された問題] [重要] バックエンド (BE) または計算ノード (CN) の正常な終了により、タブレットメタデータファイルが読み取り不能になっていました。リーダー FE の最大コンパクションスコアメトリックが更新されていませんでした。同時バッチ公開およびスキーマ変更操作中にトランザクションログが失われていました。
Lakehouse	[修正された問題] Paimon テーブルの UUID フォーマットが誤って処理されていました。 Data Lake Formation (DLF) 2.5 の Paimon マテリアライズドビュー (MV) のユーザー認証が正しくありませんでした。

バージョン 3.3.13-1.1.0

リリース日

2025 年 7 月 21 日

更新

機能カテゴリ	説明
ベースエンジン	[最適化された機能] データ読み込みプロセスの可観測性を向上させるために fe.load ログを追加しました。 `information_schema.loads` テーブルに `sink_bytes` フィールドを追加しました。オフセットなどのキー情報を追加して Routine Load のエラーログを最適化し、トラブルシューティングを容易にしました。 [修正された問題] ConnectContext の `global_state_manager` が null になる可能性がある問題を修正しました。これにより、クエリの失敗、インポートの失敗、またはプロファイルの欠落が防止されます。データ精度を確保するために、列統計情報の欠落問題を修正しました。 `Query version not found` エラーを修正しました。大規模クラスターでのスレッドスタック出力によるプロセスのスタッタリングを防ぐために `slow_lock_print_stack` パラメーターを追加しました。 Union オペレーターの不正な実行計画によって FE で発生するメモリ不足 (OOM) の問題を修正しました。列の名前変更後に発生するクエリ失敗の問題を修正しました。スナップショットの読み込み失敗により主キーインデックスが失われる問題を修正しました。 MV プロパティの異常な変更によって引き起こされるリフレッシュの問題を修正しました。 FE 設定項目 `task_runs_max_history_number` を使用して、`information_schema.task_runs` ビューに保存される履歴 TaskRun の数を制御します。これにより、メモリオーバーヘッドが削減されます。データインポート中にバージョンが失われる問題を修正しました。フォロワーノードでの Task Run 情報の異常問題を修正しました。 FE のプライマリ/セカンダリスイッチオーバー後に Broker Load を再開できない問題を修正しました。列の変更後にクエリが null を返す問題を修正しました。単一のトランザクションで複数のテーブルに書き込む際に発生するパーティション作成の失敗を修正しました。不正な型を返す CASE WHEN 文によって引き起こされるクエリエラーを修正しました。同時実行シナリオでの重複キャッシュキーによって引き起こされるキャッシュの失敗を修正しました。主キーテーブルでの部分更新の失敗を修正しました。タスクを送信するためのロックメカニズムの問題を修正しました。低カーディナリティシナリオでの Union オペレーターのグローバル辞書の問題を修正しました。空のパーティションの不正なプルーニングの問題を修正しました。 MV の再書き込み中に null パーティションが失われることによって引き起こされるエラーを修正しました。 splitor がスキャン列をプルーニングできない問題を修正しました。 Left Anti Join に関連する問題を修正しました。
ストレージと計算の分離	[新機能] 共有データインスタンスが全文検索をサポートします。単一ノードコンパクションのパフォーマンスボトルネックを緩和するために、分散コンパクション機能を追加しました。キャッシュディスクの I/O ボトルネックによるパフォーマンス低下を防ぐために、キャッシュの適応 I/O モードをサポートします。クエリパフォーマンスをより良く監視するのに役立つ、ウェアハウスレベルのクエリメトリックを提供します。 [最適化された機能] クエリパフォーマンスをさらに向上させるために、デフォルトでインデックスキャッシュとメタデータキャッシュを有効にしました。共有データテーブルの最小バージョン情報が欠落している問題を修正しました。 [修正された問題] 共有データモードでの INSERT INTO EXTERNAL TABLE 操作中に、データが宛先ウェアハウスに異常に書き込まれる問題を修正しました。バッチ公開が有効になった後に発生する同時トランザクションの失敗を修正しました。コンパクションにウェアハウスが指定された後、コンパクションタスクの最大数を制限できない問題を修正しました。スキーマ変更後に Cache Select を使用してテーブルのデータをプリフェッチする際に発生するエラーを修正しました。 ALTER TABLE 文を使用してデータ分布方法を変更できない問題を修正しました。
Lakehouse	[新機能] Paimon テーブルが列レベルの血縁分析をサポートし、統計情報を最適化しました。 Paimon クエリの DLF 2.5 メタデータ取得効率を最適化し、クエリパフォーマンスを向上させました。 [修正された問題] Iceberg の等価削除ファイルに関するメモリリークの問題を修正しました。 DLF 2.5 のトークン期限切れの問題を修正しました。外部テーブルの基になるテーブルが再構築された後、MV が正常にリフレッシュできない問題を修正しました。外部テーブル上のマテリアライズドビューのリフレッシュが失敗する問題を修正しました。 INSERT OVERWRITE を使用して Hive テーブルにデータを書き込めない問題を修正しました。外部テーブルで `str2date` 関数を使用したことによる MV リフレッシュの失敗を修正しました。
全文検索	[新機能] 共有データインスタンスが全文検索をサポートします。主キーテーブルが全文検索をサポートします。全文検索インデックス機能を強化するために、複数の Match 関数を追加しました。共有データモードでのアクセス効率を向上させるために、インデックスファイルの数を最適化しました。

バージョン 3.3.13-1.0.0

リリース日

2025 年 6 月 19 日

更新

これは、エンタープライズグレードのカーネル Stella 1.0.0 の公式リリースです。このバージョンは、クラウドネイティブな共有データアーキテクチャに基づいています。システムの安定性とパフォーマンスの向上に重点を置き、全文検索などの多様なデータ分析シナリオのサポートを拡張しています。このリリースは、企業に統一的で効率的なクラウドネイティブのデータ分析機能を提供することを目的としています。

機能カテゴリ	説明
ベースエンジン	[新機能] Secure Sockets Layer (SSL) 暗号化をサポートします。統計情報収集タスクが同期モードオプションをサポートします。 Spark Load が動的構成の更新をサポートします。 [最適化された機能] マテリアライズドビュー (MV) の再読み込みパフォーマンスを最適化し、FE の起動効率を大幅に向上させました。集約操作のプッシュダウンと Broadcast Join の協調処理を最適化しました。 Broadcast 操作で行制限が有効にならない問題を修正しました。 `GROUP_CONCAT` によって生成される実行計画の精度を向上させました。 MV リフレッシュのロック粒度を最適化しました。 Metrics API を強化し、より多くの監視メトリックを提供します。高同時実行シナリオにおける Get Shard Info リモートプロシージャコール (RPC) のタイムアウト問題を最適化しました。 [修正された問題] バージョン 3.2 から 3.3 へのアップグレード時にスキーマ変更が原因で CN または BE がクラッシュする問題を修正しました。 Report Exec State が原因で挿入中にデータが失われる問題を修正しました。 Fast Schema Evolution が有効になった後に発生する CN のクラッシュ問題を修正しました。テーブルが削除された後、挿入タスクが正常に終了しない問題を修正しました。クエリ中にバージョンが見つからない問題を修正しました。タスクが強制終了された後、MV リフレッシュタスクがスタックする問題を修正しました。多段階 MV の再書き込み中に生成される不正な実行計画の問題を修正しました。タブレットが完全に読み込まれない問題を修正しました。 FE イメージが読み込まれた後、MV の関係が正しく構築されない問題を修正しました。 DESC Table Cache が原因で発生するクエリの失敗 (Query Terminated 例外) を修正しました。トランザクション結果が異常になる問題を修正しました。 Join および Union クエリの結果が不正になる問題を修正しました。 `n_gram` 関数が原因でクエリ結果が不正になる問題を修正しました。 DataWorks の血縁分析が有効にならない問題を修正しました。 Paimon の `DESC TABLE` の情報が不正になる問題を修正しました。 Paimon MV が常に完全リフレッシュされる問題を修正しました。
ストレージと計算の分離	[新機能] 設定可能な Compaction Punish 時間をサポートします。 Tablet Meta Cache と Index Cache をサポートし、クエリパフォーマンスを大幅に向上させます。 `_query_plan` インターフェイスがウェアハウス (計算グループ) の指定をサポートします。複数のウェアハウスにまたがるコンパクションスケジューリングをサポートします。 [最適化された機能] コンパクションの可観測性を向上させました。 Poco HTTP Client を使用して OSS のアクセス効率を最適化しました。 Drop Partition 操作後にローカルキャッシュをクリアして、無効なディスク領域の占有を回避することをサポートします。シャード情報の取得パフォーマンスを最適化しました。 Count 操作の直接読み取りパフォーマンスを向上させました。マルチウェアハウス環境におけるロードタスクの可観測性を強化しました。適応型ファイル形式をサポートし、1 秒あたりの入出力操作 (IOPS) を削減し、クエリパフォーマンスを最適化します。 [修正された問題] クラウドネイティブの主キー (PK) インデックスを完全に有効にし、メタデータ関連のいくつかの問題を修正しました。コンパクションが正常にスケジュールされない問題を修正しました。
Lakehouse	[新機能] Alibaba Cloud Data Lake Formation 2.5 をサポートします。 Paimon 外部テーブルが時間型のフィールドをサポートします。 Paimon 外部テーブルが `SHOW CREATE TABLE` を使用したプロパティのクエリをサポートします。 [最適化された機能] MV がメタデータを頻繁に取得するようにスケジュールされている場合の冗長な I/O 操作を削除し、I/O 操作の数を削減しました。これにより、リフレッシュ効率が向上します。 Paimon メタデータキャッシュの構成を最適化しました。 Paimon クエリで `FLOAT` 型のフィルタリングが有効にならない問題を修正しました。 DLF からのパーティション情報の読み取りパフォーマンスを向上させました。 MaxCompute 外部テーブルのメタデータリフレッシュをサポートします。作成時間の代わりに UUID を使用して Paimon クエリのパフォーマンスを最適化しました。 Paimon 削除ベクターテーブルのクエリパフォーマンスを向上させました。 Parquet ファイルのスキャン効率を最適化しました。 [修正された問題] Paimon クエリにおける `DATETIME` 型のタイムゾーンが不正になる問題を修正しました。 Hudi データソースから `VARCHAR` 型を読み取れない問題を修正しました。 Paimon のコミット情報が不正に書き込まれる問題を修正しました。
全文検索	[新機能] 全文検索機能がベータ版としてリリースされました。このバージョンでは、複数の Clucene パフォーマンス問題を最適化し、テキスト検索のパフォーマンスを 100% 以上向上させています。 Tokenize 関連の関数をサポートします。 [最適化された機能] 転置インデックスのファイル構造を最適化し、クエリ効率を向上させました。迅速な問題の特定と解決を容易にするために、インデックスツールを改善しました。

バージョン 3.3.8-1.98 以前

バージョン番号	リリース日	説明
3.3.8-1.98	2025 年 5 月 28 日	[新機能] マルチウェアハウス機能は、コンパクション分離メカニズムをサポートします。これにより、インポートタスクで使用されるウェアハウスに基づいてコンパクション操作を動的に実行できます。 Paimon の機能が強化されました。Paimon DLF 2.5 Catalog がサポートされます。Paimon Manifest Cache メカニズムが導入されました。Paimon Schema Change 機能がサポートされます。 [最適化された機能] 動的 FE 構成 `lake_min_compaction_interval_ms_on_success` および `lake_min_compaction_interval_ms_on_failure` を追加しました。これらの構成は、共有データシナリオでのコンパクションスケジューリングのレイテンシを正確に制御し、高頻度のインポートタスクがスケジューリングパフォーマンスに与える影響を軽減します。ストレージと計算の分離の最適化メモリの最適化: 共有データアーキテクチャでの部分的な列更新に `Max Buffer Rows` 制限を導入し、インスタンスの安定性を大幅に向上させました。 gRPC プロトコルの最適化: チャネルの再利用をサポートし、FE と BE 間のネットワーク圧力を大幅に削減し、クエリパフォーマンスを向上させました。 RPC インターフェイスの最適化: FE から StarOS シャードへの RPC インターフェイスを最適化し、クエリパフォーマンスをさらに向上させました。カーネルの最適化: BE および CN のタブレットに対する並列スキャン機能を改善し、クエリ効率を大幅に向上させました。 FE の起動時およびリーダー FE のチェックポイント実行時の MV の再読み込みのオーバーヘッドを最適化しました。これは、多くの MV と複雑な依存関係を持つクラスターに特に役立ちます。インスタンスの安定性を向上させ、リソース消費を削減します。 [修正された問題] FinishInstance RPC の繰り返し呼び出しによって発生するエラーを修正しました。 FE チェックポイントによって引き起こされる Base Compaction Forbidden Range エラーを修正しました。インポートウェアハウスへのコンパクションのバインド機能が無効になっている場合に発生するコンパクションスケジューリングの問題を修正しました。一部の Insert Overwrite シナリオにおける潜在的なデータ損失の問題を修正しました。タイムゾーンの問題や DLF 2.5 の依存関係の問題など、いくつかの Paimon のバグを修正しました。データスピルによって引き起こされる CN のクラッシュ問題を修正しました。ストレージと計算の分離の修復: 部分更新操作によって引き起こされる、ソートキーを持つ主キーテーブルのデータ損失の問題を修正しました。バージョン 3.1 または 3.2 から 3.3 へのアップグレード後の列の一意の ID の非互換性によって引き起こされるスキーマ変更の失敗を修正しました。 Batch Publish によって引き起こされるバージョン不整合の問題を修正しました。
3.3.8-1.91	2025 年 3 月 20 日	[新機能] 共有データインスタンスで部分的および条件付き更新がサポートされます。 BE に動的構成項目 `enable_delete_with_condition` が追加されました。この構成項目は、特定の条件での削除を許可するかどうかを指定します。 FE に構成項目 `enable_corrupt_check_set_bad` が追加されました。デフォルト値は `false` です。この項目を有効にすると、共有なしインスタンスで作成されたテーブルからデータをクエリする際に、システムがレプリカファイルが破損しているかどうかをチェックします。レプリカファイルが破損している場合、システムは自動的にファイルを不良としてマークし、データ信頼性を向上させます。外部カタログを作成するために使用されるステートメントで、AccessKey ID と AccessKey シークレットを明示的に構成できます。 [最適化された機能] 多くの MV が存在する場合に、`SHOW MATERIALIZED VIEW` ステートメントの実行または `information_schema.materialized_views` テーブルからのデータクエリのパフォーマンスを向上させます。 [修正された問題] 計算ストレージ統合インスタンスでトランザクション Stream Load を使用できない問題を修正しました。コミュニティバージョン 3.3.8 で CN がクラッシュする問題を修正しました。 MV がリフレッシュされた後、ごみ箱内の期限切れパーティションの物理データファイルが削除されない問題を修正しました。マルチウェアハウス機能を有効にした後、Kudu 外部テーブルにアクセスできない問題を修正しました。対応するクエリコンテキストが解放された後、スピルタスクが期待どおりに終了しない問題を修正しました。 FlatJSON を使用して非オブジェクト JSON データを読み取る際に BE がクラッシュする問題を修正しました。 Paimon テーブルのタイムスタンプフィールドのタイムゾーン変換の問題を修正しました。パーティション化されていない Paimon テーブルに対して `SHOW PARTITION` ステートメントが実行されたときに NullPointerException が発生する問題を修正しました。
3.3.8-1.90	2025 年 3 月 4 日	[新機能] 共有データインスタンスで DataCache レイヤーでの統計計算と収集がサポートされます。 [最適化された機能] MV を取得するロジックを最適化して、システムパフォーマンスを向上させます。コンパクションの安定性を強化: FE が再起動された後、コンパクション操作がブロックされる可能性がある問題を修正しました。コンパクション操作が自動的に終了しない問題を修正しました。 OSS API のリクエストロジックを最適化しました。データをバッチ公開する際にログと可観測性を提供します。ステータスの詳細やパフォーマンスメトリックなど、より多くのコンパクション関連の診断分析情報を提供します。 OSS-HDFS のアクセスロジックを最適化して、データ読み取りおよび書き込み操作の安定性と効率を向上させます。 [修正された問題] FE のプライマリ/セカンダリスイッチオーバー中に、レイクコンパクショントランザクションが繰り返しトリガーされる問題を修正しました。 Stream Load ノードでトランザクションメカニズムが使用されている場合に、マルチウェアハウス機能が期待どおりに動作しない問題を修正しました。 `information_schema` テーブルからウェアハウスプロパティが欠落している問題を修正しました。 Paimon キャッシュが自動的にリフレッシュされない問題を修正しました。 FE が再起動された後、Resource Access Management (RAM) ユーザープロパティが失われる問題を修正しました。 DLF 2.0 認証中に発生するエラーを修正しました。
3.3.8-1.87	2025 年 2 月 6 日	[新機能] Paimon テーブルでパーティション情報を表示するために `SHOW PARTITIONS` 構文がサポートされます。 Paimon テーブルへのデータ書き込みをサポートします。 DLF 2.0 をサポートします。 [最適化された機能] プロファイル関連の変更を削除しました。 Pure DLA に関連するコードを削除しました。コンパクションタスクに詳細な可観測性情報を追加しました。ヒントを使用してキャッシュの動作を制御できる Cache Select のヒント設定をサポートします。 MV の強制リフレッシュポリシーを最適化しました。 Update ステートメントの機能を拡張し、単一のステートメントで列を複数回設定できるようにしました。共有データテーブルのクラウドネイティブインデックスの削除をサポートします。 Paimon テーブルは、クエリパフォーマンスを最適化するための統計情報収集をサポートします。 Paimon テーブルのクエリにパーティション述語のみが含まれている場合、Limit Push Down をサポートします。 Metrics Action にログ出力機能を追加しました。クラウドネイティブインデックスに主キー (PK) 関連のメトリックを追加しました。 OSS API 呼び出しのカウントをサポートします。 gRPC 呼び出しのタイムアウト問題を最適化しました。コンパクションプロセスにスケジューリングログを追加しました。 Paimon テーブルは、マニフェストキャッシュのリフレッシュをサポートします。 Paimon テーブルクエリのプロファイル情報出力を最適化しました。共有データテーブルは、インデックスキャッシュ機能をサポートします。共有データテーブルプロファイルは、書き込み関連のパフォーマンスメトリックをサポートします。 MV リフレッシュタスクを最適化して、FE メモリの問題を修正しました。 Paimon テーブルのメタデータキャッシュ機能をサポートします。 DataWorks への列レベルの血縁のエクスポートをサポートします。 `COUNT(1)` クエリの実行効率を最適化しました。 [修正された問題] DLF Paimon テーブルをクエリする際に発生する `thrift class not found` 例外を修正しました。 Paimon テーブルクエリ中の型変換によって引き起こされる例外を修正しました。 Paimon カタログクエリで `aliyun.oss.endpoint` 構成が正しく認識されない問題を修正しました。集計クエリの結果が不正確になる問題を修正しました。データレイクテーブルの統計情報収集結果が不正になる問題を修正しました。内部共有データテーブルで部分更新操作が実行された後に生成される異常なセグメントファイルの問題を修正しました。コンパクションプロファイルが誤って表示される問題を修正しました。 FE の LockManager がすべての呼び出し元をウェイクアップできない問題を修正しました。ソートキーを変更できない問題を修正しました。ウェアハウスプロパティ構成が有効にならない問題を修正しました。管理者ユーザーがウェアハウスを管理できない問題を修正しました。コストベースオプティマイザー (CBO) の Reduce ルールが異常になる問題を修正しました。 Hive テーブルをクエリする際に、Hudi テーブルが存在しないというエラーメッセージが誤って報告される問題を修正しました。共有データテーブルの更新操作後、公開時間が正しく更新されない問題を修正しました。 Spark によって書き込まれた Parquet ファイルを読み取る際に発生するエラーを修正しました。
3.3.2-1.77	2024 年 11 月 19 日	クラウドネイティブ PK インデックスをサポートします。コスト最適化のために OSS API アクセスのメトリック統計をサポートします。 FE クエリスケジューリングのフォールトトレランスを最適化して、安定性を向上させます。 Prepare ログ記録によって引き起こされるコミュニティバージョン 3.3 の安定性の問題を修正しました。 Paimon テーブルの読み取り速度を向上させるために、Paimon カタログレベルのキャッシュをデフォルトで有効にします。 Paimon テーブルは、EXPLAIN ANALYZE を使用したパフォーマンス分析をサポートします。 Paimon テーブルの実行計画を最適化しました。 Hive または DLF カタログの Paimon テーブルで潜在的なデッドロックの問題を修正しました。 Paimon システムテーブルをクエリできない問題を修正しました。 DLF 外部テーブルにアクセスできない問題を修正しました。

3.2

説明

EMR Serverless StarRocks 3.2 は、Linux Foundation Project StarRocks に基づいています。詳細については、「StarRocks バージョン 3.2」をご参照ください。

バージョン番号	リリース日	説明
3.2.15-1.97	2025 年 5 月 28 日	[修正された問題] Elasticsearch カタログのプロパティを解析する際に発生する可能性のあるエラーを修正しました。 Optimize Job の実行中にクエリのタイムアウトを正しく設定できない問題を修正しました。 CreateLoadTask 操作が FE ノードをスタックさせる可能性がある問題を修正しました。異常なトランザクションステータスにより Stream Load が重複ラベルを報告する問題を修正しました。
3.2.15-1.92	2025年 3月 21日	[新機能] `MAX_BY()` および `MIN_BY()` ウィンドウ関数をサポートします。 [最適化された機能] テーブルのベースコンパクションが禁止される時間範囲の設定をサポートします。 Paimon テーブルの統計情報収集をサポートします。 Metrics にノードとヒストグラムのメトリックを追加しました。 StarClient にタイムアウトパラメーター構成を追加しました。破損したレプリカの自動検出と不良マーク付けをサポートします。 [修正された問題] `SHOW ROUTINE LOAD` の実行後、`loadRowsRate` フィールドに 0 が返される問題を修正しました。 Files() 関数がクエリされていない列を正しく読み取れない問題を修正しました。 `ARRAY_MAP` 関数が BE をクラッシュさせる問題を修正しました。 Metadata Cache が BE をクラッシュさせる問題を修正しました。トランザクションのタイムアウトにより Routine Load がキャンセルされる問題を修正しました。低カーディナリティ最適化が有効な場合、ネストされた集計関数 `MAX(COUNT(DISTINCT))` の実行計画が正しくない問題を修正しました。 Stream Load が非アクティブなノードにリダイレクトされる問題を修正しました。 BE の再起動後、bRPC が継続的にエラーを報告する問題を修正しました。 HTTP 1.0 を使用して Stream Load を送信できない問題を修正しました。リーダー FE とフォロワー FE の間でタスクステータスが不整合になる問題を修正しました。 MV の行数が正しくない問題を修正しました。
3.2.11-1.79	2024年 11月 20日	[最適化された機能] クエリ速度を向上させるために、Paimon パーティションレベルのキャッシュをデフォルトで有効にします。 Paimon の統計機能を最適化しました。失敗したクエリのエラーメッセージを監査ログに追加しました。 [修正された問題] コロケートタブレットの頻繁な移行の問題を修正しました。 OSS または OSS-HDFS 上の Paimon テーブルにアクセスする際に OSS スキームが見つからない問題を修正しました。 DLF 2.0 Paimon テーブルを作成できない問題を修正しました。 Hive パーティションテーブルにデータを書き込む際に発生するパーティションエラーを修正しました。 array_to_bitmap 関数が定数結果を処理する際のエラーを修正しました。
3.2.11-1.76	2024年 10月 30日	[最適化された機能] プロファイル収集ポリシーを最適化し、潜在的なクラッシュの問題を修正しました。共有データアーキテクチャの例外処理メカニズムを強化し、システムのフォールトトレランスを向上させました。 [修正された問題] 外部パーティションテーブルにデータを挿入する際に結果が不正になる問題を修正しました。スレッドリークによる FE の異常問題を修正しました。共有データ環境で PK テーブルが Bitmap 型を使用する際に発生するクラッシュ問題を修正しました。共有データアーキテクチャの FE で OOM エラーを防ぐための `ToDataCacheInfo` リーク問題を修正しました。 Query Cache によって引き起こされる不正なクエリ結果の問題を修正しました。一部の Bucket Shuffle 操作が不正な結果を返す問題を修正しました。テーブル関数にアクセスする際に NullPointerException (NPE) が生成される問題を修正し、システムの安定性を向上させました。
3.2.9-1.71	2024年 9月 14日	[新機能] Paimon テーブルへのデータ書き込みをサポートします。 DLF 2.0 Paimon カタログからの読み取りと書き込みをサポートします。 [最適化された機能] Paimon テーブルの Explain Analyze 機能をサポートします。 Paimon テーブルのプルーニングと統計を削除しました。 Current Query に SQL フィールドを追加しました。 SELECT COUNT のパフォーマンスを最適化しました。移行の進捗状況を取得するためのインターフェイスを追加しました。 Iceberg DLF は dlf.catalog.id の設定をサポートします。 [修正された問題] LIKE クエリの書き換え例外を修正しました。 `show data` が不正確なデータを表示する問題を修正しました。
3.2.9-1.67	2024年 8月 16日	[最適化された機能] Hive Sink のパフォーマンスを最適化しました。 [修正された問題] Hive Catalog と Ranger 間の権限適応の問題を修正しました。 Count 最適化によるクラッシュ問題を修正しました。 snapinfo の取得による MV リフレッシュ効率の低下の問題を修正しました。共有データテーブルの Compaction Manager におけるメタデータ拡張の問題を修正しました。 CN をクラッシュさせる問題を修正しました。 3.2.9 へのアップグレード後、Prepare Statement を使用できない問題を修正しました。データスピルが有効になった後に発生するデータ不整合の問題を修正しました。
3.2.9-1.66	2024年 8月 9日	[新機能] 親ディレクトリが存在しない場合に OSS-HDFS ファイルへの書き込みをサポートします。 Broker Load は Jindo をサポートします。 OSS-HDFS の異なるエンジンを自動的に識別する機能を実装しました。 [最適化された機能] より効率的な診断と分析のためにコンパクションログを最適化しました。 CN の起動時に star mgr ディレクトリを作成します。 FE のデフォルトのリダイレクト構成を最適化しました。パフォーマンスを向上させるために、不要なログレコードと構成項目を最適化しました。全体的な O&M 機能を向上させるために、共有データアーキテクチャにより多くの I/O 監視メトリックを追加しました。共有データアーキテクチャの適応 I/O ポリシーを最適化しました。 [修正された問題] 外部テーブルを使用して GCS および Azure データにアクセスすることをサポートします。スピル結果が 4 GB を超える場合に発生するエラーを修正しました。スピルの事前集計によって引き起こされる不正な結果の問題を修正しました。予期しない MV リフレッシュの問題を修正しました。 PK インデックスのメモリ統計の問題を修正しました。不正確な統計情報の問題を修正しました。挿入タスクをキャンセルできない問題を修正しました。スキーマ変更によって引き起こされるプランエラーを修正しました。外部テーブルが CN 情報を取得できない問題を修正しました。
3.2.9-1.65	2024年 7月 19日	[新機能] Jindo ソフトウェア開発キット (SDK) をバージョン 6.5.0 にアップグレードしました。 Iceberg は DLF Catalog をサポートします。共有データクラスターはシャードのリバランスをサポートします。 regexp_split メソッドをサポートします。 [最適化された機能] `get_txn_status_internal_sec` のデフォルト待機時間が 30 秒から 10 秒に短縮され、Stream Load が公開フェーズで遅延するのを防ぎます。 `pindex_shared_data_gc_evict_interval_seconds` パラメーターの動的変更をサポートし、共有データクラスターの主キーテーブルのローカル永続インデックスのガベージコレクション (GC) 間隔を調整します。 [修正された問題] OSS にデータをエクスポートする際の、時折発生する Jindo CRC 不一致の問題を修正しました。 OSS-HDFS にアクセスする際に、時折ファイルが存在しない問題を修正しました。 SQL 構文エラーが「Lost Connection」として誤って報告される問題を修正しました。
3.2.8-1.62	2024年 6月 27日	[新機能] Unified Catalog は Kudu と Paimon をサポートし、DLF タイプの Unified Catalog の作成をサポートします。血縁ログの生成をサポートします。 describe および show create コマンドを使用する際に、外部テーブルのコメント情報を表示することをサポートします。 [修正された問題] 共有データクラスターで外部テーブルにデータを書き込めない問題を修正しました。パーティションキー列に NULL 値が含まれている場合、Paimon MV のリフレッシュが失敗する可能性がある問題を修正しました。不正確なメモリ統計の問題を修正しました。
3.2.6-1.60	2024 年 6 月 6 日	[新機能] 解析に失敗した SQL ステートメントを「bad sql」として分類することをサポートします。 Kudu コネクタがサポートされるようになりました。 `enable_pipeline_engine` 構成を追加しました。 [修正された問題] クラスター移行タスクがソースクラスターのスキーマを正しく取得できず、BE がクラッシュする問題を修正しました。不正確なメモリ統計の問題を修正しました。 Paimon が読み取り専用テーブルから読み取る際のパフォーマンスの問題を修正しました。
3.2.6-1.59	2024年 5月 31日	[新機能] 構文解析エラーの場合、Query Details に「bad sql」情報を表示します。 Paimon の削除ベクタークエリをサポートします。 [修正された問題] Paimon Catalog がカスタム DLF ディレクトリを使用できない問題を修正しました。 Paimon Catalog を作成する際にウェアハウスを指定する必要がある問題を修正しました。
3.2.6-1.57	2024年 5月 23日	説明 3.2.6-1.57 より前のバージョンを使用している場合は、3.2.6-1.57 以降のバージョンにアップグレードすることをお勧めします。 `OPTIMIZE` コマンドを使用して、内部共有データテーブルのバケットストレージレイアウトを最適化することをサポートします。 [最適化された機能] FE 構成 `fragment_profile_drop_threshold_ms` を追加しました。これはコンソールでのデフォルト構成をサポートします。`drop fragment profile` のデフォルトのしきい値は 0 に設定されており、この機能はデフォルトで無効になっていることを意味します。内部共有データテーブルをリフレッシュするための独立したスレッドプール構成 `lake_flush_thread_num_per_store` を提供します。デフォルト値は `2 * Number of CPUs` です。これは、書き込み I/O スループットパフォーマンスを最適化することを目的としています。 I/O マージポリシーを最適化し、小さなファイル全体を直接読み取れるようにしました。一部のクラスター間移行構成のデフォルト値を調整しました。 [修正された問題] report_exec_stat RPC への接続が失敗し、再確立できない問題を修正しました。これにより、`INSERT INTO` 操作とプロファイル収集が失敗します。 MV Index によって導入された、メタデータ再生中に FE が頻繁にクラッシュする問題を修正しました。バージョン 3.2.6 以降に導入された AST Cache の問題により、一部の MV が作成できない問題を修正しました。
3.2.6-1.52	2024 年 5 月 8 日	DLF データベースとテーブルメタデータの作成をサポートします。 [修正された問題] `lake_tablet_internal_parallel` 構成が有効になった後、タブレットメタデータを取得する際のエラーを修正しました。 `INSERT INTO` インポート操作のタイムアウトの問題を修正しました。BE に `thrift_rpc_timeout_ms` 構成が追加され、RPC タイムアウトを調整します。スキーマ変更が長時間応答しない問題を修正しました。
3.2.4-1.37	2024年 3月 8日	クラスター間のデータ移行をサポートします。主キー (PK) テーブルは、サイズ階層型コンパクションをサポートします。

参照

EMR Serverless StarRocks コンソールの最新の機能更新については、「コンソールリリースノート」をご参照ください。