このページでは、EMR Serverless StarRocks カーネルの機能更新、パフォーマンスの向上、バグ修正をバージョン別に一覧表示します。
3.2
EMR Serverless StarRocks 3.2 は、Linux Foundation プロジェクト StarRocks に基づいています。詳細については、「StarRocks バージョン 3.2」をご参照ください。
バージョン 3.2.15-1.97
リリース日:2025 年 5 月 28 日
バグ修正
-
Elasticsearch カタログのプロパティ解析時に発生する可能性のあるエラーを修正しました。
-
Optimize Job 中にクエリタイムアウトが正しく設定できない問題を修正しました。
-
CreateLoadTask 操作が FE ノードをスタックさせる可能性がある問題を修正しました。
-
異常なトランザクションステータスにより Stream Load が重複ラベルを報告する問題を修正しました。
バージョン 3.2.15-1.92
リリース日:2025 年 3 月 21 日
新機能
-
MAX_BY()およびMIN_BY()ウィンドウ関数のサポートを追加しました。
改善点
-
テーブルの base compaction が禁止される時間範囲を設定するサポートを追加しました。
-
Paimon テーブルの統計情報収集のサポートを追加しました。
-
Metrics にノードとヒストグラムのメトリックを追加しました。
-
StarClient にタイムアウトパラメータ設定を追加しました。
-
破損したレプリカの自動検出と不良マーク付けのサポートを追加しました。
バグ修正
-
SHOW ROUTINE LOADの実行後にloadRowsRateフィールドに0が返される問題を修正しました。 -
Files()関数がクエリされていない列を正しく読み取れない問題を修正しました。 -
ARRAY_MAP関数が BE をクラッシュさせる問題を修正しました。 -
Metadata Cache が BE をクラッシュさせる問題を修正しました。
-
トランザクションタイムアウトにより Routine Load がキャンセルされる問題を修正しました。
-
低カーディナリティ最適化が有効な場合に、ネストされた集計関数
MAX(COUNT(DISTINCT))の実行計画が正しくない問題を修正しました。 -
Stream Load が非アクティブなノードにリダイレクトされる問題を修正しました。
-
BE の再起動後に bRPC が継続的にエラーを報告する問題を修正しました。
-
HTTP 1.0 を使用して Stream Load が送信できない問題を修正しました。
-
リーダーおよびフォロワー FE 間でタスクステータスが不整合になる問題を修正しました。
-
MV の行数が正しくない問題を修正しました。
バージョン 3.2.11-1.79
リリース日:2024 年 11 月 20 日
改善点
-
クエリ速度を向上させるために、Paimon パーティションレベルのキャッシュをデフォルトで有効にしました。
-
Paimon の統計機能を改善しました。
-
失敗したクエリのエラーメッセージを監査ログに追加しました。
バグ修正
-
colocate タブレットが頻繁に移行しすぎる問題を修正しました。
-
OSS または OSS-HDFS 上の Paimon テーブルにアクセスする際に OSS スキームが見つからない問題を修正しました。
-
DLF 2.0 Paimon テーブルが作成できない問題を修正しました。
-
Hive パーティションテーブルにデータを書き込む際に発生するパーティションエラーを修正しました。
-
array_to_bitmap関数が定数結果を処理する際のエラーを修正しました。
バージョン 3.2.11-1.76
リリース日:2024 年 10 月 30 日
改善点
-
プロファイル収集ポリシーを改善し、潜在的なクラッシュの問題を修正しました。
-
システムのフォールトトレランスを向上させるために、共有データアーキテクチャの例外処理メカニズムを強化しました。
バグ修正
-
外部パーティションテーブルにデータを挿入する際に誤った結果が返される問題を修正しました。
-
スレッドリークによって引き起こされる異常な FE の問題を修正しました。
-
共有データ環境で PK テーブルが Bitmap 型を使用するとクラッシュする問題を修正しました。
-
ToDataCacheInfoのリーク問題を修正し、共有データアーキテクチャの FE での OOM エラーを防ぎました。 -
Query Cache が原因で誤ったクエリ結果が返される問題を修正しました。
-
一部の Bucket Shuffle 操作が誤った結果を返す問題を修正しました。
-
テーブル関数にアクセスする際に NullPointerException (NPE) が生成される問題を修正しました。
バージョン 3.2.9-1.71
リリース日:2024 年 9 月 14 日
新機能
-
Paimon テーブルへのデータ書き込みのサポートを追加しました。
-
DLF 2.0 Paimon カタログからの読み取りと書き込みのサポートを追加しました。
改善点
-
Paimon テーブルの Explain Analyze 機能のサポートを追加しました。
-
Paimon テーブルのプルーニングと統計を削除しました。
-
Current Query に SQL フィールドを追加しました。
-
SELECT COUNTのパフォーマンスを改善しました。 -
移行の進捗を取得するインターフェイスを追加しました。
-
Iceberg DLF が
dlf.catalog.idの設定をサポートするようになりました。
バグ修正
-
LIKE クエリの書き換え例外を修正しました。
-
SHOW DATAが不正確なデータを表示する問題を修正しました。
バージョン 3.2.9-1.67
リリース日:2024 年 8 月 16 日
改善点
-
Hive Sink のパフォーマンスを改善しました。
バグ修正
-
Hive Catalog と Ranger 間の権限適応の問題を修正しました。
-
Count 最適化によるクラッシュを修正しました。
-
snapinfo の取得により MV のリフレッシュ効率が低くなる問題を修正しました。
-
共有データテーブルの Compaction Manager でメタデータが拡張される問題を修正しました。
-
CN をクラッシュさせる問題を修正しました。
-
3.2.9 へのアップグレード後に Prepare Statement が使用できなくなる問題を修正しました。
-
データスピルが有効になった後に発生するデータの不整合の問題を修正しました。
バージョン 3.2.9-1.66
リリース日:2024 年 8 月 9 日
新機能
-
親ディレクトリが存在しない場合に OSS-HDFS ファイルへの書き込みをサポートしました。
-
Broker Load が Jindo をサポートするようになりました。
-
OSS-HDFS の異なるエンジンを自動的に識別する機能を追加しました。
改善点
-
より効率的な診断と分析のためにコンパクションログを改善しました。
-
CN の起動時に star mgr ディレクトリが作成されるようになりました。
-
FE のデフォルトのリダイレクト設定を改善しました。
-
パフォーマンスを向上させるために、不要なログレコードと設定項目を削除しました。
-
運用およびメンテナンス能力を向上させるために、共有データアーキテクチャの I/O 監視メトリックを追加しました。
-
共有データアーキテクチャの適応型 I/O ポリシーを改善しました。
バグ修正
-
外部テーブルを使用して GCS および Azure データにアクセスするサポートを追加しました。
-
スピル結果が 4 GB を超えたときに発生するエラーを修正しました。
-
スピル事前集計により誤った結果が返される問題を修正しました。
-
予期しない MV リフレッシュの問題を修正しました。
-
PK インデックスメモリ統計の問題を修正しました。
-
統計情報が不正確である問題を修正しました。
-
挿入タスクがキャンセルできない問題を修正しました。
-
スキーマ変更によって引き起こされるプランエラーを修正しました。
-
外部テーブルが CN 情報を取得できない問題を修正しました。
バージョン 3.2.9-1.65
リリース日:2024 年 7 月 19 日
新機能
-
Jindo ソフトウェア開発キット (SDK) をバージョン 6.5.0 にアップグレードしました。
-
Iceberg が DLF Catalog をサポートするようになりました。
-
共有データクラスターがシャードリバランスをサポートするようになりました。
-
regexp_splitメソッドのサポートを追加しました。
改善点
-
get_txn_status_internal_secのデフォルト待機時間を 30 秒から 10 秒に短縮し、Stream Load が公開フェーズで遅延するのを防ぎました。 -
pindex_shared_data_gc_evict_interval_secondsパラメータの動的変更をサポートし、共有データクラスターのプライマリキーテーブルのローカル永続インデックスのガベージコレクション (GC) 間隔を調整できるようにしました。
バグ修正
-
OSS にデータをエクスポートする際に時折発生する Jindo CRC 不一致の問題を修正しました。
-
OSS-HDFS にアクセスする際にファイルが存在しないと報告される時折発生する問題を修正しました。
-
SQL 構文エラーが「Lost Connection」と誤って報告される問題を修正しました。
バージョン 3.2.8-1.62
リリース日:2024 年 6 月 27 日
新機能
-
Unified Catalog が Kudu と Paimon をサポートし、DLF タイプの Unified Catalog の作成をサポートするようになりました。
-
血縁ログの生成をサポートしました。
-
DESCRIBEおよびSHOW CREATE TABLEコマンドを使用して外部テーブルのコメント情報を表示するサポートを追加しました。
バグ修正
-
共有データクラスターで外部テーブルにデータを書き込めない問題を修正しました。
-
パーティションキー列に NULL 値が含まれている場合に Paimon MV のリフレッシュが失敗する可能性がある問題を修正しました。
-
メモリ統計が不正確である問題を修正しました。
バージョン 3.2.6-1.60
リリース日:2024 年 6 月 6 日
新機能
-
解析に失敗した SQL ステートメントを「不正な SQL」として分類するサポートを追加しました。
-
Kudu コネクタのサポートを追加しました。
-
enable_pipeline_engine構成を追加しました。
バグ修正
-
クラスター移行タスクがソースクラスターのスキーマを正しく取得できず、BE がクラッシュする問題を修正しました。
-
メモリ統計が不正確である問題を修正しました。
-
Paimon が読み取り専用テーブルから読み取る際のパフォーマンスの問題を修正しました。
バージョン 3.2.6-1.59
リリース日:2024 年 5 月 31 日
新機能
-
構文解析エラーのクエリ詳細に「不正な SQL」情報を表示する機能を追加しました。
-
Paimon の削除ベクタークエリのサポートを追加しました。
バグ修正
-
Paimon Catalog がカスタム DLF ディレクトリを使用できない問題を修正しました。
-
Paimon Catalog の作成時にウェアハウスを指定する必要がある問題を修正しました。
バージョン 3.2.6-1.57
リリース日:2024 年 5 月 23 日
以前のバージョンを実行している場合は、バージョン 3.2.6-1.57 以降にアップグレードしてください。
新機能
-
OPTIMIZEコマンドを使用して、内部共有データテーブルのバケットストレージレイアウトを最適化するサポートを追加しました。
改善点
-
FE 構成
fragment_profile_drop_threshold_msを追加し、コンソールでのデフォルト設定をサポートしました。drop fragment profileのデフォルトのしきい値は0に設定されており、これは機能がデフォルトで無効になっていることを意味します。 -
内部共有データテーブルをリフレッシュするための独立したスレッドプール構成
lake_flush_thread_num_per_storeを追加しました。デフォルト値は2 * CPU 数です。これにより、書き込み I/O スループットのパフォーマンスが向上します。 -
I/O マージポリシーを改善し、小さなファイル全体を直接読み取れるようにしました。
-
一部のクラスター間移行構成のデフォルト値を調整しました。
バグ修正
-
report_exec_stat RPC への接続が失敗し、再確立できなくなり、
INSERT INTO操作とプロファイル収集が失敗する問題を修正しました。 -
MV Index によって導入された、メタデータ再生中に FE が頻繁にクラッシュする問題を修正しました。
-
バージョン 3.2.6 以降に導入された AST Cache の問題により、一部の MV が作成できなくなる問題を修正しました。
バージョン 3.2.6-1.52
リリース日:2024 年 5 月 8 日
新機能
-
DLF データベースとテーブルメタデータの作成をサポートしました。
バグ修正
-
lake_tablet_internal_parallel構成が有効になった後のタブレットメタデータ取得エラーを修正しました。 -
INSERT INTOインポート操作のタイムアウトの問題を修正しました。RPC タイムアウトを調整するために、BE にthrift_rpc_timeout_ms構成が追加されました。 -
スキーマ変更が長時間応答しない問題を修正しました。
バージョン 3.2.4-1.37
リリース日:2024 年 3 月 8 日
新機能
-
クラスター間のデータ移行をサポートしました。
-
主キー (PK) テーブルがサイズ階層型コンパクションをサポートするようになりました。
参考資料
EMR Serverless StarRocks コンソールの最新の機能更新については、「コンソールリリースノート」をご参照ください。