E-MapReduce:カーネルリリースノート

カテゴリ

説明

エンジン

修正

• _bytes が空の場合に `BinaryColumnBase::append` で BE がクラッシュする問題を修正しました。

• SinkBuffer の brpc クロージャーコールバックで `bad_weak_ptr` によるクラッシュ (QueryContext の時期尚早な破棄シナリオ) を修正しました。

• `ALTER TABLE SET storage_volume` が EditLog を書き込まず、Leader の再起動後に Follower FE の同期がずれ、バインディングが失われる問題を修正しました。

• ChildFirstClassLoader での JNI コネクタのロード中に発生する SLF4J LinkageError を修正しました。

• パーティションバージョンのギャップがある一括パブリッシュによって引き起こされるデッドロックを修正しました。

• PipelineTimerTask が `waitUtilFinished` でスタックする問題を修正しました。

• EventScheduler の `check_short_circuit` における論理エラーを修正しました。

ストレージコンピューティング分離

修正

• 新規に割り当てられたパーティション ID の下位ビットのパリティが同じ場合に、複合 SV でサブバケットルーティングが不均一になる問題を修正しました。

• 複合 SV で、シャードパスの変更後にスキーマ変更/ロールアップシャドウタブレットが誤ったパーティションに再ルーティングされる問題を修正しました。

• 複合 SV で ID による FileStore の検索が失敗した場合に、サイレントフォールバックが上書きされる問題を修正しました。

レイクハウス

機能強化

• MaxCompute の3階層の名前空間のサポートを追加しました (新しいカタログプロパティ odps.enable.namespace.schema、デフォルト：false)。

• Iceberg をバージョン 1.10.0 にアップグレードしました。

• DLF Iceberg プラグインをアップグレードしました。

修正

• Paimon クエリ中に `user_agent_extended` が FE から BE に伝播されない問題を修正しました。

カテゴリ

説明

エンジン

新機能

• [ベータ版] ネイティブ SQL AI ビルトイン関数のサポートを追加しました。

• [ベータ版] EMR Serverless Spark への Spark Load ジョブの送信をサポートしました。

機能強化

• HdfsFsManager ファイルシステムロックにタイムアウトメカニズムを追加し、連鎖的なデッドロックを防止しました。

• スキャンおよびコネクタスキャンスレッドプールの監視メトリクスを公開しました。

• クリティカルロックのための低速ロックヒストグラム監視メトリクスを追加しました。

• FE トランザクションレイテンシの監視メトリクスを追加しました。

• クラウドネイティブタブレットメタデータのフェッチ専用のスレッドプールを追加し、メインスレッドプールの競合を削減しました。

修正

• BinaryColumnBase の append 例外や JNI コネクタロード中の SLF4J Linkage Error など、複数の BE クラッシュ問題を修正しました。

• RoutineLoadJob において、トランザクションパブリッシュフェーズ中に不正なロック取得順序が原因で自己デッドロックが発生し、FE の再起動後にインポート状態が失われる可能性がある問題を修正しました。

• トランザクション依存関係グラフからノードを削除する際に、トランザクションの依存関係が失われる問題を修正しました。

• partition_refresh_number のデフォルト値が有効にならない問題を修正しました。

• Thrift フィールド序数 117 の重複定義を修正しました。

• 「フィルタリングされた行が多すぎます」というインポート失敗シナリオで ErrorURL が欠落する問題を修正しました。

ストレージコンピューティング分離

新機能

• [ベータ版] Lake Optimizer：ストレージコンピューティング分離テーブルのための自動バックグラウンドメンテナンスおよび最適化エンジンです。デフォルトでは無効になっています。有効にするには、enable_lake_optimizer を true に設定します。

• [ベータ版] 複合ストレージボリューム (テーブルごとの複数バケット)：単一テーブルのストレージボリュームが複数の OSS バケットにまたがることを許可します。これは、単一テーブルのデータ量が単一バケットのパフォーマンス限界を超えるシナリオを対象としています。

機能強化

• Compaction Service がテーブル許可リストをサポートするようになり、バックグラウンドコンパクションの範囲を詳細に制御できるようになりました。

• CacheOptions を導入し、タブレットメタデータキャッシングの詳細な構成をサポートしました。

• Lake Optimizer：

  • デーモンチェック間隔を短縮し、最適化タスクの応答性を向上させました。

  • Lake Optimizer テーブルでのタイムトラベルクエリは、UnsupportedException をスローするようになりました。

重要な変更

レイクハウス

新機能

• [ベータ版] Paimon ネイティブライターの型拡張：DATE、VARBINARY、TIMESTAMP_WITH_LOCAL_TIME_ZONE 型のサポートを追加しました。

機能強化

• Paimon ライターがバケットパーティションシャッフルをサポートし、バケット化書き込みパフォーマンスを向上させました。

• Paimon ライターが NULL パーティションの書き込みをサポートするようになりました。

• HMS 外部テーブルが IN 述語によるパーティションプルーニングをサポートするようになりました。

• JniScanner のエラーメッセージに Paimon のトラブルシューティングのヒントが含まれるようになりました。

修正

• 複数のユーザーが Paimon カタログを共有する際の分離の問題を修正しました。

• Paimon の Count 最適化の結果が不正確になる問題を修正しました。

• Paimon のデータが誤ったパーティションに書き込まれる問題を修正しました。

• paimon_force_native_reader が有効な場合に FormatDataSplit がサポートされない問題を修正しました。

• CREATE PAIMON DATABASE IF NOT EXISTS が失敗する問題を修正しました。

• Paimon テーブルのクエリ時に発生するさまざまな NPE およびプラン例外を修正しました。

• Iceberg テーブルシンクで OSS トークンが欠落する問題を修正しました。

• Iceberg メタデータテーブルの読み取り時に ClassNotFoundException が発生する問題を修正しました。

動作の変更

• paimon-cpp を 0.10 に、Paimon Java SDK を 1-ali-25.3 にアップグレードしました。Paimon ネイティブリーダー/ライターを使用する下流システムは、このアップグレード後に互換性を確認する必要があります。

• 複合ストレージボリューム：新しいクロスバケットストレージボリューム構成のセマンティクスが追加されました。使用する前に、StarRocks の CREATE STORAGE VOLUME を確認し、既存のストレージボリューム構成との互換性を確認してください。

• タブレットメタデータキャッシングポリシーの更新：CacheOptions の導入により、キャッシュインターフェイスのセマンティクスが変更されました。カスタムキャッシュ構成がある場合は、新しいインターフェイスを使用するように更新してください。

カテゴリ

説明

エンジン

機能強化

• ループの外で lowerPoints/upperPoints を事前計算することで、パーティション範囲マッピングのパフォーマンスを最適化しました。これにより、パーティション交差計算と多対多検出の時間計算量が O(M*N) から O(M*logN+N) に削減されます。

修正

• UDF を含むシナリオで Broker Load を使用してデータをインポートする際に発生する NullPointerException (NPE) を修正しました。

• LIKE パターンマッチングでバックスラッシュエスケープシーケンスが誤って処理される問題を修正しました。

• array_map 関数が null リテラルの配列を処理する際に発生するクラッシュを修正しました。

• ロールアップハンドラのアクティブなトランザクション ID が computeMinActiveTxnId 計算に含まれない問題を修正しました。

• トランザクション依存関係グラフからノードを削除する際に、トランザクションの依存関係が失われる問題を修正しました。

• 複数の alter ジョブが同時に実行された場合の UpdateTabletSchemaTask でのシグネチャの競合を修正しました。

• 集約の set_finishing ステージでオーバーフローによりハッシュテーブルからデータが失われる問題を修正しました。

• BaseScalarOperatorShuttle に visitDictionaryGetOperator の実装が欠落している問題を修正しました。

• edit log の書き込みが afterVisible の後に行われることによって引き起こされる finishTransactionBatch の競合状態を修正しました。これにより、トランザクションログの時期尚早なクリーンアップが発生する可能性がありました。

• トランザクションパブリッシュフェーズ中の RoutineLoadJob.toThrift() での自己デッドロックを修正しました。これは不正なロック取得順序が原因でした。この問題により、VISIBLE 状態が永続化されず、FE の再起動後に NoSuchKey エラーが発生する可能性がありました。

ストレージコンピューティング分離

機能強化

• Compaction Service がテーブル許可リストをサポートするようになりました。テーブル名は構成解析中にテーブル ID に事前解決されます。

• ストレージコンピューティング分離のためのクラスター間レプリケーションが、ファイルコピー操作の高速キャンセルをサポートするようになり、キャンセルされたタスクの待機時間が短縮されました。

• ストレージコンピューティング分離のためのクラスター間レプリケーションが、並列タブレットファイルコピーをサポートし、レプリケーションスループットを向上させました。

修正

• 一時的なオブジェクトストレージ例外がサイレントファイル切り捨てを引き起こす問題を修正しました。ストレージコンピューティング分離のためのクラスター間レプリケーションでは、非セグメントファイル (.sst、.delvec、.del、.cols など) のコピー操作に、ファイルサイズ整合性チェックと自動リトライメカニズムが含まれるようになりました。

レイクハウス

修正

• Fluss メタデータクエリにおけるキャッシュキーの衝突と NullPointerException (NPE) を修正しました。

• Iceberg メタデータテーブルの読み取り時に ClassNotFoundException が発生する問題を修正しました。

カテゴリ

説明

エンジン

機能強化

Routine load ジョブが完了時にログを出力するようになり、より包括的な診断情報を提供するようになりました。

修正

• マテリアライズドビュー作成時にインデックスプロパティが失われる問題を修正しました。

• DATETIME 型の1時間ごとのパーティションを持つマテリアライズドビューをリフレッシュする際に、auto_refresh_partitions_limit パラメーターが有効にならない問題を修正しました。

• マテリアライズドビューのリフレッシュ中にエラーメッセージが空になる問題を修正しました。

• Stream Load が DEFAULT CURRENT_TIMESTAMP 列にデータをインポートする際に、期限切れのタイムスタンプを使用する問題を修正しました。

• OlapMetaReader が count フラグを設定しなかったことが原因で、ストレージコンピューティング分離を使用していないクラスターで BE がクラッシュする問題を修正しました。

ストレージコンピューティング分離

機能強化

• ストレージコンピューティング分離モードでの Lake 主キー (PK) テーブルのタブレット統計収集のオーバーヘッドを削減しました。これにより、show tablet/partitions が data size と row count に 0 を返す問題も修正されました。

• ランダム分散テーブルの物理パーティションを作成する API を追加しました。移行ツールは、複数の物理パーティションを含むランダムバケットテーブルを現在の StarRocks クラスターバージョンに移行できるようになりました。

• ストレージコンピューティング分離モードでは、Cluster Linking が 3.2.4 より前のバージョンからのデータ移行をサポートするようになりました。

修正

• トランザクションが終了したときに lake compaction トランザクションマップがクリアされない問題を修正しました。これにより、FE の再起動後に一部のテーブルでコンパクションスケジューリングが機能しないバグが解決されます。

• ストレージコンピューティング分離テーブルを削除しても StarManager のシャードグループメタデータがクリアされず、FE がメモリ不足 (OOM) になる可能性がある問題を修正しました。

レイクハウス

重要な変更

TIMESTAMP_WITH_LOCAL_TIME_ZONE 型の書き込みに対する Paimon ネイティブライターとの互換性を確保するため、現在のバージョンでは Arrow 型変換ロジックを拡張し、この型を StarRocks から Arrow の TIMESTAMP 型にマッピングします。

この変更により、starrocks-spark-connector および starrocks-flink-connector が StarRocks から DATETIME 型のフィールドを読み取る際に例外が発生する可能性があります。アップグレード後に関連エラーが発生した場合は、コンピュートグループに enable_native_arrow_new_type 動的構成パラメーターを追加し、その値を false に設定して互換性を復元してください。

機能強化

• paimon-cpp をバージョン 0.9 にアップグレードしました。

• Paimon ネイティブライターが DATE 値の書き込みをサポートするようになりました。

• Paimon ネイティブライターが VARBINARY 値の書き込みをサポートするようになりました。

• Paimon ネイティブライターが TIMESTAMP_WITH_LOCAL_TIME_ZONE 値の書き込みをサポートするようになりました。

• Fluss をバージョン 0.9-ali-0.1 にアップグレードしました。

• Paimon Lance テーブルのクエリをサポートしました。

• Paimon ビューのクエリをサポートしました。

• キャッシュメトリクスを追加して、Paimon キャッシュの可観測性を向上させました。

修正

• Paimon JNI ライターを使用して TINYINT 型を書き込む際に発生するエラーを修正しました。

• DLF 2.5 で Paimon テーブルに書き込む際にトークンの権限が不十分である問題を修正しました。

• Paimon テーブルのクエリ時にパーティション値が不正確になる問題を修正しました。

• mergedRowCountAvailable のチェックが欠落していることが原因で、Paimon テーブルのクエリ時に発生する NullPointerException (NPE) を修正しました。

• MaxCompute カタログがセッションの非同期作成とデータの動的分割をサポートするようになりました。

カテゴリ

説明

ストレージコンピューティング分離

新機能

• Compaction Service 機能を導入しました。ストレージコンピューティング分離アーキテクチャでコンパクションをスケジューリングする際に、専用のコンピュートグループを使用してコンパクションタスクを処理できるようになりました。これにより、Cache Peering を通じてビジネス クエリの高いキャッシュヒット率を確保しながら、コンパクション環境を隔離できます。

• 高同時実行性 Stream Load のためのサーバーサイドマージコミット機能を導入し、リアルタイムデータインジェストスループットを大幅に向上させ、コンパクションリソースの消費を削減しました。

• 高同時実行性の小バッチインジェストシナリオでは、マージコミット機能が複数の同時 Stream Load リクエストを単一のトランザクションに結合します。このバッチ送信により、リアルタイムインジェストスループットが向上し、頻繁なコミットによるデータバージョンが削減され、コンパクションや小ファイルからのリソースと I/O オーバーヘッドが最小限に抑えられます。

• 大規模なデータインポートシナリオでは、新しい一括ロード最適化機能がインジェストフェーズでデータブロックをマージします。これにより、小ファイルの作成が削減され、インジェスト後のクエリパフォーマンスが向上し、その後のコンパクションリソースの使用量が削減されます。

• ストレージコンピューティング分離のためのクラスター スナップショット機能を導入しました。これにより、クラスターレベルのメタデータを OSS に一括バックアップでき、エンタープライズレベルのディザスタリカバリが可能になります。

機能強化

• Cluster Linking を強化し、自己ホスト型ストレージコンピューティング分離クラスターから Serverless StarRocks ストレージコンピューティング分離クラスターへのオンライン移行をサポートしました。

• show proc '/transactions' インターフェイスを強化し、複数のトランザクションタイプのレコードを同時に表示できるようになりました。

• 現在のセッションに関連付けられたウェアハウスで、マテリアライズドビューの手動パーティションリフレッシュを実行できるようになりました。

修正

• ストレージコンピューティング分離クラスターでインデックスを持つ主キー (PK) テーブルを移行する際に、メタデータがクリーンでないことが原因で発生する例外を修正しました。

• デフォルト以外のウェアハウスを使用している場合に、タブレットの分布が表示できない問題を修正しました。

レイクハウス

機能強化

Paimon フォーマットのテーブルのクエリパフォーマンスを向上させました。

修正

• Timestamp 型をフィルター条件またはパーティションフィールドとして使用する Paimon テーブルをクエリしたときに、不正確な結果が返される問題を修正しました。

• Paimon の binlog および auditlog システムテーブルをクエリする際に発生するエラーを修正しました。

• 特定のシナリオで Fluss テーブルのクエリが空の結果を返す問題を修正しました。

カテゴリ

説明

エンジン

新機能

• Unified Catalog が DLF カタログとの統合をサポートするようになりました。

修正

• 外部結合の定数側の列を参照する際の不正確な述語の書き換えを修正しました。

ストレージとコンピュートの分離

修正

• ストレージコンピューティング分離モードで動的バケットテーブルのパーティションフィルター条件が失われる問題を修正しました。

レイクハウス

新機能

• MaxCompute カタログが MaxCompute の3階層の名前空間をサポートするようになりました。

機能強化

• DLF Iceberg プラグインをアップグレードしました。

• Iceberg をバージョン 1.10.0 にアップグレードしました。

修正

• Hive と Paimon の間の依存関係の競合によって引き起こされるクエリエラーを修正しました。

• Paimon データをクエリする際に一部のパラメーターが正しく渡されず、クエリが失敗する問題を修正しました。

カテゴリ

説明

エンジン

新機能

• [ベータ版] ネイティブ SQL AI ビルトイン関数のサポートを追加しました (3.3 リリース向けに適合)。

• [ベータ版] EMR Serverless Spark への Spark Load ジョブの送信をサポートしました。

• max_pt 関数を追加しました。

機能強化

• CTE コンシューマーでのフィルタープッシュダウンのサポートを追加しました。

• FileSystem からの UDF jar のダウンロードをサポートしました。

• CREATE TEXT FILE TABLE が区切り文字の指定をサポートするようになりました。

• HdfsFsManager ファイルシステムロックにタイムアウトメカニズムを追加し、連鎖的なデッドロックを防止しました。

• スキャンおよびコネクタスキャンスレッドプールの監視メトリクスを公開しました。

修正

• memtable ファイナライズ失敗による BE クラッシュを修正しました。

• MV パーティション交差チェックにおける冗長な O(N) 計算による低速 DB ロックを修正しました。

• 集約オーバーフローの set_finishing ステージ中にハッシュテーブルからデータが失われる問題を修正しました。

• インライン PK インデックスコンパクションでの rssid rowid の切り捨てを修正しました。

• トランザクション依存関係グラフからノードを削除する際に、トランザクションの依存関係が失われる問題を修正しました。

• partition_refresh_number のデフォルト値が有効にならない問題を修正しました。

• 「フィルタリングされた行が多すぎます」というインポート失敗シナリオで ErrorURL が欠落する問題を修正しました。

• array_map 関数が null リテラルの配列を処理する際のクラッシュを修正しました。

• LIKE パターンマッチングでのバックスラッシュエスケープシーケンスの不適切な処理を修正しました。

• CreateFunctionStmt で UDF を作成する際の NPE を修正しました。

• UDF で Broker Load を使用する際の NPE を修正しました。

ストレージコンピューティング分離

機能強化

• Lake Optimizer の改善 (2.0.0 で導入、このリリースでさらに改良)：デーモンチェック間隔を短縮し、最適化タスクの応答性を向上させました。Lake Optimizer テーブルでのタイムトラベルクエリは、UnsupportedException をスローするようになりました。

• Compaction Service がテーブル許可リストをサポートするようになり、バックグラウンドコンパクションの範囲を詳細に制御できるようになりました。

レイクハウス

新機能

• [ベータ版] DLF が行レベルフィルタリング (行フィルター) をサポートするようになりました。

機能強化

• Paimon ライターがバケットパーティションシャッフルをサポートし、バケット化書き込みパフォーマンスを向上させました。

• Paimon ライターが NULL パーティションの書き込みをサポートするようになりました。

• HMS 外部テーブルが IN 述語によるパーティションプルーニングをサポートするようになりました。

• JniScanner のエラーメッセージに Paimon のトラブルシューティングのヒントが含まれるようになりました。

修正

• 複数のユーザーが Paimon カタログを共有する際の分離の問題を修正しました。

• Paimon の Count 最適化の結果が不正確になる問題を修正しました。

• Paimon のデータが誤ったパーティションまたは不正確なパーティション値の順序で書き込まれる問題を修正しました。

• CREATE PAIMON DATABASE IF NOT EXISTS が失敗する問題を修正しました。

• paimon_force_native_reader が有効な場合に FormatDataSplit がサポートされない問題を修正しました。

• Iceberg テーブルシンクで OSS トークンが欠落する問題を修正しました。

動作の変更

• enable_native_arrow_new_type セッション変数を追加しました：true (デフォルト) に設定すると、DATE は Arrow Date32Type に、DATETIME は Arrow TimestampType にマッピングされます。false に設定すると、DATE と DATETIME の両方が Arrow utf8() にマッピングされます (下位互換)。starrocks-spark-connector または starrocks-flink-connector で DATETIME フィールドを読み取る際に型エラーが発生した場合は、この変数を false に設定して回避してください。

• paimon-cpp を 0.10 に、Paimon Java SDK を 1-ali-25.3 にアップグレードしました。Paimon ネイティブリーダー/ライターを使用する下流システムは、このアップグレード後に互換性を確認する必要があります。

カテゴリ

説明

ベースエンジン

機能強化

• SSL プロトコルをサポートします。

• Routine Load のトランザクションログ出力をサポートし、より包括的な診断情報を提供します。

修正

• マテリアライズドビュー (MV) プロファイル機能が有効になった後、プロファイルがログに記録されない問題を修正しました。

• ネストされた CTE 再利用シナリオでのクエリエラーを修正しました。

• UDF を使用してデータをインポートするために Broker Load を使用したときに発生した null ポインタ例外 (NPE) を修正しました。

ストレージコンピューティング分離

新機能

ストレージコンピューティング分離アーキテクチャ用の Compaction Service を導入します。このサービスは、コンパクションスケジューリングに専用のウェアハウスを使用します。これにより、コンパクション実行環境が分離されると同時に、Cache Peering を介してビジネス クエリの高いキャッシュヒット率が保証されます。

機能強化

• ストレージコンピューティング分離モードで主キーテーブルのパブリッシュフェーズ中に予備的なメジャーコンパクションを実行します。

• 現在のセッションに関連付けられたウェアハウスでのマテリアライズドビューパーティションの手動リフレッシュをサポートします。

修正

• ストレージコンピューティング分離クラスターでインデックスを持つ主キーテーブルを移行したときに発生したメタデータクリーンアップの問題を修正しました。

• 大規模なデータインポート中に列モードで部分更新を行ったことによるメモリ不足 (OOM) の問題を修正しました。

• 頻繁にテーブルをドロップすることによって引き起こされる FE OOM の問題を修正しました。

• デフォルト以外のウェアハウスを使用している場合に、タブレットの分布が表示できない問題を修正しました。

レイクハウス

重要な変更

TIMESTAMP_WITH_LOCAL_TIME_ZONE 型の Paimon ネイティブライターとの互換性を確保するため、このバージョンでは Arrow 型変換ロジックを拡張し、この StarRocks 型を Arrow の TIMESTAMP 型にマッピングします。

この変更により、starrocks-spark-connector および starrocks-flink-connector が StarRocks の DATETIME フィールドを読み取る際に失敗する可能性があります。アップグレード後に関連エラーが発生した場合は、ウェアハウスに動的パラメータ enable_native_arrow_new_type を追加し、false に設定して以前の動作を復元してください。

新機能

• Lake Optimizer を導入し、Paimon テーブルでのポイントクエリ QPS を大幅に改善し、大規模クエリのシステム安定性を向上させます。

• Paimon Lance テーブルからのデータクエリをサポートします。

• Paimon ビューのクエリをサポートします。

機能強化

• Paimon ネイティブライターが date および datetime データ型の書き込みをサポートするようになりました。

• Paimon クエリの可観測性を向上させました。

修正

• Fluss テーブルのクエリが空の結果を返す問題を修正しました。

• スナップショットの期限切れにより Fluss テーブルのクエリが失敗する問題を修正しました。

• Paimon の timestamp フィールドに対する等価クエリが一部のシナリオで不正確な結果を返す問題を修正しました。

• Paimon の binlog および audit_log システムテーブルをクエリする際に発生するエラーを修正しました。

• DLF 2.5 で Paimon テーブルに書き込む際のトークン権限が不十分である問題を修正しました。

• Paimon テーブルをクエリする際の timestamp パーティションフィールドの文字エスケープの問題を修正しました。

• LIMIT 句を持つ Paimon テーブルのクエリが特定のシナリオで空の結果を返す問題を修正しました。

• 古いバージョンの Paimon テーブルをクエリする際に発生する null ポインタ例外を修正しました。

カテゴリ

説明

ベースエンジン

機能強化

• Routine Load のフォールトトレランスを強化しました。Routine Load は、JSON データのインポート時に不正な形式のレコードを自動的にスキップし、対応するエラーをログに記録できるようになりました。

• 外部テーブルクエリの失敗に関するエラーメッセージを改善し、トラブルシューティングをより直感的かつ効率的にしました。

修正

DELETE レコードのみを含む更新操作中に BE ノードがクラッシュする可能性があった、条件付き更新シナリオでの安定性の問題を修正しました。

ストレージコンピューティング分離

新機能

Apache Ranger を使用して、ストレージコンピューティング分離インスタンスのウェアハウスレベルのリソースに対する権限を制御し、エンタープライズレベルのセキュリティとコンプライアンス要件を満たすことをサポートします。

機能強化

フォールトトレランスを強化するため、ストレージコンピューティング分離インスタンスでのストレージの読み書き操作にリトライメカニズムを追加しました。

修正

高い同時実行性下で、ストレージコンピューティング分離インスタンスで bRPC 接続が多すぎる問題を修正しました。

レイクハウス

新機能

• Paimon Deletion Vector v2 をサポートします。

• ネイティブリーダー (ベータ版) を使用した Paimon フォーマットテーブルの読み書きをサポートします。

• メタデータ干渉を避けるため、hive_var で始まる Hive Metastore の仮想パーティションのフィルタリングをサポートします。

カテゴリ

説明

ストレージコンピューティング分離

機能強化

ウェアハウスレベルのクエリレイテンシメトリクスをサポートします。

レイクハウス

修正

パーティションキーとして空の文字列を持つ Paimon 外部テーブルでのクエリ計画の失敗を修正しました。

カテゴリ

説明

ベースエンジン

機能強化

• 長時間実行クエリの高速失敗検出を改善しました。

• Clucene 転置インデックスの部分更新をサポートします。

修正

• CoordinatorMonitor スレッドの異常終了によって BE がクラッシュした後、クエリがすぐに終了しない問題を修正しました。

• リダイレクトおよびリトライメカニズムによるトランザクション損失が原因で発生する TXN_NOT_EXISTS エラーを修正しました。

• FE 計画フェーズ中に MultiJoinBinder によって引き起こされるデッドロックを修正しました。

• 部分更新モードでのスキーマ変更によって引き起こされる空のセグメントファイルのマーキングの問題を修正しました。

ストレージコンピューティング分離

修正

長時間実行される INSERT OVERWRITE 操作中に発生する「shard not exist」エラーを修正しました。

レイクハウス

修正

• DLF カタログを使用する際の RAM ユーザー情報の取得エラーを修正しました。

• マテリアライズドビューパーティションが削除された後、リーダーとフォロワー FE の間でパーティションメタデータが不整合になる問題を修正しました。

カテゴリ

説明

ベースエンジン

機能強化

長時間実行タスクの可観測性を向上させ、リアルタイムステータス追跡のための監視および診断機能を強化しました。

修正

SHOW BACKUP が不正確なエラーメッセージを返す問題を修正しました。

ストレージコンピューティング分離

修正

ローカルキャッシュを削除する際に OSS に送信される無効なリクエストを排除し、不要なネットワークオーバーヘッドを削減しました。

レイクハウス

修正

Date 型でパーティション分割された Paimon テーブルでのクエリ失敗を修正しました。

カテゴリ

説明

ベースエンジン

新機能

• ACID 機能 (ベータ版) をサポートします。

• MaxCompute カタログが述語プッシュダウンをサポートするようになりました。

• first_day および last_day 関数をサポートします。

• bitmap_hash64 関数をサポートします。

機能強化

• パーティションクリーンアップを最適化し、遅延リサイクルによる高い FE メモリ使用量を解決しました。

• FE 計画時間を短縮しました。

修正

• 弾力的スケーリングシナリオでの bRPC の失敗を修正しました。

• 初期化されていない delta writer ロードチャネルによって引き起こされる BE クラッシュを修正しました。

• バックエンドストリーム損失によって引き起こされる Flink タスクコミットの失敗を修正しました。

• array_contains 関数での不正確な isconst チェックを修正しました。

• Trino 移行中に json_extract がサポートされない問題を修正しました。

• CTE 再利用の問題を修正しました。

• 外部テーブルに作成されたマテリアライズドビューのリフレッシュ失敗を修正しました。

• JIT が有効になった後、スレッド数が増加する問題を修正しました。

• タブレットマネージャーの同時実行の問題を修正しました。

• プロファイル収集の失敗により FE スケジューリングがスタックする問題を修正しました。

• 低カーディナリティ最適化エラーが正しくスローされない問題を修正しました。

• split 関数が null 値を誤って処理したことによる Parquet 書き込み中の BE クラッシュを修正しました。

• CASE WHEN 式に VARCHAR 型が含まれている場合のマテリアライズドビューのリフレッシュ失敗を修正しました。

• シェアードナッシングインスタンスでのコンパクションによって引き起こされる同時実行ロックの問題を修正しました。

• CBO が CTE 関連の式を正しくプルーニングできない問題を修正しました。

• HTTP ハンドラに関連する問題を修正しました。

• ロードチャネルとタブレットシンクに影響を与える bRPC の同時実行の問題によって引き起こされる BE クラッシュを修正しました。

ストレージコンピューティング分離

新機能

• INSERT および UPDATE 操作が、列モードでの部分列更新をサポートするようになりました。

• SHOW ALTER TABLE コマンドが、メタデータ変更タスクの表示をサポートするようになりました。

• 最大コンパクションスコアに基づくコンパクションタスクのスケジューリングをサポートします。

修正

• 移行中にコンパクションが有効になったときにトランザクションがスタックする問題を修正しました。

• メタデータがメタデータキャッシュからクリアされない問題を修正し、キャッシュ容量の動的更新をサポートしました。

• lake 永続インデックスの初期化失敗によって引き起こされる BE クラッシュを修正しました。

レイクハウス

新機能

• Paimon ネイティブライター (ベータ版) をサポートし、レイクハウスシナリオでのデータ処理のパフォーマンスを大幅に向上させます。

• Paimon クエリが複合型をサポートするようになりました。

• DLF Iceberg カタログ (ベータ版) をサポートします。

• Fluss テーブルの読み取り (ベータ版) をサポートします。

• Paimon TimeTravel 機能をサポートします。

• INSERT OVERWRITE が非パーティションテーブルをサポートするようになりました。

機能強化

• Paimon 列統計を改善しました。

• Iceberg および Paimon テーブルの COUNT パフォーマンスを改善しました。

修正

• ユーザーに対する SHOW GRANT コマンドの失敗を修正しました。

全文検索

修正

• match 関数の null 値の問題を修正しました。

カテゴリ

説明

ベースエンジン

機能強化

• パーティション統計の収集パフォーマンスを向上させました。

• FE クエリフラグメントデプロイヤーのスレッドプールサイズの動的調整をサポートします。

• 設定可能な FE チェックポイントパラメーターと、長時間実行されるチェックポイントタスクのロギングを追加しました。

修正

• JDBC 接続数が jdbc_connection_pool_size 制限を超える可能性がある問題を修正しました。

• 動的パーティション作成中にパーティション名の競合によって引き起こされるパーティション作成の失敗を修正しました。

• インポートタスク統計からスキャンデータ情報が欠落している問題を修正しました。

• 転置インデックスクエリが null フィールドを誤ってフィルタリングする問題を修正しました。

• 全文検索で、パターンが空の文字列の場合に MATCH_REGEXP が不正確な結果を返す問題を修正しました。

• 手動で作成されたパーティションでの INSERT OVERWRITE 操作が失敗する問題を修正しました。

• パーティション作成との競合により Alter Job がキャンセルされる問題を修正しました。

• 統計収集のための ANALYZE ジョブのステータスが異常になる問題を修正しました。

• FE 上のインポートトランザクションログが不完全である問題を修正しました。

ストレージコンピューティング分離

修正

• [重要] コミュニティバージョン 3.3.13 で導入された、BE または CN ノードのグレースフル終了によりタブレットメタデータファイルが読み取り不能になる問題を修正しました。

• リーダー FE の最大コンパクションスコアメトリックが更新されない問題を修正しました。

• 同時バッチパブリッシュとスキーマ変更操作中にトランザクションログが失われる問題を修正しました。

レイクハウス

修正

• Paimon テーブルの UUID フォーマットが誤って処理される問題を修正しました。

• DLF 2.5 での Paimon マテリアライズドビューのユーザー認証の問題を修正しました。

カテゴリ

説明

ベースエンジン

機能強化

• データロードの可観測性を向上させるために fe.load ログを追加しました。

• sink_bytes テーブルに information_schema.loads フィールドを追加しました。

• オフセットなどのキー情報を追加して Routine Load エラーログを改善し、トラブルシューティングを容易にしました。

修正

• ConnectContext の global_state_manager が null になることで、クエリ失敗、インポート失敗、またはプロファイルの欠落が検知されなくなる不具合を修正しました。

• 欠落している列統計を修正し、その精度を確保しました。

• 「Query version not found」 エラーを修正しました。

• 大規模クラスターでのスレッドスタックの出力によるプロセスのスタッタリングを防ぐために slow_lock_print_stack パラメーターを追加しました。

• Union 演算子の不正確な実行計画による FE のメモリ不足 (OOM) の問題を修正しました。

• 列の名前が変更された後に発生したクエリの失敗を修正しました。

• スナップショットのロード失敗により主キーインデックスが失われる問題を修正しました。

• マテリアライズドビューのプロパティの異常な変更によって引き起こされるリフレッシュの問題を修正しました。

• FE パラメーター task_runs_max_history_number を追加して、information_schema.task_runs ビューに保存される過去の TaskRuns の数を制御し、メモリオーバーヘッドを削減しました。

• インポート中にデータバージョンが失われる問題を修正しました。

• フォロワー FE ノードでタスク実行情報が異常になる問題を修正しました。

• FE フェールオーバー後に Broker Load を再開できない問題を修正しました。

• 列が変更された後にクエリが null を返す問題を修正しました。

• 単一のトランザクションで複数のテーブルに書き込む際に発生したパーティション作成の失敗を修正しました。

• CASE WHEN ステートメントが不正確なデータ型を返したことによって引き起こされるクエリエラーを修正しました。

• 同時実行シナリオでの重複キャッシュキーによって引き起こされるキャッシュの失敗を修正しました。

• 主キーテーブルでの部分更新の失敗を修正しました。

• タスクを送信するためのロックメカニズムの問題を修正しました。

• 低カーディナリティシナリオでの Union 演算子のグローバル辞書の問題を修正しました。

• 空のパーティションが誤ってプルーニングされる問題を修正しました。

• マテリアライズドビューの書き換え中に null パーティションが失われることによって引き起こされるエラーを修正しました。

• スプリッターがスキャン列をプルーニングできない問題を修正しました。

• 左アンチ結合に関連する問題を修正しました。

ストレージコンピューティング分離

新機能

• ストレージコンピューティング分離インスタンスで全文検索がサポートされるようになりました。

• 単一ノードのコンパクションパフォーマンスのボトルネックを軽減するために、分散コンパクション機能を追加しました。

• キャッシュディスクの I/O ボトルネックによるパフォーマンス低下を防ぐため、キャッシュのアダプティブ I/O モードをサポートします。

• クエリパフォーマンスの監視を向上させるために、ウェアハウスレベルのクエリメトリクスを追加しました。

機能強化

• クエリパフォーマンスをさらに向上させるために、インデックスキャッシュとメタデータキャッシュをデフォルトで有効にしました。

• ストレージコンピューティング分離テーブルで最小バージョン情報が欠落している問題を最適化しました。

修正

• ストレージコンピューティング分離モードでの INSERT INTO EXTERNAL TABLE 操作中に、データが宛先ウェアハウスに誤って書き込まれる問題を修正しました。

• バッチパブリッシュが有効になった後に発生した同時トランザクションの失敗を修正しました。

• コンパクションにウェアハウスが指定された後、コンパクションタスクの最大数を制限できない問題を修正しました。

• スキーマ変更後のキャッシュ選択での予熱エラーを修正しました。

• ALTER TABLE ステートメントを使用してデータ分布を変更できない問題を修正しました。

レイクハウス

新機能
Paimon テーブルは、列レベルのデータリネージ分析をサポートし、統計情報を改善しました。

機能強化
DLF 2.5 からのメタデータ取得を最適化することで、Paimon のクエリパフォーマンスを向上させました。

修正

• Iceberg の等価削除ファイルに関するメモリリークの問題を修正しました。

• DLF 2.5 のトークン有効期限の問題を修正しました。

• 基になる外部テーブルが再構築された後、マテリアライズドビューをリフレッシュできない問題を修正しました。

• 外部テーブルのマテリアライズドビューのリフレッシュ失敗を修正しました。

• INSERT OVERWRITE を使用して Hive テーブルにデータを書き込めない問題を修正しました。

• 外部テーブルで str2date 関数を使用したことによるマテリアライズドビューのリフレッシュ失敗を修正しました。

全文検索

新機能

• ストレージコンピューティング分離インスタンスで全文検索がサポートされるようになりました。

• 主キーテーブルで全文検索がサポートされるようになりました。

• 全文検索機能を充実させるために、複数の Match 関数を追加しました。

機能強化
ストレージコンピューティング分離モードでのアクセス効率を向上させるために、インデックスファイルの数を最適化しました。

カテゴリ

説明

ベースエンジン

新機能

• SSL 暗号化をサポートします。

• 統計収集タスクが同期モードオプションをサポートするようになりました。

• Spark Load が動的構成更新をサポートするようになりました。

機能強化

• マテリアライズドビュー (MV) のリロードパフォーマンスを最適化し、FE の起動効率を大幅に向上させました。

• 集約操作プッシュダウンと Broadcast Join の間の連携を最適化しました。

• Broadcast 操作で行制限が有効でなかった問題を修正しました。

• GROUP_CONCAT によって生成される実行計画の精度を向上させました。

• マテリアライズドビューリフレッシュのロック粒度を最適化しました。

• より多くの監視メトリクスを提供するために Metrics API を強化しました。

• 高同時実行シナリオでの Get Shard Info RPC のタイムアウト処理を最適化しました。

修正

• v3.2 から v3.3 へのアップグレード時のスキーマ変更によって引き起こされる CN/BE のクラッシュを修正しました。

• Report Exec State による挿入中のデータ損失の問題を修正しました。

• Fast Schema Evolution が有効になった後に発生した CN クラッシュを修正しました。

• テーブルがドロップされた後、挿入タスクが正しく終了しない問題を修正しました。

• クエリ中にバージョンが見つからない問題を修正しました。

• タスクが強制終了された後、マテリアライズドビューのリフレッシュタスクがスタックする問題を修正しました。

• 多段階マテリアライズドビューの書き換え中に不正確な実行計画が生成される問題を修正しました。

• タブレットが完全にロードできない問題を修正しました。

• FE イメージがロードされた後、マテリアライズドビューの関係が正しく構築されない問題を修正しました。

• DESC Table Cache によって引き起こされるクエリの失敗 (Query Terminated 例外) を修正しました。

• トランザクション結果が異常になる問題を修正しました。

• Join および Union クエリで不正確な結果が返される問題を修正しました。

• n_gram 関数が不正確なクエリ結果を返す問題を修正しました。

• DataWorks でデータリネージが正しく機能しない問題を修正しました。

• DESC TABLE が Paimon テーブルに対して不正確な情報を返す問題を修正しました。

• Paimon マテリアライズドビューが常に完全にリフレッシュされる問題を修正しました。

ストレージコンピューティング分離

新機能

• 設定可能な Compaction Punish 時間をサポートします。

• Tablet Meta Cache と Index Cache をサポートし、クエリパフォーマンスを大幅に向上させます。

• _query_plan インターフェイスがウェアハウスの指定をサポートするようになりました。

• 複数のウェアハウスにまたがるコンパクションスケジューリングをサポートします。

機能強化

• コンパクションの可観測性を向上させました。

• Poco HTTP クライアントに切り替えて、OSS アクセス効率を最適化しました。

• 無効なデータでディスク領域を占有しないように、DROP PARTITION 操作後にローカルキャッシュをクリアすることをサポートします。

• シャード情報の取得パフォーマンスを向上させました。

• COUNT 操作の直接読み取りパフォーマンスを向上させました。

• 複数ウェアハウス環境でのロードタスクの可観測性を強化しました。

• IOPS を削減し、クエリパフォーマンスを向上させるために、アダプティブファイルフォーマットをサポートします。

修正

• クラウドネイティブ主キー (PK) インデックスを完全に有効にし、関連するいくつかのメタデータの問題を修正しました。

• コンパクションが正しくスケジュールされない問題を修正しました。

レイクハウス

新機能

• Alibaba Cloud Data Lake Formation (DLF) 2.5 をサポートします。

• Paimon 外部テーブルが時間型フィールドをサポートするようになりました。

• SHOW CREATE TABLE を使用して Paimon 外部テーブルのプロパティをクエリすることをサポートします。

機能強化

• マテリアライズドビューがメタデータを頻繁またはスケジュール通りに取得する際の冗長な I/O を削減し、リフレッシュ効率を向上させました。

• Paimon メタデータキャッシュ構成を最適化しました。

• Paimon クエリで FLOAT 型のフィルタリングが有効でなかった問題を修正しました。

• DLF からのパーティション情報の読み取りパフォーマンスを向上させました。

• MaxCompute 外部テーブルのメタデータリフレッシュをサポートします。

• 作成時間の代わりに UUID を使用して、Paimon クエリのパフォーマンスを最適化しました。

• Paimon Deletion Vector テーブルのクエリパフォーマンスを向上させました。

• Parquet ファイルのスキャン効率を最適化しました。

修正

• Paimon クエリで DATETIME 型に不正確なタイムゾーンが適用される問題を修正しました。

• Hudi データソースから VARCHAR 型を読み取れない問題を修正しました。

• Paimon コミット情報が誤って書き込まれる問題を修正しました。

全文検索

新機能

• ベータ版で全文検索機能をリリースしました。このバージョンでは、複数の CLucene パフォーマンスの問題を解決し、テキスト検索のパフォーマンスを 100% 以上向上させました。

• Tokenize 関連の関数をサポートします。

機能強化

• 転置インデックスのファイル構造を最適化し、クエリ効率を向上させました。

• Index Tool を強化し、問題の特定と解決を迅速化しました。