ApsaraDB for SelectDB:カーネルリリースノート

新機能

• Apache Doris 3.0.4 および Apache Doris 3.0.5 のすべての機能をサポートします。

機能改善

• 早期のデータ回収の問題を修正し、可用性を向上させました。

バグ修正

• V4.0.4 から V4.0.5 にアップグレードする際に発生する転置インデックスのコアダンプの問題を修正しました。

新機能

• Apache Doris 3.0.3 のすべての機能をサポートします。

• JDBC Catalog の text フィールドタイプで配列形式をサポートしました。

• MaxCompute (MC) Catalog の timestamp フィールドタイプをサポートしました。

機能改善

• Load Segment プロセス中の高い CPU 消費を解決し、クエリパフォーマンスを向上させました。

• ファイルキャッシュポリシーを最適化し、クエリ応答時間の変動を低減しました。

• ファイルキャッシュの回収メカニズムを最適化しました。

• information_schema のクエリパフォーマンスを最適化しました。

• メタデータロックのメカニズムを最適化しました。

• delete bitmap のロックメカニズムを最適化しました。

• Compressed Class Space のメモリ管理を最適化しました。

• サーバーサイドリクエストフォージェリ (SSRF) のリスクがあるインターフェイスを削除しました。

• 監査ログ の統計パフォーマンスを最適化しました。

• ページ分割クエリのウィンドウ関数のパフォーマンスを最適化しました。

• Merge-on-Write (MoW) テーブルの時系列 Compaction のパフォーマンスを最適化しました。

バグ修正

インポートとロード

• ピーク時に MoW テーブルへのデータインポートが失敗する問題を修正しました。

• データ損失の可能性、タスクのスタック、トランザクションコミットの失敗など、Routine Load の問題を修正しました。

• インスタンスアクセスモジュールの再起動後に Routine Load が一時停止し、エラーを報告する問題を修正しました。

• Group Commit 機能を使用する際にエラーが報告されることがある問題を修正しました。

• Change Data Capture (CDC) の部分的な列更新と Stream Load のワイドテーブルへの追加で結果が一致しない問題を修正しました。

• INSERT OVERWRITE を使用して自動パーティションテーブルに書き込む際のデータ品質検証の例外を修正しました。

• INSERT OVERWRITE を使用してデータを書き込む際にエラーが報告される問題を修正しました。

• 同じテーブルに対して INSERT OVERWRITE の実行が許可されない問題を修正しました。

• データ品質の問題で INSERT INTO SELECT 文が失敗した際に、エラー URL が提供されない問題を修正しました。

• スキーマ変更後の空のパーティションが原因で、データインポートエラーやバージョン制限超過エラーが発生する問題を修正しました。

クエリ

• インスタンスをカーネル V4.0.4 にアップグレードした後、クエリ対象のデータ量が増加する問題を修正しました。

• プリコンパイルを使用したポイントクエリで結果セットが返されない問題を修正しました。

• 高並行のポイントクエリシナリオで stmtId のオーバーフローが原因で Prepared Statement の例外が発生する問題を修正しました。

• V4.0.4 へのアップグレード後、ConvertTz 関数の実行時に未初期化状態が原因で RUNTIME_ERROR が発生する問題を修正しました。

• 短い単語のマッチングで NOT オペレーターが機能しない問題を修正しました。

• SQL Cache が原因で不正な結果が返される問題を修正しました。

• split_part 関数の計算エラーを修正しました。

• window_funnel 関数の timestamp 列が高精度をサポートしていない問題を修正しました。

• クエリ計画のタイムアウト問題を修正しました。

• クエリされたデータがマテリアライズドビューにヒットしない問題を修正しました。

• スピンロックのマルチスレッド待機によるクエリ遅延の問題を修正しました。

• 短いクエリが COMPUTE_GROUPS_NO_ALIVE_BE エラーを報告する問題を修正しました。

Compaction とストレージ

• MoW テーブルの disable_auto_compaction プロパティを変更した後にテーブルデータが利用できなくなる問題を修正しました。

• テーブルモデルが Unique の場合に、テーブルのプライマリキーフィールドに重複した値が現れることがある問題を修正しました。

• stale rowsets の回収によって引き起こされる キャッシュミス により、クエリ応答時間が長くなる問題を修正しました。

• スキーマ変更 後の Compaction 回復の問題を修正しました。

キャッシュ

• キャッシュデータの早期エビクションにより、ローカルファイルキャッシュが急激に減少する問題を修正しました。

カタログと外部データ

• Java Database Connectivity (JDBC) 接続のリーク問題を修正しました。

• PostgreSQL (PG) Catalog の接続リーク問題を修正しました。

• MaxCompute (MC) Catalog でパーティションプルーニングが有効にならない問題を修正しました。

• 非同期マテリアライズドビューを使用してクラスター間でテーブルを読み取る際のメタデータ例外を修正しました。

安定性

• クラスター内の複数ノードでコアダンプが発生する問題を修正しました。

• クラスターの再起動が遅い問題を修正しました。

• ネットワークジッターによりクラスターノードが異常にオフラインになる問題を修正しました。

• explode_variant_array 関数を使用する際のコアダンプの問題を修正しました。

• エラーログの URL が長すぎてアクセスできなくなる問題を修正しました。

• フィールドの命名規則に関する互換性の問題を修正しました。

新機能

• Apache Doris 3.0.2 のすべての機能をサポートします。

• 大規模トランザクションのインポートをサポートします。この機能はデフォルトで無効になっています。

機能改善

• デフォルトで java_udf を無効にしました。

• ログシナリオにおける top n クエリのパフォーマンスを最適化しました。

• ショートパスを使用してポイントクエリのパフォーマンスを最適化しました。

• タブレットプルーニングを最適化し、クエリパフォーマンスを向上させました。

バグ修正

• カタログをリプレイすると、バックグラウンドでインスタンスが起動に失敗する可能性がある問題を修正しました。

• カーネルを 3.0.x バージョンから 4.0.x バージョンにアップグレードした後、監査ログコンポーネントが機能しなくなる問題を修正しました。

• カーネルを V4.0.2 にアップグレードした後、デフォルトの計算クラスターの権限が制限される問題を修正しました。

• 定数畳み込みのリモートプロシージャコール (RPC) が計算クラスターをまたぐ可能性がある問題を修正しました。

• SQL 文の転送時に計算クラスターが見つからないことがある問題を修正しました。

• Compaction の delete bitmap におけるヌルポインタが原因でコアダンプが発生する問題を修正しました。

• MoW テーブルの delete bitmap が大きすぎるために、完全な Compaction がトリガーされない問題を修正しました。

• select * で定義されたマテリアライズドビューの構築に失敗する問題を修正しました。

新機能

• Apache Doris 3.0.1 のすべての機能をサポートします。

バグ修正

• 同じラベルを持つ多くのインポートタスクが失敗した場合に、インポートパフォーマンスが低下する可能性がある問題を修正しました。

• クラスターのスケールアウトが原因で、インスタンスバージョンのアップグレードがスタックする可能性がある問題を修正しました。

• ランタイムフィルターでのメモリリークの問題を修正しました。

新機能

• 3.0.x (x >= 9) バージョンから 4.0.x バージョンへのカーネルアップグレードをサポートします。

• Apache Doris 3.0.0 のすべての機能をサポートします。

バグ修正

• カーネル V3.0.9 からのアップグレード後、クラスター権限を復元するためにバックグラウンドでインスタンスを再起動する必要がある問題を修正しました。

• 転置インデックスを使用するクエリがスタックする可能性がある問題を修正しました。

新機能

• 透明な再書き込みアクセラレーション、自動更新、外部テーブルから内部テーブルへのマテリアライズドビュー、マテリアライズドビューへの直接クエリを含む、マルチテーブルマテリアライズドビュー (MTMV) をサポートします。マテリアライズドビューは、データウェアハウスの階層モデリング、タスクスケジューリング、データ変換にも使用できます。

• Variant および IP データ型をサポートし、複雑な半構造化データの保存と分析のための分析関数を改善します。

• 自動インクリメント列、自動パーティショニング、および集中投入のためのサーバーサイドバッチリクエスト蓄積をサポートし、リアルタイムでの大規模データ書き込みの効率を向上させます。

• Arrow Flight に基づく高速読み取りインターフェイスをサポートし、データサイエンスやその他の大規模データ読み取りシナリオでデータ転送効率を 100 倍に向上させます。

• Apache Doris 2.1.0 のすべての機能をサポートします。

機能改善

• チューニング不要で、すぐに使えるブラインドテストのクエリパフォーマンスを向上させました。TPC-DS 1 TB テストデータセットでの複雑な SQL クエリのパフォーマンスが 100% 以上向上し、業界トップレベルに達しました。

• データレイク分析のパフォーマンスを、Trino と Spark と比較してそれぞれ 4 倍から 6 倍向上させました。複数の SQL 方言との互換性を導入し、元のシステムから ApsaraDB for SelectDB に切り替えることができます。

バグ修正

• Routine Load で時折発生するバックログの問題と、アップストリームのトピックから拡張パーティションをインポートする際のエラーを修正しました。

• load_segment 中の BE コアダンプと、BE の異常な再起動の問題を修正しました。

• Aggregate テーブルのエクスポート速度が遅く、データが失われる問題を修正しました。

• マスターノードでの高い JVM メモリ使用量の問題を修正しました。

• フロントエンド (FE) の Out-of-Memory (OOM) エラーの問題を修正しました。

• S3 FileWriter の繰り返しクローズによる重複警告ログの問題を修正しました。

機能改善

• Compaction スケジューリングを最適化し、効率を向上させました。

• メトリクスのスピンロックによる高い CPU 使用率と HTTP インターフェイスのスタッタリングを低減しました。

バグ修正

• extract_url_parameter 関数の実行結果が一致しない問題を修正しました。

• MoW BE のコアダンプと UDF のコアダンプの問題を修正しました。

• メタデータサービスのアップグレードジッターによる接続例外が原因で、書き込み失敗やスケジューリングタスクの失敗が発生する問題を修正しました。

• OUTFILE を使用して Parquet ファイルをエクスポートする際に、複数の BE コアダンプが発生する問題を修正しました。

機能改善

• 多数の削除マーカーを持つプライマリキーテーブルのパフォーマンスを最適化しました。これにより、以前にデータインジェストやファイルマージ中に発生していた失敗が解決されます。

• max_batch_interval の 60 秒制限の撤廃、可観測性メトリックの追加、異常なタスクが他のタスクのスケジューリングに影響を与える問題の解決など、Routine Load を最適化しました。

バグ修正

• 監査ログが失われる問題を修正しました。

新機能

• Stream Load を使用した圧縮 JSON データのインポートをサポートします。

機能改善

• アップロードオブジェクトのリトライポリシーと接続タイムアウトを最適化し、インポートの安定性を向上させました。

バグ修正

• 高頻度の Stream Load タスクが原因で、インスタンスアクセスモジュールの CPU 使用率が 100% に達する可能性がある問題を修正しました。

• インポートプロセス中のインスタンスアクセスモジュールでのメモリリークの問題を修正しました。

• インポートプロセス中にインデックスファイルへの書き込みが失敗するためにインポートが失敗する問題を修正しました。

• インポートがアップロードに失敗する可能性がある問題を修正しました。

• MoW テーブルが長時間ロックを保持するためにインポートが失敗する問題を修正しました。

• スキーマ変更 が原因で Base Compaction が失敗する可能性がある問題を修正しました。

• Routine Load タスクがスタックする可能性がある問題を修正しました。

• インポート中に JSON データ型の double 値が 0 として処理される問題を修正しました。

• 監査ログ テーブルに権限を 付与 できない問題を修正しました。

• 監査ログクエリ で時間が重複する問題を修正しました。

• SQL Hash が重複する問題を修正しました。

• 転置インデックスの UTF-8 エンコーディングとデコーディングでエラーが発生する可能性がある問題を修正しました。

• ネットワークジッターによりクラスターノードが異常にオフラインになる問題を修正しました。

• INSERT INTO SELECT クエリが空の結果を返したときに実行例外がトリガーされる問題を修正しました。

新機能

• Apache Doris 2.0.15 のすべての機能をサポートします。

機能改善

• ファイルキャッシュのヒット率を向上させました。

バグ修正

• Aggregate テーブルのクエリ結果が不正になることがある問題を修正しました。

• struct 型のクエリが利用できなくなることがある問題を修正しました。

• window_funnel 関数が datetime v2 をサポートしていない問題を修正しました。

• INSERT INTO SELECT 文で不正な権限エラーが報告されることがある問題を修正しました。

• Routine Load トランザクションが正しく中止されない問題を修正しました。

• クエリまたは Compaction 中に「bad page」エラーが報告される問題を修正しました。

新機能

• Apache Doris 2.0.13 のすべての機能をサポートします。

機能改善

• 複数のタブレット間での不整合なマッピング分布を最適化しました。

バグ修正

• 新しいオプティマイザーが INSERT INTO SELECT 文を自動的にリトライできない問題を修正しました。

• スキーマ変更中の nullable 型の二重書き込みが原因でノードが再起動する問題を修正しました。

• 使い捨てファイルキャッシュが他のキューに占有され、Compaction やスキーマ変更が遅くなる問題を修正しました。

新機能

• Apache Doris 2.0.11 およびカーネル V3.0.8 のすべての機能をサポートします。

機能改善

• MoW テーブルインポートの delete bitmaps の計算を最適化し、インポート速度と堅牢性を向上させました。

• SHOW DATA の応答速度を最適化しました。

• 転置インデックスと半構造化データのクエリパフォーマンスを最適化しました。

バグ修正

• 過剰な数の COPY INTO タスクが原因でインスタンスの OOM エラーが発生する問題を修正しました。

• 過剰な数の alter job タスクが原因でインスタンスの OOM エラーが発生する可能性がある問題を修正しました。

• 複数のクラスターが存在する場合にインスタンスのメトリックが欠落する可能性がある問題を修正しました。

• 単一トランザクション内でのマルチタブレットインポートの極端なケースで、一部のタブレットにバージョンが欠落する問題を修正しました。

• ファイルキャッシュサイズを変更した後、インスタンスが変更を即座に認識できない問題を修正しました。

• JDBC 外部テーブル接続に関連するいくつかの問題を修正しました。

• Elasticsearch Catalog が esquery を使用できない問題を修正しました。

• バランスの不均等とデコミッションがスタックする問題を修正しました。

新機能

• Apache Doris 2.0.10 のすべての機能をサポートします。

• SHOW PROC 文をサポートします。

• すべての JSON キーの取得をサポートします。

機能改善

• テーブル作成時間を最適化しました。

• MoW テーブルの delete bitmaps の計算速度を最適化し、インポートスループットを向上させました。

• MoW テーブルの高頻度インポート (複数バージョン) のクエリ速度を最適化しました。

• クエリ効率を最適化しました。

バグ修正

• rename cluster 操作後のメトリックが不正になる問題を修正しました。

• rename cluster 操作後のトラフィック統計が不正確になる問題を修正しました。

• SHOW PROCESSLIST の出力フォーマットが不正になる問題を修正しました。

• メモリ不足によりスキーマ変更が失敗する問題を修正しました。

• 監査ログコンポーネントのインポート権限に関する問題を修正しました。

• datetimev2 の round 関数がエラーを返す問題を修正しました。

• nullable 計画がコアダンプを引き起こす可能性がある問題を修正しました。

• nullable 計画が不正な結果につながる可能性がある問題を修正しました。

新機能

• Apache Doris 2.0.6 のすべての機能をサポートします。

• 監査ログプラグインをサポートします。監査ログテーブルを手動で作成する必要があります。

機能改善

• ユーザーが default cluster を設定していない場合、クラスター名のアルファベット順で利用可能な (実行中で権限のある) クラスターを選択します。

• 転置インデックスとログシナリオの可用性とパフォーマンスを最適化しました。

• 新しいオプティマイザーの曖昧な projection having 構文を最適化しました。

• 転置インデックスの compound in list のパフォーマンスを向上させました。

バグ修正

• 多数の delete 操作がインポート失敗をトリガーする問題を修正しました。

• 統計情報ロジックが繰り返し SQL 文をトリガーするため、自動クラスターシャットダウンのロジックが失敗する問題を修正しました。

• 指定された UTC タイムゾーンでインポートする際のタイムゾーン変換が不正になる問題を修正しました。

• JDBC から SHOW PROCESSLIST がエラーを報告する問題を修正しました。

• チェックポイント後の再起動で、テーブルプロパティ ttl_seconds が 0 にリセットされる問題を修正しました。

• date/month/year の add 関数の問題を修正しました。

新機能

• Apache Doris 2.0.4 のすべての機能をサポートします。

• Auto Analyze をサポートします。

• ワイドテーブルのインポートをサポートします。

• Group Commit (バッチインポート/リアルタイムインポート) をサポートします。

• in left join infer をサポートします。

機能改善

• インポート失敗時のエラーメッセージを最適化しました。

• 安定性を向上させました。

バグ修正

• クラスターの再起動によりクラスター権限が無効になることがある問題を修正しました。

• カーネル 2.4.x バージョンから 3.0.x バージョンへのアップグレードが失敗する問題を修正しました。

• SHOW PROCESSLIST コマンドの出力レイアウトがずれる問題を修正しました。

• alter table の TTL プロパティが有効にならない (テーブルスキーマをクエリすると TTL が 0 と表示される) 問題を修正しました。

• クエリが時折「failed to initialize storage reader」エラーを報告する問題を修正しました。

• Parquet Reader の異常なパスがメモリリークを引き起こすことがある問題を修正しました。

• 外部テーブルに対する date_sub、data_add、to_date 関数のプッシュダウンに関する問題を修正しました。

• colocate がバランス調整に関与しているために colocate join の計画が無効になる問題を修正しました。

• alter colocate プロパティのリプレイが失敗する問題を修正しました。

• delete 条件に特殊文字が含まれているためにデータをクエリできない問題を修正しました。

• 読み取りクエリが低い確率で NOT_IMPLEMENTED_ERROR を報告する問題を修正しました。

• インポート中のタイムゾーン変換によるデータ不正の問題を修正しました。

• substr() に負の値を渡すとコアダンプが発生する問題を修正しました。

新機能

• Apache Doris 2.0.3 のすべての機能をサポートします。

Auto Analyze 機能は有効にしないことを推奨します。

• Stream Load 互換の API を提供します。

• show proc/statistic のホワイトリストを開きます。

機能改善

• MoW テーブルのインポートの安定性を向上させました。

• 動的テーブルの作成を高速化しました。

• 計画生成のパフォーマンスを向上させました。

• decimal 操作の動作を最適化しました。

• 安定性を向上させました。

バグ修正

• OSS バッファー不足が原因で書き込み操作がスタックする問題を修正しました。

• マルチクラスターシナリオでのクエリが「failed to find version path」エラーを報告する可能性がある問題を修正しました。

• マルチクラスターシナリオで計画がクラスターをまたぐ可能性がある問題を修正しました。

• varchar 列の長さが変更されたために、動的パーティションテーブルの新しいパーティションが作成できない問題を修正しました。

• SHOW CREATE TABLE の decimal データフィールドが SmartBI と互換性がない問題を修正しました。

• 列の型変換機能が利用できなくなることがある問題を修正しました。

• 行指向テーブルのプロパティが有効にならない問題を修正しました。

• Base Compaction が失敗する可能性がある問題を修正しました。

• ポイントクエリが最新のデータを見つけられないことがある問題を修正しました。

• COPY INTO で重複ファイルにタイムアウトが必要になる問題を修正しました。

• query_parallel_instance_num がゼロで除算される可能性がある問題を修正しました。

• キャッシュヒット率の計算が不正確になることがある問題を修正しました。

• NGram インデックスが有効にならない問題を修正しました。

新機能

• SHOW PROC current_stmt 文をサポートします。

機能改善

• アクセスの制御のセキュリティを強化しました。

• アップロードされたデータの検証の信頼性を強化しました。

• インスタンスメタデータサービスの可用性を向上させました。

• テーブル作成時の dynamic_partition.replication_num のエラーメッセージを最適化しました。

バグ修正

• カーネル 2.4.x バージョンから 3.0.x バージョンへのアップグレードが COPY INTO の失敗を引き起こすことがある問題を修正しました。

• 外部ステージを使用したインポートの権限付与が失敗する可能性がある問題を修正しました。

• Routine Load インポートが失敗する可能性がある問題を修正しました。

• MoW テーブルのインポートが失敗する可能性がある問題を修正しました。

• リアルタイム書き込みの insert 文が失敗する可能性がある問題を修正しました。

• TPC-DS のパフォーマンス低下の問題を修正しました。

• 非グローバルセッション変数が有効にならないことがある問題を修正しました。

• 多数の where 条件を持つクエリが、高い CPU 消費が原因で実行が遅くなる問題を修正しました。

新機能

• Doris Clean Label をサポートします。

• Stream Load クラウド API を Apache Doris コミュニティの動作と互換性があるようにしました。

• JDBC ドライバーをインスタンスに組み込みました。

機能改善

• 新しいオプティマイザーで top n クエリのランタイムフィルタープルーニングをデフォルトで有効にしました。

バグ修正

• インスタンス内のリソースリークによるクエリ応答の遅延を修正しました。

• function 文の無効化が有効にならない問題を修正しました。

• 並べ替えのスキーマ変更が失敗する問題を修正しました。

新機能

• Apache Doris 2.0.2 のすべての機能をサポートします。

• カーネル V2.3.10 および V2.4.4 のすべての機能をサポートします。

• OSS Load のための JDBC ドライバー URL のホワイトリスト機能を追加しました。

機能改善

• 計画中のメタデータ取得時間を短縮し、計画生成を高速化しました。

• メタデータへのアクセスに要した時間をクエリプロファイルの統計に追加しました。

• バランスの取れた方法でリソース使用率を最適化しました。

バグ修正

• ファイルキャッシュの TTL を設定した後の読み書きエラーの問題を修正しました。

• backends または rowsets テーブルをクエリするとサービスが利用できなくなる問題を修正しました。

新機能

• Apache Doris 2.0.1 のすべての機能をサポートします。

• カーネル V2.4.3 のすべての機能をサポートします。

機能改善

• Get Version に要する時間を最適化しました。

バグ修正

• いくつかの計算ノードでのメモリリークの問題を修正しました。

機能改善

• バランスポリシーを最適化しました。

バグ修正

• replace tmp partition が原因でクエリが失敗する問題を修正しました。

• pthread と bthread の混在使用によるデッドロックの問題を修正しました。

機能改善

• カーネル V2.3.9 および V2.3.10 のすべての機能をサポートします。

• インポート機能の可用性を向上させました。

バグ修正

• 多数のパーティションを含むテーブルの切り捨てをリクエストした際に、MySQL セッションが応答しなくなる問題を修正しました。

新機能

• カーネル V2.3.8 のすべての機能をサポートします。

• 支払い遅延によるサービス停止をサポートします。

バグ修正

• Docker 環境でのタイムゾーンに関する問題を修正しました。

新機能

• COPY INTO インポートメソッドの定数値設定をサポートします。

機能改善

• ストレージ情報の統計の精度を向上させました。

バグ修正

• Cloud Stream Load が失敗する可能性がある問題を修正しました。

新機能

• カーネル V2.3.5、V2.3.6、および V2.3.7 のすべての機能をサポートします。

• Stream Load を使用したデータインポートをサポートします。

• 停止中の従量課金クラスターがクエリリクエストを受信した際に、自動的に起動する機能をサポートしました。

バグ修正

• 転置インデックスを使用するクエリが失敗する可能性がある問題を修正しました。

新機能

• セッション変数を使用して、SQL 文がキャッシュを使用するかどうかを制御する機能をサポートします。

• インポート中のクラスター間の増分同期をサポートします。

• テーブルクラスターに基づいたキャッシュデータのプリフェッチ機能をサポートします。

• SQL を通じてキャッシュ使用量をクエリする機能をサポートします。

• アイドル状態の従量課金クラスターの自動シャットダウンをサポートします。

機能改善

• データセキュリティを強化しました。

• クエリがキャッシュにヒットしなかった場合の応答速度を向上させました。

バグ修正

• set default cluster 文が失敗する可能性がある問題を修正しました。

• アップグレードプロセスが失敗する可能性がある問題を修正しました。

SelectDB の過去のカーネルバージョンに関する詳細については、「SelectDB Cloud のカーネルリリースノート」をご参照ください。