ApsaraDB for ClickHouse:コミュニティ互換エディション 26.3 のリリースノート

マテリアライズド CTE

26.3 LTS では、マテリアライズド CTE の構文が導入されました。MATERIALIZED キーワードを使用すると、ClickHouse は CTE の結果を一時的なインメモリテーブルに格納します。これにより、冗長な計算を回避し、複雑なレポーティングや多次元分析の SQL クエリの実行効率を向上できます。

例：

SET enable_materialized_cte = 1;

WITH top_users AS MATERIALIZED (
    SELECT user_id, count() AS cnt
    FROM events
    GROUP BY user_id
    ORDER BY cnt DESC
    LIMIT 1000
)
SELECT *
FROM top_users
INNER JOIN (SELECT user_id FROM top_users WHERE ...) ON ...;

すべての JOIN タイプに対応するインテリジェントな JOIN の並べ替え

26.3 LTS のコストベースオプティマイザ (CBO) は、標準の INNER JOIN や LEFT/RIGHT JOIN に加え、LEFT ANTI JOIN、SEMI JOIN、FULL JOIN に対しても Build/Probe 側の自動スワップをサポートするようになりました。オプティマイザはテーブル統計に基づいて小さい方のテーブルから自動的にハッシュテーブルを構築し、手動での不適切な SQL の順序付けによって発生するメモリ不足 (OOM) エラーを防止します。

シャーディングされた Map

Map 型にユーザープロファイルのタグや動的特徴量を格納するシナリオ向けに、26.3 LTS ではバケット化された物理シリアライゼーションレイアウトを導入しました。Map 内のデータがキーによってハッシュバケット化されるため、単一キーのルックアップが 2 倍～49 倍向上します。

例：

CREATE TABLE user_profiles (
    id UInt64,
    attributes Map(String, UInt64)
) ENGINE = MergeTree
ORDER BY id
SETTINGS map_serialization_version = 'with_buckets', max_buckets_in_map = 32;

ワイドテーブルの TTL クリーンアップ：垂直マージ

26.3 LTS では、TTL DELETE 操作向けに垂直マージアルゴリズムを導入しました。このマージは、無関係なワイド列を読み取らずに、プライマリキーと TTL 列のフィルタリングを優先します。これにより、バックグラウンドのデータクリーンアップ時の I/O とメモリオーバーヘッドが大幅に削減されます。

適応型可逆浮動小数点圧縮コーデック (ALP)

新しい可逆浮動小数点圧縮コーデック CODEC(ALP, ZSTD) を利用できます。ALP (Adaptive Lossless floating-Point) は、工業モニタリングおよび時系列メトリクスのシナリオにおける Float32 と Float64 データ向けに最適化されており、従来の Gorilla エンコーディングよりも高い圧縮率と高速な伸長を実現します。

クエリ実行とオプティマイザ

• クエリ条件キャッシュ、式の JIT コンパイル、JOIN ランタイムフィルターがデフォルトで有効になり、繰り返しスキャンと大規模テーブルの JOIN オーバーヘッドを削減します。

• RIGHT JOIN と FULL JOIN は ConcurrentHashJoin を使用し、シナリオによっては最大 2 倍のパフォーマンス向上を実現します。新しい JOIN の順序付け最適化により、統計情報に基づいて複数テーブルの JOIN を自動的に並べ替えます。

• プライマリキーとパーティションキーのインデックスプルーニングが拡張されました。プライマリキーはデータスキッピングのために任意の決定性式をサポートし、決定性関数チェーンでラップされたパーティションキーもプルーニングできます。

• ORDER BY ... LIMIT N クエリでは、スキップインデックスと動的しきい値フィルターにより、スキャンする行数を大幅に削減できます。

ストレージエンジンとデータスキッピング

• Parquet reader v3 がデフォルトで有効になり、ページレベルのフィルタープッシュダウンと PREWHERE をサポートします。データレイクの読み取りでは、処理スレッドに基づいてパイプラインを自動調整し、マルチコアマシンで約 40 倍の改善を実現します。

• 読み取り時のストリーミングスキップインデックスフィルタリングがデフォルトで有効になりました。テキストインデックスはより多くの述語形式をサポートし、PREWHERE でも使用できます。

• パーティションプルーニングが多いシナリオでは、10,000+ パーツを持つテーブルに対する SELECT クエリが最大 8 倍高速化されます。Iceberg テーブルは PREWHERE 最適化と非同期メタデータプリフェッチをサポートします。

分散実行と並列実行

• 並列分散 INSERT SELECT がデフォルトで有効になり、各シャードで独立して実行されます。分散 IN サブクエリは、シャード間の一時データ転送を削減するために DISTINCT を自動的に追加します。

• 分散インデックス分析は SharedMergeTree と共有ストレージのシナリオをサポートします。並列レプリカはレイジーマテリアライゼーションをサポートし、負荷分散を改善してテールレイテンシを低減します。

関数とインデックス

• LIKE と正規表現は、より効率的な実装に自動的に書き換えられ、デフォルトで有効になりました。StringZilla は大文字と小文字を区別する文字列検索を高速化し、SIMD 動的ディスパッチは論理関数とブール列変換を高速化します。

メモリ、可観測性、ネットワーク

• Mark、非圧縮、ページキャッシュは独立した jemalloc arena を使用し、フラグメンテーションを低減します。jemalloc のダーティページは独立スレッドでクリーンアップされます。システムログテーブルに minmax と bloom_filter インデックスが追加され、トラブルシューティングを高速化します。

• 分散クエリにおけるブロックのシリアライゼーションと圧縮をパイプラインスレッドにオフロードできるようになり、大容量データ転送の効率が向上します。

アップグレード前の準備

1. クローンまたはテスト環境での検証：まずはクローン環境またはテスト環境に新バージョンをデプロイし、バージョン変更が既存の設定やクエリに与える影響を評価してください。

2. 依存関係の互換性確認：クライアントドライバとサードパーティツールが新バージョンと互換性があることを確認してください。

重要な注意事項

• 実験的機能の検証：このバージョンでは、マテリアライズド CTE と Polyglot 方言は Experimental と位置づけられています。本番環境で使用する前に、テストクラスタでこれらの機能を検証することを推奨します。

• パフォーマンスリグレッションテスト：アップグレード後は、主要クエリの実行時間を比較し、Parquet キャッシュ、転置インデックス、JOIN の並べ替えなどの最適化が有効になっていることを確認してください。

• モニタリングとアラートの調整：新しいメトリクスや変更点に基づき、モニタリングのしきい値を調整してください。