このトピックでは、ApsaraDB for ClickHouse Enterprise Edition V24.8 でリリースされた機能について説明します。
新機能
ソートベースの JOIN 操作の効率を向上させるために、ASOF JOIN 操作で full_sorting_join アルゴリズムがサポートされるようになりました。
tuple 関数が拡張され、名前付きタプルを使用するクエリがサポートされるようになりました。
tupleNames、fuzzQuery、percent_rank、changeYear、changeMonth、changeDay、changeHour、changeMinute、changeSecond、groupConcat などの関数が追加されました。
ディレクトリ関連の操作が簡素化されました。file テーブル関数を使用すると、システムは自動的にディレクトリパスにアスタリスク ワイルドカード文字 (*) を追加します。
readWKTLineString 関数を使用して、WKT 形式の MULTILINESTRING データを読み取ることができるようになりました。
Parquet ファイルのページインデックスの書き込みを有効または無効にする構成が導入されました。
File、URL、S3、AzureBlobStorage、HDFS など、さまざまなストレージエンジンをサポートする Hive スタイルのパーティション分割が導入され、大規模なデータセットの効率的なクエリと管理が可能になりました。
printf 関数が追加され、Spark 互換のフォーマット出力に対応しました。
_etag という名前の仮想カラムが S3 テーブルエンジンに追加され、S3 データの処理効率が向上しました。
クエリキャッシュに名前空間メカニズムが導入され、タグが異なる同一のクエリを別々のキャッシュエントリとして扱うことができるようになりました。
system.error_log という名前のシステムテーブルが追加され、system.errors テーブルの履歴エラー情報が記録され、定期的にディスクにデータが書き込まれるようになりました。
--memory-usageクライアントオプションが追加され、非インタラクティブモードでメモリ使用量を監視できるようになりました。
パフォーマンスの最適化
バイナリシリアル化の Variant データ型が最適化され、コンパクトモードを有効にすることで冗長なデータストレージが削減されました。
S3 テーブルエンジンのデータアクセス パフォーマンスが向上し、クエリが高速化されました。
破壊的変更
レプリケートされたデータベースでは、
CREATE MATERIALIZED VIEW ... ENGINE Replicated*MergeTree POPULATE AS SELECT構文を使用できなくなりました。以前のバージョンで WithDictionary サフィックスを使用していた LowCardinality データ型の代替構文は非推奨になりました。テーブルスキーマを更新して、標準の LowCardinality データ型を使用することをお勧めします。
修正された問題
次の問題が修正されました。Buffer ストレージエンジンを宛先分散テーブルと共に使用すると、特に同じテーブルがクエリで複数回参照されている場合に、クエリ障害が発生する可能性があります。
次の問題が修正されました。カイ二乗、Student、Fisher などのガンマ関数に基づくランダム分布関数がゼロに近い負の値のパラメーターを使用すると、計算時間が長くなったり、無限ループが発生したりします。
次の問題が修正されました。arrayWithConstant 関数が大きな配列を処理すると、パフォーマンスの問題が発生します。各配列の最大サイズは 1 GB に制限する必要があります。
次の問題が修正されました。低レベルのメモリ管理でフォーマットの問題が発生します。メモリの割り当ての安定性を強化する必要があります。
次の問題が修正されました。宛先分散テーブルと Buffer ストレージエンジンを使用すると、互換性の問題が発生します。
次の問題が修正されました。
IS NULL条件を結合操作で使用すると、最適化エラーが発生します。