ApsaraDB for ClickHouse:ApsaraDB for ClickHouse Enterprise Edition

バージョン

説明

リファレンス

Enterprise Edition 24.10

• 新機能

  • 更新可能なマテリアライズドビューが Enterprise Edition で有効になりました。

  • toStartOfInterval 関数が追加され、カスタム開始点での時間調整がサポートされ、TimescaleDB および PostgreSQL の時間バケット機能との互換性が強化されました。

  • arrayZipUnaligned 関数と arrayElementOrNull 関数が追加され、Spark の互換性と配列操作の柔軟性が向上しました。

• 修正された問題

  • 次の問題が修正されました：optimize_functions_to_subcolumns が有効になっている場合、列型のエラーが発生し、LowCardinality データ型を処理できません。

  • 次の問題が修正されました：不正確なメモリ統計情報が原因で SQL クエリが途中で終了します。

  • 次の問題が修正されました：空のフィールドを使用すると、JSON 形式のデータを解析できません。

  • 次の問題が修正されました：特定のケースでは、クエリキャッシュを正確に削除できません。

ApsaraDB for ClickHouse Enterprise Edition V24.10 のリリースの詳細

バージョン

説明

リファレンス

Enterprise Edition 24.10

新機能

Enterprise Edition クラスタでデータバックアップとデータ復旧機能がサポートされるようになりました。

• データバックアップ

• データ復旧

バージョン

説明

リファレンス

Enterprise Edition 24.8

• 新機能

  • ASOF JOIN 操作で full_sorting_join アルゴリズムがサポートされ、ソートベースの JOIN 操作の効率が向上しました。

  • percent_rank、changeYear、changeMonth などの関数が追加され、使いやすさが向上しました。

  • Hive スタイルのパーティショニングが導入され、File、URL、S3、AzureBlobStorage、HDFS など、さまざまなストレージエンジンがサポートされるようになり、大規模データセットの効率的なクエリと管理が可能になりました。

• パフォーマンスの最適化

  • S3 テーブルエンジンのデータアクセス パフォーマンスが向上し、クエリが高速化されました。

  • メモリ割り当ての安定性が向上しました。

ApsaraDB for ClickHouse Enterprise Edition V24.8 のリリースの詳細

バージョン

説明

リファレンス

Enterprise Edition 24.5.1.23258

• 新機能

  デフォルトでは、ApsaraDB for ClickHouse クラスタのクエリエンジンで新しいアナライザが使用されます。

  重要

  • 新しいアナライザはクエリのパフォーマンスを向上させましたが、以前のバージョンの Enterprise Edition で使用されていた特定の SQL ステートメントと互換性がない場合があります。これにより、解析エラーが発生する可能性があります。

  • この機能は、Enterprise Edition V24.5 を実行する新しいクラスタでサポートされています。クラスタのマイナーエンジンバージョンを V24.5 に更新した場合、クラスタは引き続き古いアナライザを使用します。

• 修正された問題

  • 次の問題が修正されました：groupArraySorted 関数を使用すると、システムのダウンタイムとメモリリークが発生する可能性があります。

  • 次の問題が修正されました：スキップインデックスを使用すると、クエリ結果が正しくありません。

  • 次の問題が修正されました：特定のケースで障害が発生する可能性があります。

• パフォーマンスの最適化

  • readonly_duration フィールドが system.replicas テーブルに追加され、トラブルシューティングと影響評価が容易になりました。

  • ログストレージの場所がキャッシュから S3 に変更され、キャッシュの使用量が削減され、特定のシナリオでのキャッシュヒット率が向上しました。

  • 非アクティブなデータパーツのクリーンアップ時間が短縮され、特定のケースではディスク使用量が最適化されました。

  • デフォルトでは、Kafka エンジンでは最新のオフセットから消費が開始されます。

  • デフォルトのデータストレージ形式が Packed に変更され、バックグラウンドでのキャッシュダウンロード機能が一時的に無効になり、Object Storage Service (OSS) による帯域幅と IOPS リソースの使用量が最適化されました。

  • max_insert_threads パラメータと max_final_threads パラメータの値が減少しました。パラメータの元の値が大きすぎるため、スレッド間のロック競合が発生し、パフォーマンスに悪影響を及ぼしていました。

• 安定性の最適化

  • カーネルの互換性が有効になりました。クラスタの作成時に、プロファイルレベルのパラメータをバージョン設定で指定されたデフォルト値に設定できます。これにより、バージョンアップグレード中のカーネルの変更による非互換性が防止され、ビジネス運用への影響が最小限に抑えられます。

  • P2P メタデータ同期が有効になり、operation_timeout_ms パラメータと session_timeout_ms パラメータの値が増加し、キーパーノードの読み取り/書き込みワークロードが削減されました。これにより、過剰なワークロードによって発生するクラスタの起動失敗やデータ書き込みの問題が防止されます。

• アナライザがデフォルトで有効

• 元のクラスタでエラーなく実行された SQL ステートメントが V24.5 以降の Enterprise Edition クラスタで失敗した場合はどうすればよいですか？

• 特別な列の MODIFY COLUMN MODIFY SETTINGS クラッシュを修正

• CFA レジスタが RAX の場合の LLVM の libunwind を修正

バージョン

説明

リファレンス

Enterprise Edition 24.2.16517

修正された問題

• 次の問題が修正されました：ZNOAUTH エラーが原因でキーパーノードが起動に失敗します。

• 次の問題が修正されました：まれに、SharedMergeTree エンジンで障害が発生します。

• 次の問題が修正されました：system.numbers_mt テーブルに対するクエリで LIMIT と OFFSET を使用すると、INDEX キーワードを使用できません。

該当なし

バージョン

説明

リファレンス

Enterprise Edition 24.2.16502

修正された問題

• 次の問題が修正されました：TRUNCATE DATABASE 操作により、複製されたデータベースの複製プロセスが中断されます。

• 次の問題が修正されました：まれに、part_log 冗長性の問題が発生します。

• 次の問題が修正されました：allow_experimental_analyzer=1 設定を有効にし、GROUP BY 句で定数式を使用すると、エラーが発生します。

• 次の問題が修正されました：分散テーブルをクエリすると、Cannot convert column because it is non constant in source stream but must be constant in result. というエラーメッセージが表示されます。

• 次の問題が修正されました：クエリ条件で column IS NULL を使用すると、Unknown identifier および Column is not under aggregate function というエラーメッセージが表示されます。

該当なし

バージョン

説明

リファレンス

Enterprise Edition V24.2.2.16476

• パフォーマンスの最適化

  • サーバーレスクラスタのリソーススケーリングの応答間隔が短縮され、スケーリングの遅延によるクエリの割り込みが防止されます。

  • いくつかのパラメータが追加され、一部のシナリオで垂直マージアルゴリズムを使用してマージパフォーマンスを向上させることができるようになりました。

  • 複製されたデータベースエンジンを使用する場合、ローカルディスクにデータを保存しないテーブルエンジンのみを作成できます。これにより、構成や操作の誤りによって発生するさまざまな問題が回避されます。

  • Keeper の digest_enabled パラメータが 1 に設定され、リアルタイムデータ整合性チェックが有効になります。

  • Keeper の async_replication パラメータが 1 に設定され、読み取り/書き込みの整合性が確保されている場合の複数ノード間でのデータレプリケーションのパフォーマンスが向上します。

  • 同じビジネス負荷に対して、Object Storage Service (OSS) にアクセスするために必要なクエリ/秒 (QPS) と帯域幅が削減されます。

• 修正された問題

  • 次の問題が修正されました：Keeper によってセッションが閉じられると、後続の接続が失敗する可能性があります。

  • 次の問題が修正されました：不正確なメモリ統計情報が原因で SQL クエリが途中で終了します。

  • Keeper の check_not_exists パラメータと create_if_not_exists パラメータが 1 に設定され、ClickHouse サーバーが操作を実行したときに発生する予期しないエラーが回避されます。

Enterprise Edition V24.2.2.16476

バージョン

説明

リファレンス

Enterprise Edition V24.2.2.16399

• 新機能

  • system.dns_cache テーブルがサポートされ、ドメインネームシステム (DNS) の問題をデバッグできるようになりました。

  • mergeTreeIndex 関数、generate_series 関数、toMillisecond 関数がサポートされるようになりました。

  • 新しい構文

    • 基になるテーブルで明示的な承認を行わなくても、ビューとマテリアライズドビューに対する特定のユーザーのクエリ権限と書き込み権限を直接付与するための構文がサポートされるようになりました。

    • ATTACH PARTITION ALL がサポートされるようになりました。

    • 外部テーブルの構造で列挙型を宣言できるようになりました。

• 変更点

  • 通常のデータベースを作成できなくなりました。既存の通常のデータベースは引き続き使用できます。

  • SHOW INDEX | INDEXES | INDICES | KEYS は、プライマリキー列で結果をソートしなくなりました。

• 最適化された機能

  • 安定性の最適化

    • ApsaraDB for ClickHouse サーバーと ApsaraDB for ClickHouse Keeper は、計算容量ユニット (CCU) に基づいてメモリのソフト制限を動的に調整します。これにより、Keeper でサポートされる最大メモリの小ささという制限が解消され、ある程度 Out of Memory (OOM) の問題を回避できます。

    • ApsaraDB for ClickHouse Keeper に、失敗したディスク関連操作のリトライメカニズムが追加されました。

    • ApsaraDB for ClickHouse Keeper は、サービスの起動中に無効なスナップショットが検出された場合、起動プロセスを停止します。これにより、データ損失を防ぐことができます。

    • text_log が有効になり、問題のトラブルシューティングに役立ちます。

  • パフォーマンスの最適化

    • FileSystemCache のサイズを CCU に基づいて動的に調整できるようになりました。以前のバージョンでは、サイズは 100 GB に固定されていました。

    • デフォルトの圧縮アルゴリズムが LZ4HC(3) から LZ4HC(2) に変更されました。これにより、圧縮率は下がりますが、クエリの効率が向上します。

    • 一定数のログがメモリにキャッシュされ、Keeper のパフォーマンスが向上します。

  • サーバーレスの最適化

    • 非圧縮キャッシュが無効になり、弾性スケーリングのためのサーバーのメモリ使用量が削減されます。

    • マークキャッシュサイズの 設定 ロジックが最適化され、弾性スケーリングの場合によってはメモリ使用量が削減されます。

    • より積極的なサーバーレスポリシーがサポートされるようになりました。この機能は招待プレビューです。

• 修正された問題

  • 次の問題が修正されました。メモリ統計エラーが原因でクエリが予期せず終了する。

  • 次の問題が修正されました。クラスタの再起動後に最初の DDL 文を実行すると、例外が報告される。

  • 次の問題が修正されました。OSS QPS 制限が原因で挿入が中断される。

ApsaraDB for ClickHouse Enterprise Edition V24.2.2.16399 のリリース詳細