PolarDB:IMCI ベースの自動クエリ高速化 (AutoIndex)

概要

PolarDB for MySQL のインメモリ列指向インデックス (IMCI) 機能は、OLAP シナリオの大規模なデータセットに対する複雑なクエリ向けに特別に設計されています。 IMCI により、PolarDB for MySQL はリアルタイムのトランザクション処理とリアルタイムのデータ分析のための統合機能を提供することで、ワンストップの HTAP データベースソリューションを実現します。

従来の方法では、低速クエリに関連するテーブルを高速化するには、CREATE TABLE または ALTER TABLE を使用して、テーブルの COMMENT フィールドに COLUMNAR=1 を追加することで、手動で列指向インデックスを作成する必要があります。 この手動の方法は、複雑なロジックを持つ SQL テンプレートが多数ある場合には非効率です。

IMCI ベースの自動クエリ高速化 (AutoIndex) 機能は、低速クエリに基づいてテーブルに列指向インデックスを追加することで、このプロセスを自動化します。

技術的背景

AutoIndex は、インデックスを自動的に追加することによって SQL のパフォーマンスをチューニングする手法です。 行ストアインデックスの場合、この概念は十分に研究されており、Oracle や SQL Server などのシステムで商用実装されています。 これらのシステムは通常、述語、ORDER BY 句、または JOIN 操作を分析して、潜在的なセカンダリインデックスを特定します。 次に、インデックスが作成されたと仮定してクエリコストを再計算し、コストを大幅に削減するインデックスを作成します。

列指向インデックスの場合、AutoIndex は Redshift、Snowflake、Databricks、Heatwave などのシステムで採用されています。 一般的な自動化技術には、次のものがあります：

• 自動ロードおよびアンロード：クエリの実行履歴に基づいて低速クエリを高速化するために、列指向インデックスを自動的に作成します。 使用頻度が低い、またはリソースを大量に消費する列指向インデックスは自動的に削除され、ストレージ消費量を削減します。

• 自動エンコーディング：各列のデータ分布に基づいて最適なエンコーディングアルゴリズムを自動的に選択し、ストレージ領域をさらに圧縮します。

• ディストリビューションキーの自動選択：超並列処理 (MPP) シナリオでデータ分散のバランスを取り、データスキューを削減し、分散 GROUP BY および JOIN 操作のデータシャッフルを最適化します。

• ソートキーの自動選択：結合やソートに関与する一般的な述語や列を使用して、クエリのフィルタリングやソートを高速化します。

IMCI で列指向インデックスを自動的に作成することは、以下の理由により、行ストアインデックスを作成するよりもコストが低く、耐障害性に優れています：

• 書き込みへの影響が少ない：行ストアインデックスが多すぎると、プライマリノードでの書き込みパフォーマンスが大幅に低下する可能性があります。 対照的に、IMCI はプライマリノードに列ストアデータをマテリアライズしません。 新しい列指向インデックスが追加されると、書き込み操作は REDO ログを介して読み取り専用 IMCI ノードに同期されるため、書き込みパフォーマンスへの影響は最小限です。

• 高い圧縮率：列指向インデックスは通常 3 倍から 5 倍の圧縮率を達成できるため、新しいインデックスを追加することによるストレージオーバーヘッドは比較的小さくなります。

• ビジネスオペレーションへの限定的な影響：システムはロックフリーで効率的なデータ構造を使用して SQL トレース情報を収集し、非ブロッキング DDL を採用してビジネスオペレーションへの支障を最小限に抑えます。

仕組み

SELECT * FROM information_schema.imci_autoindex

SELECT *
FROM information_schema.imci_autoindex autoindex, information_schema.sql_sharing share
WHERE autoindex.sql_id = share.sql_id
  AND share.type = 'SQL'

テスト結果

以下は、TPC-H 100 GB テストスイートに基づく例です。

• 環境設定：22 の TPC-H テストクエリすべてを 1 分に 1 回実行します。 クラスターエンドポイントで HTAP の最適化 (トランザクションと分析処理の分離) を有効にします。 行ストアの並列度を 8 に設定します (主にテスト時間を短縮するため)。

• テスト結果：以下の表に示すように、後続のラウンドでのクエリパフォーマンスは大幅に向上しました。 最初のラウンドの終わり頃 (12 番目のクエリあたりから)、AutoIndex はすでにほとんどのテーブルに対して列指向インデックスを作成しており、オプティマイザはこれらのクエリを自動的に読み取り専用 IMCI ノードにルーティングしました。

メリット

IMCI 機能は、互換性、パフォーマンス、およびコスト効率の面で大きなメリットがあります：

• 完全な MySQL 互換性：すべての MySQL データ型と MySQL プロトコルをサポートします。

• 優れた HTAP パフォーマンス：分析ワークロードに対して 1～2 桁のパフォーマンス向上を実現します。

• コスト効率の高いハイブリッドストレージ：ハイブリッドストレージはトランザクションの一貫性を保証し、列指向インデックスは特定のクエリシナリオで優れたパフォーマンスと低コストを提供します。

• ワンクリック自動高速化：ワンクリックで自動的にパフォーマンスを向上させ、複雑な設定やチューニングは不要です。

• 運用オーバーヘッドの削減：低速クエリに対して列指向インデックスを自動的に作成し、手動での最適化作業を最小限に抑えます。

• IT コストの削減：すべてのデータベースやテーブルではなく、低速クエリに対してのみ列指向インデックスを作成することで、メモリとストレージリソースを節約します。

サポートされるバージョン

• Enterprise Edition クラスターは、次の条件を満たす必要があります：

  • シリーズ：Cluster Edition。

  • データベースエンジンバージョン：

    • MySQL 8.0.1、リビジョン 8.0.1.1.45.2 以降。

    • MySQL 8.0.2、リビジョン 8.0.2.2.27 以降。

• Standard Edition クラスターは、次の条件を満たす必要があります：

  • CPU アーキテクチャ：X86。

  • データベースエンジンバージョン：MySQL 8.0.1、リビジョン 8.0.1.1.45.2 以降。

注意事項

• Multi-master Cluster (Limitless) Edition および Serverless クラスターは、IMCI ベースの自動クエリ高速化をサポートしていません。

• IMCI ベースの自動クエリ高速化を有効にすると、次のようになります：

  • 追加された読み取り専用 IMCI ノードには、通常のコンピューティングノードと同じ課金ルールが適用されます。

  • システムは、低速 SQL クエリに基づいてインメモリ列指向インデックスを自動的に作成します。 この IMCI データはストレージ容量を消費します。

  • システムは、SQL Trace 機能を使用して、低速 SQL クエリの実行履歴を記録します。 このプロセスにより通常、データベースノードに 3% 以下のパフォーマンスオーバーヘッドが発生します。

• IMCI ベースの自動クエリ高速化機能は、非ブロッキング DDL を使用して列指向インデックスを追加します。 非ブロッキング DDL 機能は、MDL-X ロックが取得できない場合でも新しいトランザクションがターゲットテーブルにアクセスできるようにすることで、アプリケーションの安定性を維持します。 詳細については、「非ブロッキング DDL」をご参照ください。

IMCI ベースの自動クエリ高速化の有効化

1. PolarDB コンソール にログインします。 左側のナビゲーションペインで クラスター をクリックし、クラスターが存在する [リージョン] を選択して、対象クラスターの ID をクリックし、クラスターの詳細ページに移動します。

2. 基本情報 ページで 自動列ストアインデックスによる高速化 フィールドを見つけ、有効 をクリックします。

3. 以降の手順は、クラスターにすでに読み取り専用 IMCI ノードがあるかどうかによって異なります：

   • クラスターにすでに読み取り専用 IMCI ノードがある場合は、列ストアインデックスの自動高速化の有効化 ダイアログボックスで OK をクリックして機能を有効にします。

   • クラスターに読み取り専用 IMCI ノードがない場合は、列ストアインデックスの自動高速化の有効化 ダイアログボックスで OK をクリックします。 読み取り専用 IMCI ノードを追加するページにリダイレクトされます。

     説明

     • OK をクリックした直後に 読み取り専用 IMCI ノードを追加することも、後で手動で読み取り専用 IMCI ノードを追加することもできます。

     • この機能を有効にした後、クラスターには少なくとも 1 つの読み取り専用 IMCI ノードが存在する必要があります。 そうでない場合、自動列ストアインデックスによる高速化 のステータスが 有効 であっても、クエリの高速化は有効になりません。

     • この機能を有効にしても読み取り専用 IMCI ノードを追加しない場合、システムはSQL Trace を使用して低速 SQL クエリの実行履歴を記録しますが、列指向インデックスは作成しません。 その結果、高速化は行われません。

IMCI ベースの自動クエリ高速化の無効化

1. PolarDB コンソール にログインし、左側のナビゲーションペインで クラスター をクリックし、クラスターが存在する [リージョン] を選択して、対象クラスターの ID をクリックし、クラスターの詳細ページに移動します。

2. 基本情報 ページで、自動列ストアインデックスによる高速化 フィールドを見つけ、シャットダウン をクリックします。

3. 列ストアインデックスの自動高速化の無効化 ダイアログボックスで、OK をクリックして機能を無効にします。