Hologres:ANALYZE文と自動分析

ANALYZE文

統計情報は、適切な実行プランを生成できるかどうかを判断します。Hologresは、データ分布と特性、テーブル統計、列統計、行数、列数、フィールド幅、カーディナリティ、頻度、最大値、最小値、高頻度値、バケット分布特性に関するサンプル統計を収集します。これらの統計情報は、オプティマイザーが演算子の実行推定コストを更新し、クエリ範囲を絞り込み、最適な結合順序、メモリオーバーヘッド、並列度 (DOP) を推定するのに役立ちます。このようにして、オプティマイザーは最適な実行プランを生成できます。

自動分析機能

Hologres V0.10以降では、自動分析機能がサポートされています。この機能を有効にすると、ANALYZE文を繰り返し手動で実行する必要はありません。Hologresは、作成されたテーブルの数、書き込まれたデータ量、変更されたデータ量に基づいて、関連するテーブルに対してANALYZE操作を自動的に実行するかどうかを判断します。これにより、操作の複雑さが軽減され、ANALYZE文の省略による統計収集の漏れを防ぎます。

• 構文

  • 次の文は、自動分析機能が有効になっているかどうかを確認するために使用されます。

    SHOW hg_enable_start_auto_analyze_worker;  -- Hologres V1.1 以降の構文
    
    SHOW hg_experimental_enable_start_auto_analyze_worker; -- Hologres V0.10 の構文

  • データベースの自動分析機能を有効または無効にするには、次の文を使用します。スーパーユーザーのみが文を実行できます。

    -- Hologres V1.1 以降の構文
    ALTER DATABASE dbname SET hg_enable_start_auto_analyze_worker = ON; -- 指定されたデータベースの自動分析機能を有効にします。 hg_enable_start_auto_analyze_worker パラメーターのデフォルト値は ON です。
    ALTER DATABASE dbname SET hg_enable_start_auto_analyze_worker = OFF; -- 指定されたデータベースの自動分析機能を無効にします。
    
    -- Hologres V0.10 の構文
    ALTER DATABASE dbname SET hg_experimental_enable_start_auto_analyze_worker = ON; -- 指定されたデータベースの自動分析機能を有効にします。 hg_experimental_enable_start_auto_analyze_worker パラメーターのデフォルト値は ON です。
    ALTER DATABASE dbname SET hg_experimental_enable_start_auto_analyze_worker = OFF; -- 指定されたデータベースの自動分析機能を無効にします。
    
    -- 外部データベースの自動分析機能を有効にする構文
    ALTER EXTERNAL DATABASE dbname WITH enable_auto_analyze 'true';

• 制限事項

  Hologresの自動分析機能を使用する場合は、次の制限事項に注意してください。

  • 自動分析機能は、Hologres V0.10 以降でのみサポートされています。 Hologres インスタンスのバージョンは、Hologres コンソールのインスタンス詳細ページで確認できます。インスタンスのバージョンが V0.10 より前の場合は、Hologres コンソールで Hologres インスタンスを手動でアップグレードするか、Hologres DingTalk グループに参加してインスタンスのアップグレードを申請してください。 Hologres インスタンスを手動でアップグレードする方法の詳細については、「インスタンスのアップグレード」をご参照ください。 Hologres DingTalk グループへの参加方法の詳細については、「Hologres のオンラインサポートを受ける」をご参照ください。

  • スーパーユーザーのみが自動分析機能を有効または無効にできます。

  • 自動分析機能には、パーティションテーブルに対して次の制限があります。

    • 変更された子テーブルに自動分析機能が実装される前に、関連する親テーブルに対してANALYZE操作が実行されます。

    • デフォルトでは、データサンプリング中に、システムは一度に最大 2²⁴ (16,777,216) 個のデータエントリをスキャンできます。子テーブルのデータエントリの合計数が 16,777,216 を超える場合、データエントリは異なるパーティションに分散され、特定のパーティションのデータエントリのみがサンプリングされます。特定のパーティションのデータエントリの合計数は、16,777,216 を超えることはできません。

      説明

      パーティション分割は、パーティションキー列の統計収集には影響しませんが、パーティションキー列と同じデータを持つ列など、パーティションキー列と同じ方法でデータが分散されている列の統計収集には影響します。このような列が存在する場合、これらの列の一部のデータがサンプリングされない可能性があり、データエントリの数が不正確になる可能性があります。ご質問がある場合は、DingTalkグループ (ID 32314975) のテクニカルサポートにお問い合わせください。テクニカルサポートチームは、ビジネス要件に基づいて、一度にスキャンできるデータエントリの最大数を調整するのに役立ちます。

  • デフォルトでは、自動分析機能を使用して、一度に最大 256 列の統計を収集できます。テーブルに 256 を超える列がある場合、最初の 256 列の統計が収集されます。 hg_experimental_auto_analyze_max_columns_count パラメーターの値を変更して、上限を調整できます。

  • デフォルトでは、自動分析機能で使用される各ワーカーには最大 4 GB のメモリを割り当てることができます。テーブルに超ワイド列がある場合、データサンプリング用のメモリリソースが不足しているため、ANALYZE 操作が失敗する可能性があります。 auto_analyze_work_memory_mb パラメーターの値を変更して、上限を調整できます。ただし、Hologres インスタンスで使用可能な残りのメモリサイズに注意する必要があります。 Hologres インスタンスにより高度なインスタンスタイプを選択すると、より多くのワーカーを使用できるようになり、自動分析機能でより多くのメモリリソースを使用できるようになります。

  • Hologres V3.1.0 以降でのみ、ANALYZE および自動分析を使用して、外部データベースの外部テーブルに関する統計を収集できます。

  • ANALYZE および自動分析を使用して、HMS 外部テーブルに関する統計を収集することはできません。

• 自動分析機能の仕組み

  自動分析機能を有効にすると、システムはANALYZE操作が必要なテーブルを定期的に検索します。

  • 非パーティションテーブルやパーティションテーブルなどの内部テーブルを含む通常のテーブル

    • システムは、1分間隔でテーブルに対するDML操作をチェックします。このようなDML操作には、INSERT、UPDATE、DELETE操作が含まれ、データの変更が発生する可能性があります。次のいずれかの条件が満たされると、システムはANALYZE操作を実行してテーブルに関する統計情報を収集します。

      • 非パーティションテーブルの場合、DML操作が実行され、データエントリの 10% 以上が変更されます。パーティションテーブルの場合、DML操作が実行され、現在のパーティションのデータエントリの 10% 以上が変更されます。

      • TRUNCATE TABLE操作が実行されて、テーブルデータがクリアされます。

      • テーブルに対してDDL操作が実行されます。たとえば、CREATE TABLE操作を実行してテーブルを作成するか、ALTER TABLE操作を実行してテーブルスキーマを変更します。テーブル属性を変更するために使用されるCALL SET_TABLE_PROPERTY操作は、ANALYZE操作をトリガーしません。

    • システムは、10分間隔で内部テーブルのデータ変更をチェックします。前回のチェック結果と比較してデータエントリの 10% 以上が変更された場合、バックエンドでこのテーブルに対してANALYZE操作が実行されます。

      説明

      これにより、Realtime Compute for Apache Flink、Data Integration、Holo Clientなどを使用してリアルタイムでデータ書き込みを行うことによって発生する暗黙的なDML操作によるデータ変更が省略されるのを防ぎます。

  • 外部テーブル

    システムは、4 時間間隔で外部テーブルのデータ変更とメタデータ変更をチェックします。次の条件が満たされると、システムは ANALYZE 操作を実行してテーブルに関する統計を収集します。

    マッピングされた外部テーブル（MaxCompute テーブルや DLF テーブルなど）のデータは、前回のチェックが完了してから 4 時間以内に変更されます。 last_modify_time パラメーターで指定された時刻が前回のチェックが完了した時刻よりも後の場合、この条件が満たされます。

  説明

  チェックとその対応するANALYZE操作は、同じスケジューリングタスクにあります。チェックは、前のANALYZE操作が完了し、スケジューリングタスクで指定された2つの連続するチェックの間隔が経過した場合にのみ開始できます。

• 自動分析機能のパラメーターを設定する

  自動分析機能を有効にすると、Hologresはテーブルを定期的にチェックして、テーブルに対してANALYZE操作を実行するかどうかを判断します。ANALYZE操作が実行されると、データがサンプリングされ、統計情報が収集されます。これにより、Hologresインスタンスのリソースが消費されます。

  デフォルト設定は、特定のビジネスシナリオには適用されない場合があります。たとえば、Hologresインスタンスにデータが頻繁に書き込まれない場合は、自動分析機能のデフォルト設定を変更することで、自動ANALYZE操作の頻度を減らすことができます。ビジネス要件に基づいて、自動分析機能のデフォルト設定を変更できます。これにより、機能のパフォーマンスをきめ細かく最適化できます。

  説明

  スーパーユーザーとしてデフォルト設定を変更できます。この機能を有効にする場合は、データベースレベルで必要なパラメーターを設定する必要があります。設定は 1 分後に有効になります。

  • 構文

    -- スーパーユーザーとして自動分析機能のデフォルト設定を変更します。
    ALTER DATABASE <dbname> SET <GUC>=<values>;

    dbname パラメーターはデータベースの名前を指定し、GUC パラメーターはパラメーターの名前を指定し、values パラメーターは GUC パラメーターの値を指定します。

  • パラメーター

    パラメーター	説明	サポートされているバージョン	デフォルト値	例
    autovacuum_naptime	テーブルに対する操作の2つの連続するチェックの間隔。単位: 秒。	Hologres V1.1.0以降 説明 設定を変更するには、Hologres DingTalk グループ（ID 32314975）のテクニカルサポートにお問い合わせください。	60秒	ALTER DATABASE <dbname> SET autovacuum_naptime = 60; ALTER DATABASE <dbname> SET autovacuum_naptime = '60s'; ALTER DATABASE <dbname> SET autovacuum_naptime = '10min';
    hg_auto_check_table_changes_interval	内部テーブルのデータ変更の2つの連続するチェックの間隔。単位: 秒。	Hologres V1.1.0以降	600 秒（10 分）	-- Hologres V1.1 以降の構文 ALTER DATABASE <dbname> SET hg_auto_check_table_changes_interval = '600s'; -- Hologres V0.10 の構文 ALTER DATABASE <dbname> SET hg_experimental_auto_check_table_changes_interval = '600s';
    hg_auto_check_foreign_table_changes_interval	外部テーブルのデータ変更の2つの連続するチェックの間隔。単位: 秒。	Hologres V1.1.0以降	14400 秒（4 時間）	-- Hologres V1.1 以降の構文 ALTER DATABASE <dbname> SET hg_auto_check_foreign_table_changes_interval = '14400s'; -- Hologres V0.10 の構文 ALTER DATABASE <dbname> SET hg_experimental_auto_check_foreign_table_changes_interval = '14400s';
    hg_experimental_auto_analyze_max_columns_count	一度に統計情報が自動的に収集される列の最大数。	Hologres V1.1.0以降	256	ALTER DATABASE <dbname> SET hg_experimental_auto_analyze_max_columns_count =300;
    auto_analyze_work_memory_mb	単一テーブルの自動分析機能で占有できるメモリの最大サイズ。単位: MB。	Hologres V1.1.54以降	デフォルトでは、各ワーカーに 4,096 MB（4 GB）のメモリが割り当てられます。 Hologres インスタンスにより高度なインスタンスタイプを選択すると、より多くのワーカーを使用できるようになり、自動分析機能でより多くのメモリリソースを消費できます。	テーブルの自動分析機能で占有できるメモリサイズの上限を 9 GB に変更します。 ALTER DATABASE <dbname> SET auto_analyze_work_memory_mb =9216;
    hg_experimental_auto_analyze_start_time	毎日 ANALYZE 操作が開始される時刻。 説明 このパラメーターで指定された時刻は、end_time パラメーターで指定された時刻と同じタイムゾーンである必要があります。 開始時刻は、終了時刻以前である必要があります。	Hologres V1.1.54以降	00:00 +0800	ANALYZE 操作が 00:00 から 06:00 の間に実行されるように指定します。日中は、内部テーブルと外部テーブルのデータは変更されず、ANALYZE 操作は必要ありません。 ALTER DATABASE <dbname> SET hg_experimental_auto_analyze_start_time = '00:00 +0800'; ALTER DATABASE <dbname> SET hg_experimental_auto_analyze_end_time = '06:00 +0800';
    hg_experimental_auto_analyze_end_time	毎日 ANALYZE 操作が終了する時刻。	Hologres V1.1.54以降	23:59 +0800
    autovacuum_enabled	自動分析機能を有効にするかどうかを指定します。	Hologres V1.1.54以降	true。これは、データベース内のすべてのテーブルに対してこの機能を有効にすることを意味します。	テーブルの自動分析機能を無効にします。 ANALYZE 操作はこのテーブルでは実行されません。 説明 次の文のみを使用して、Hologres 内部テーブルの自動分析機能を無効にできます。 ALTER TABLE <tablename> SET (autovacuum_enabled = false);

テーブル統計情報のクエリ

SELECT schema_name,                -- テーブルのスキーマ。
       table_name,                 -- テーブルの名前。
       schema_version,             -- テーブルのバージョン。
       statistic_version,          -- 最後の ANALYZE 操作で使用された統計のバージョン。
       total_rows,                 -- 最後の ANALYZE 操作に含まれる行数。
       analyze_timestamp           -- 最後の ANALYZE 操作が終了した時刻。
FROM   hologres_statistic.hg_table_statistic
WHERE  table_name = '<tablename>'
ORDER BY analyze_timestamp DESC;

統計情報が収集されていないテーブルを表示する

HG_STATS_MISSING ビューから、データベース内の統計情報が収集されていないテーブルを表示できます。詳細については、「HG_STATS_MISSING ビュー」をご参照ください。

FAQ