Hologres:Hologres 動的テーブル更新タスクの運用管理

モニタリングメトリック

Hologres V4.0.8 以降では、動的テーブルの更新タスクを管理するため、以下のモニタリングメトリックが提供されています。

アラート

Cloud Monitor で動的テーブル更新タスクのアラートルールを設定し、異常を迅速に検出できます。詳細については、「Cloud Monitor」をご参照ください。

実行中の更新タスクの確認

hologres.hg_dynamic_table_refresh_activity を使用した確認

hologres.hg_dynamic_table_refresh_activity システムテーブルを使用して、実行中の更新タスク（フル更新および増分更新を含む）とそのリソース消費量を確認できます。hologres.hg_dynamic_table_refresh_activity システムテーブルのフィールドの詳細については、「hologres.hg_dynamic_table_refresh_activity システムテーブル」をご参照ください。

-- 現在実行中の更新タスクを表示
SELECT
    pid,
    query_id,
    refresh_mode,
    'RUNNING' as status,
    refresh_start,
    extract(epoch from duration) as duration, -- milliseconds
    serverless_queue_time_ms::bigint / 1000 AS serverless_queue_time_sec,
    serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_sec,
    serverless_allocated_cores
FROM
    hologres.hg_dynamic_table_refresh_activity
WHERE datname = '${database}'
  AND table_write = quote_ident('${schema}') || '.' || quote_ident('${tableName}')
ORDER BY refresh_start DESC
limit 2000;

hg_stat_activity を使用した確認

hg_stat_activity システムビューを使用して、実行中の更新タスクを確認できます。hg_stat_activity に表示される内容は、更新モードによって異なります。

• フル更新：`INSERT` 文が表示されます。

• 増分更新：`Refresh` タスクが表示されます。

モニタリングメトリックを使用した更新タスクの確認

QPS、1 秒あたりのレコード数（RPS）、遅延などのメトリックを確認して、動的テーブル更新タスクの実行状況を把握できます。`Command Type` が `refresh` の場合、動的テーブル更新タスクを示します。モニタリングメトリックの詳細については、「Hologres コンソールのモニタリングメトリック」をご参照ください。

動的テーブル更新タスクがサーバーレスコンピューティングリソース上で実行されている場合、関連するサーバーレスコンピューティングメトリックからもそのステータスを確認できます。

過去の更新タスクの確認

hologres.hg_dynamic_table_refresh_history を使用した確認

hologres.hg_dynamic_table_refresh_history システムテーブルには、過去 1 か月間のすべての動的テーブル更新タスク（フル更新、増分更新、手動更新を含む）の履歴が記録されます。hologres.hg_dynamic_table_refresh_history システムテーブルのフィールドの詳細については、「hologres.hg_dynamic_table_refresh_history システムテーブル」をご参照ください。

• 例 1：過去 1 日間の増分更新レコードを表示します。

  -- 例 1: 過去 1 日間の増分更新レコードを表示
  SELECT
      query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM
      hologres.hg_dynamic_table_refresh_history
  WHERE
      refresh_start >= CURRENT_DATE - INTERVAL '1 day'
      AND dynamic_table_name = '<dynamic_table>'
      AND refresh_mode = 'incremental'
  ORDER BY
      refresh_start DESC
  limit 100;
  

• 例 2：過去 1 日間の現在のインスタンス内のすべての更新タスクを表示します。

  -- 過去 1 日間のインスタンス内のすべての更新レコードを表示
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where refresh_start >= CURRENT_DATE - INTERVAL '1 day'

• 例 3：過去 1 日間の特定のテーブルの更新レコードを表示します。

  -- 過去 1 日間の特定のテーブルの更新レコードを表示
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
       serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where schema_name='<scehma_name>' and dynamic_table_name='<dynamic_table>' and  refresh_start >= CURRENT_DATE - INTERVAL '1 day'

-- cron_job_name を取得
SELECT property_value AS cron_job_name
FROM hologres.hg_dynamic_table_properties
WHERE dynamic_table_name = '<dt_name>' AND property_key = 'cron_job_name';

-- cron_job_name で Cron タスク実行レコードをクエリ
SELECT *
FROM hologres.hg_user_cron_tasks
WHERE jobname = '<cron_job_name>'
ORDER BY start_time DESC;

スロークエリログを使用した確認

スロークエリログからも動的テーブル更新タスクを確認できます。`Command Type` は `refresh` です。スロークエリログの確認方法の詳細については、「スロークエリログの確認と分析」をご参照ください。

テーブルレベルの設定

動的テーブルを作成する際に、そのテーブルのすべての更新タスクに適用される更新タスクのタイムアウト期間を設定できます。以下の SQL コードは、tpch_10g 公開データセットを例として使用しています。コードを実行する前に、tpch_10g 公開データセットを正常にインポート済みであることを確認してください。詳細については、「公開データセットのインポートタスクの作成」をご参照ください。

-- テーブル作成時に更新タスクのタイムアウト期間を設定
CREATE DYNAMIC TABLE tpch_q1_batch
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_interval='1 hours',
    refresh_guc_statement_timeout='30 mins'-- 更新タイムアウト期間は 30 分
       ) 
AS
  SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        hologres_dataset_tpch_10.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

セッションレベルの設定

手動更新を実行する際に、セッションレベルの Grand Unified Configuration（GUC）パラメーターを使用してタイムアウト期間を設定できます。以下の SQL 文がその例です。

SET statement_timeout = <time>;
refresh DYNAMIC TABLE <dynamic_schema_name.dynamic_table_name>;

設定の詳細については、「アクティブクエリのタイムアウト期間の変更」をご参照ください。

refresh with option を使用した設定

手動更新を実行する際に、refresh ... with (refresh_guc_statement_timeout = '...') を使用して、現在の更新のタイムアウト期間を指定することもできます。以下に例を示します。

REFRESH DYNAMIC TABLE <schema_name.table_name> WITH (
    refresh_guc_statement_timeout = '30 mins'
);

新しい 3.1 構文で作成された動的テーブル

-- query_job_id を取得
SELECT query_job_id
FROM hologres.hg_dynamic_table_refresh_log('<dt_name>')
WHERE status = 'Running';

-- query_job_id に基づいて更新タスクをキャンセル
SELECT hologres.hg_internal_cancel_query_job('<query_job_id>');

ALTER DYNAMIC TABLE [ IF EXISTS ] [<schema>.]<table_name> SET (auto_refresh_enable=false);

3.0 構文で作成された動的テーブル

-- pid は更新タスク ID です。更新タスクを確認することで query_id を取得できます。
SELECT pg_cancel_backend(<pid>);

ALTER DYNAMIC TABLE [IF EXISTS ] [<schema>.]<table_name> set (auto_refresh_enable=false);