Hologres:O&M untuk tugas refresh tabel dinamis Hologres

Metrik pemantauan

Mulai dari Hologres V4.0.8, tabel dinamis menyediakan metrik pemantauan berikut untuk membantu Anda mengelola tugas refresh:

Peringatan

Anda dapat mengonfigurasi aturan peringatan untuk tugas refresh tabel dinamis di Cloud Monitor guna mendeteksi anomali secara cepat. Untuk informasi selengkapnya, lihat Cloud Monitor.

Lihat tugas refresh yang sedang berjalan

Lihat menggunakan hologres.hg_dynamic_table_refresh_activity

Anda dapat menggunakan tabel sistem hologres.hg_dynamic_table_refresh_activity untuk melihat tugas refresh yang sedang berjalan—termasuk refresh penuh dan bertahap—serta konsumsi sumber dayanya. Untuk informasi lebih lanjut tentang bidang-bidang dalam tabel sistem hologres.hg_dynamic_table_refresh_activity, lihat tabel sistem hologres.hg_dynamic_table_refresh_activity.

-- Lihat tugas refresh yang sedang berjalan
SELECT
    pid,
    query_id,
    refresh_mode,
    'RUNNING' as status,
    refresh_start,
    extract(epoch from duration) as duration, -- milidetik
    serverless_queue_time_ms::bigint / 1000 AS serverless_queue_time_sec,
    serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_sec,
    serverless_allocated_cores
FROM
    hologres.hg_dynamic_table_refresh_activity
WHERE datname = '${database}'
  AND table_write = quote_ident('${schema}') || '.' || quote_ident('${tableName}')
ORDER BY refresh_start DESC
limit 2000;

Lihat menggunakan hg_stat_activity

Anda dapat menggunakan tampilan sistem hg_stat_activity untuk melihat tugas refresh yang sedang berjalan. Tampilannya berbeda tergantung pada mode refresh di hg_stat_activity:

• Refresh penuh: Muncul pernyataan `INSERT`.

• Refresh bertahap: Muncul tugas `Refresh`.

Lihat tugas refresh menggunakan metrik pemantauan

Anda dapat memeriksa metrik seperti QPS, catatan per detik (RPS), dan latensi untuk memastikan status eksekusi tugas refresh tabel dinamis. Jenis `Command Type` bernilai `refresh` menunjukkan tugas refresh tabel dinamis. Untuk informasi selengkapnya tentang metrik pemantauan, lihat metrik pemantauan konsol Hologres.

Jika tugas refresh tabel dinamis dijalankan pada sumber daya Serverless Computing, Anda juga dapat melihat statusnya di metrik Serverless Computing terkait.

Lihat riwayat tugas refresh

Lihat menggunakan hologres.hg_dynamic_table_refresh_history

Tabel sistem hologres.hg_dynamic_table_refresh_history mencatat riwayat semua tugas refresh tabel dinamis selama sebulan terakhir, termasuk refresh penuh, bertahap, dan manual. Untuk informasi lebih lanjut tentang bidang-bidang dalam tabel sistem hologres.hg_dynamic_table_refresh_history, lihat tabel sistem hologres.hg_dynamic_table_refresh_history.

• Contoh 1: Lihat catatan refresh bertahap dari hari kemarin.

  -- Contoh 1: Lihat catatan refresh bertahap selama sehari terakhir
  SELECT
      query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM
      hologres.hg_dynamic_table_refresh_history
  WHERE
      refresh_start >= CURRENT_DATE - INTERVAL '1 day'
      AND dynamic_table_name = '<dynamic_table>'
      AND refresh_mode = 'incremental'
  ORDER BY
      refresh_start DESC
  limit 100;
  

• Contoh 2: Lihat semua tugas refresh di instans saat ini dari hari kemarin.

  -- Lihat semua catatan refresh di instans selama sehari terakhir
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where refresh_start >= CURRENT_DATE - INTERVAL '1 day'

• Contoh 3: Lihat catatan refresh untuk tabel tertentu dari hari kemarin.

  -- Lihat catatan refresh untuk tabel tertentu selama sehari terakhir
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
       serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where schema_name='<scehma_name>' and dynamic_table_name='<dynamic_table>' and  refresh_start >= CURRENT_DATE - INTERVAL '1 day'

-- Dapatkan cron_job_name
SELECT property_value AS cron_job_name
FROM hologres.hg_dynamic_table_properties
WHERE dynamic_table_name = '<dt_name>' AND property_key = 'cron_job_name';

-- Kueri catatan eksekusi tugas Cron berdasarkan cron_job_name
SELECT *
FROM hologres.hg_user_cron_tasks
WHERE jobname = '<cron_job_name>'
ORDER BY start_time DESC;

Lihat menggunakan log kueri lambat

Anda dapat melihat tugas refresh tabel dinamis di log kueri lambat. `Command Type`-nya adalah `refresh`. Untuk informasi selengkapnya tentang cara melihat log kueri lambat, lihat Lihat dan analisis log kueri lambat.

Pengaturan tingkat tabel

Saat membuat tabel dinamis, Anda dapat menetapkan durasi timeout tugas refresh yang berlaku untuk semua tugas refresh tabel tersebut. Kode SQL berikut menggunakan dataset publik tpch_10g sebagai contoh. Sebelum menjalankan kode, pastikan Anda telah berhasil mengimpor dataset publik tpch_10g. Untuk informasi selengkapnya, lihat Buat tugas untuk mengimpor dataset publik.

-- Tetapkan durasi timeout tugas refresh saat membuat tabel.
CREATE DYNAMIC TABLE tpch_q1_batch
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_interval='1 hours',
    refresh_guc_statement_timeout='30 mins'-- Durasi timeout refresh adalah 30 menit
       ) 
AS
  SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        hologres_dataset_tpch_10.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

Pengaturan tingkat session

Saat melakukan refresh manual, Anda dapat menetapkan durasi timeout menggunakan parameter Grand Unified Configuration (GUC) tingkat session. Berikut adalah contoh pernyataan SQL:

SET statement_timeout = <time>;
refresh DYNAMIC TABLE <dynamic_schema_name.dynamic_table_name>;

Untuk informasi selengkapnya tentang pengaturan, lihat Ubah durasi timeout untuk kueri aktif.

Tetapkan menggunakan `refresh with option`

Saat melakukan refresh manual, Anda juga dapat menggunakan refresh ... with (refresh_guc_statement_timeout = '...') untuk menentukan durasi timeout untuk refresh saat ini. Berikut adalah contohnya.

REFRESH DYNAMIC TABLE <schema_name.table_name> WITH (
    refresh_guc_statement_timeout = '30 mins'
);

Tabel dinamis yang dibuat dengan sintaks 3.1 baru

-- Dapatkan query_job_id
SELECT query_job_id
FROM hologres.hg_dynamic_table_refresh_log('<dt_name>')
WHERE status = 'Running';

-- Batalkan tugas refresh berdasarkan query_job_id
SELECT hologres.hg_internal_cancel_query_job('<query_job_id>');

ALTER DYNAMIC TABLE [ IF EXISTS ] [<schema>.]<table_name> SET (auto_refresh_enable=false);

Tabel dinamis yang dibuat dengan sintaks 3.0

-- pid adalah ID tugas refresh. Anda dapat memperoleh query_id dengan melihat tugas refresh.
SELECT pg_cancel_backend(<pid>);

ALTER DYNAMIC TABLE [IF EXISTS ] [<schema>.]<table_name> set (auto_refresh_enable=false);