Hologres:Query Queue

Buat query queue

• Sintaks

  • General-purpose

    CALL hg_create_query_queue (query_queue_name, max_concurrency, max_queue_size);

  • Virtual Warehouse

    CALL hg_create_query_queue (warehouse_name, query_queue_name, max_concurrency, max_queue_size);

• Parameter

  • warehouse_name: Opsional. Nama virtual warehouse. Jika parameter ini dihilangkan, query queue dibuat di virtual warehouse koneksi saat ini secara default.

    Catatan

    Parameter ini hanya wajib untuk Virtual Warehouse.

  • query_queue_name: Wajib. Nama query queue. Nama harus unik dalam instans atau virtual warehouse saat ini.

  • max_concurrency: Opsional. Konkurensi maksimum. Nilai default -1 menunjukkan tidak ada batas konkurensi. Nilai harus berada dalam rentang [-1, 2147483647).

  • max_queue_size: Opsional. Jumlah maksimum kueri SQL yang dapat diantrekan. Nilai default -1 menunjukkan ukuran antrian tidak terbatas. Nilai harus berada dalam rentang [-1, 2147483647).

  Catatan

  Saat membuat query queue, Anda hanya dapat mengonfigurasi properti max_concurrency dan max_queue_size. Untuk informasi tentang cara mengonfigurasi properti lainnya, lihat Konfigurasi properti query queue.

• Contoh

  • General-purpose

    -- Buat query queue bernama insert_queue dan atur konkurensi maksimum menjadi 10. Parameter konkurensi tidak memerlukan tanda kutip tunggal.
    CALL hg_create_query_queue ('insert_queue', 10);

  • Virtual Warehouse

    -- Di virtual warehouse init_warehouse, buat query queue bernama insert_queue dan atur konkurensi maksimum menjadi 10.
    CALL hg_create_query_queue ('init_warehouse', 'insert_queue', 10);

Buat classifier

• Sintaks

  • General-purpose

    CALL hg_create_classifier (query_queue_name, classifier_name, priority);

  • Virtual Warehouse

    CALL hg_create_classifier (warehouse_name, query_queue_name, classifier_name, priority);

• Parameter

  • warehouse_name: Opsional. Nama virtual warehouse. Jika parameter ini dihilangkan, virtual warehouse koneksi saat ini digunakan secara default.

    Catatan

    Parameter ini hanya wajib untuk Virtual Warehouse.

  • query_queue_name: Wajib. Nama query queue tempat classifier tersebut berada.

  • classifier_name: Wajib. Nama classifier. Nama harus unik dalam instans atau virtual warehouse saat ini.

  • priority: Opsional. Prioritas pencocokan classifier. Nilai yang lebih besar menunjukkan prioritas lebih tinggi. Nilai default adalah 50. Nilai harus berada dalam rentang [1, 100]. Jika tidak ditentukan saat pembuatan, Anda dapat mengonfigurasinya nanti dengan mengikuti petunjuk di Konfigurasi properti classifier.

    Catatan

    • Classifier dengan prioritas lebih tinggi dicocokkan terlebih dahulu.

    • Jika beberapa classifier memiliki prioritas yang sama, mereka dicocokkan berdasarkan urutan leksikografis nama query queue dan classifier-nya. Nama yang muncul lebih awal dalam urutan tersebut dicocokkan terlebih dahulu. Misalnya, queue_a(classifier_1) memiliki prioritas lebih tinggi daripada queue_b(classifier_1).

• Contoh

  • General-purpose

    -- Di query queue insert_queue, buat classifier bernama classifier_insert dengan prioritas pencocokan 20. Parameter prioritas tidak memerlukan tanda kutip tunggal.
    CALL hg_create_classifier ('insert_queue', 'classifier_insert', 20);

  • Virtual Warehouse

    -- Di query queue insert_queue virtual warehouse init_warehouse, buat classifier bernama classifier_insert dengan prioritas pencocokan 20.
    CALL hg_create_classifier ('init_warehouse', 'insert_queue', 'classifier_insert', 20);

Konfigurasi aturan pencocokan classifier

Anda dapat mengonfigurasi aturan pencocokan untuk classifier guna mengarahkan kueri SQL ke query queue tertentu.

• Sintaks

  • General-purpose

    CALL hg_set_classifier_rule_condition_value (query_queue_name, classifier_name, condition_name, condition_value);

  • Virtual Warehouse

    CALL hg_set_classifier_rule_condition_value (warehouse_name, query_queue_name, classifier_name, condition_name, condition_value);

• Parameter

  Parameter	Deskripsi
  warehouse_name	Opsional. Nama virtual warehouse. Jika parameter ini dihilangkan, virtual warehouse koneksi saat ini digunakan secara default. Catatan Parameter ini hanya wajib untuk Virtual Warehouse.
  query_queue_name	Wajib. Nama query queue.
  classifier_name	Wajib. Nama classifier yang akan dikonfigurasi.
  condition_name dan condition_value	Wajib. Properti kondisi. Properti berikut didukung: user_name: UID akun saat ini. command_tag: Jenis permintaan. Nilai yang valid: INSERT, SELECT, UPDATE, dan DELETE. Untuk efisiensi eksekusi, Hologres mengimplementasikan operasi COPY sebagai operasi INSERT. Oleh karena itu, membatasi konkurensi INSERT juga membatasi konkurensi penulisan COPY. db_name: Nama database. engine_type: Mesin yang digunakan oleh permintaan. Nilai yang valid: HQE, PQE, SQE, dan HiveQE. Kami merekomendasikan Anda menggunakan properti ini untuk Hologres V3.1.18 dan versi yang lebih baru. digest: Sidik jari SQL. Untuk informasi selengkapnya, lihat Sidik jari SQL. application_name: Aplikasi yang memulai kueri. Properti ini didukung di Hologres V3.0.9 dan versi yang lebih baru. storage_mode: Mode penyimpanan. Nilai yang valid: hot, cold. Kami merekomendasikan Anda menggunakan properti ini untuk Hologres V3.1.18 atau V3.1.8 dan versi yang lebih baru. write_table: Tabel tempat kueri menulis data. Formatnya adalah <db_name>.<schema_name>.<table_name>. Properti ini didukung di Hologres V3.1 dan versi yang lebih baru. read_table: Tabel tempat kueri membaca data. Properti ini didukung di Hologres V3.1 dan versi yang lebih baru.

  Anda dapat menetapkan beberapa properti dalam satu classifier, dan setiap properti dapat memiliki beberapa aturan pencocokan. Mulai dari Hologres V3.1.18, hubungan logis antar properti dan aturan adalah sebagai berikut:

  • Jika classifier memiliki aturan pencocokan untuk beberapa properti:

    • Logika AND berlaku antar properti yang berbeda. Misalnya, jika classifier memiliki aturan untuk properti user_name dan command_tag, kueri harus memenuhi kedua aturan tersebut agar diarahkan ke classifier ini.

    • Untuk membuat hubungan OR antar properti, gunakan beberapa classifier yang ditugaskan ke query queue yang sama. Kueri akan cocok jika memenuhi aturan salah satu classifier tersebut.

  • Dalam satu classifier, terdapat tiga jenis logika pencocokan untuk aturan yang ditetapkan pada properti yang sama:

    • Untuk user_name, command_tag, db_name, digest, dan application_name:

      • Kumpulan nilai yang dikonfigurasi dalam aturan pencocokan untuk suatu properti adalah set_a.

      • Nilai properti yang sesuai dalam kueri adalah himpunan elemen tunggal, set_b.

      • Kueri cocok dengan aturan jika set_b merupakan subset dari set_a (set_b ⊆ set_a).

    • Untuk storage_mode:

      • Kumpulan nilai yang dikonfigurasi dalam aturan pencocokan untuk properti storage_mode adalah set_a.

      • Nilai properti yang sesuai dalam kueri membentuk himpunan, set_b, yang dapat berupa {hot}, {cold}, atau {hot, cold}.

      • Kueri cocok dengan aturan hanya jika set_a persis sama dengan set_b (set_a == set_b).

    • Untuk engine_type, write_table, dan read_table:

      • Kumpulan nilai yang dikonfigurasi dalam aturan pencocokan untuk suatu properti adalah set_a.

      • Nilai properti yang sesuai dalam kueri membentuk himpunan, set_b. Tidak ada batasan jumlah elemen dalam himpunan ini.

      • Kueri cocok dengan aturan jika irisan set_a dan set_b tidak kosong ((set_a ∩ set_b) != ∅).

  Catatan

  • Konfigurasikan satu properti kondisi per pemanggilan. Jika nilai kondisi bersifat case-sensitive, sertakan dalam tanda kutip ganda ("").

  • Untuk mencocokkan beberapa nilai untuk kondisi yang sama, panggil fungsi tersebut beberapa kali. Misalnya, untuk mencocokkan permintaan SELECT dan INSERT, Anda harus mengeksekusi dua pernyataan SQL terpisah.

• Contoh

  Contoh berikut menggunakan instans virtual warehouse. Untuk instans tujuan umum, hilangkan parameter pertama, warehouse_name. Pertama, buat query queue bernama test_queue untuk virtual warehouse default init_warehouse:

  CALL hg_create_query_queue ('init_warehouse', 'test_queue');

  • Contoh 1: Arahkan kueri ke query queue test_queue jika kueri diajukan oleh pengguna p4_123 atau p4_456, ATAU jika sidik jarinya adalah xxx atau yyy.

    -- Hubungan OR antara properti `user_name` dan `digest` memerlukan dua classifier terpisah.
    
    -- Buat classifier bernama classifier_user dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_user');
    -- Tetapkan aturan pencocokan berdasarkan properti user_name. Kueri dari pengguna "p4_123" atau "p4_456" cocok dengan classifier ini.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_user', 'user_name', 'p4_123');
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_user', 'user_name', 'p4_456');
    
    -- Buat classifier bernama classifier_digest dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_digest');
    -- Tetapkan aturan pencocokan berdasarkan properti sidik jari SQL. Kueri dengan sidik jari SQL "xxx" atau "yyy" cocok dengan classifier ini.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_digest', 'digest', 'xxx');
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_digest', 'digest', 'yyy');

  • Contoh 2: Arahkan kueri ke query queue test_queue jika kueri diprakarsai oleh aplikasi xx_bi DAN mengakses penyimpanan dingin maupun panas.

    -- Hubungan AND antara properti `application_name` dan `storage_mode` dicapai dengan mendefinisikan kedua properti dalam classifier yang sama.
    
    -- Buat classifier bernama classifier_3 dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_3');
    -- Tetapkan aturan pencocokan berdasarkan properti application_name.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_3', 'application_name', 'xx_bi');
    -- Tetapkan aturan pencocokan berdasarkan properti mode penyimpanan. Dengan menetapkan "hot" dan "cold", Anda memastikan bahwa kueri harus mengakses penyimpanan panas dan dingin agar cocok dengan aturan ini.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_3', 'storage_mode', 'hot');
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_3', 'storage_mode', 'cold');

  • Contoh 3: Arahkan semua kueri yang mengakses penyimpanan dingin ke query queue test_queue.

    -- Karena properti `storage_mode` memerlukan kecocokan eksak, Anda harus menggunakan dua classifier untuk mengarahkan semua kueri yang mengakses penyimpanan dingin. Kueri diarahkan jika cocok dengan salah satu classifier tersebut.
    
    -- Buat classifier bernama classifier_cold_1 dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_cold_1');
    -- Kueri dengan storage_mode hanya 'cold' masuk ke antrian ini.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_cold_1', 'storage_mode', 'cold');
    
    -- Buat classifier bernama classifier_cold_2 dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_cold_2');
    -- Kueri dengan storage_mode mencakup 'hot' dan 'cold' masuk ke antrian ini.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_cold_2', 'storage_mode', 'hot');
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_cold_2', 'storage_mode', 'cold');

  • Contoh 4: Arahkan semua kueri yang membaca dari tabel a DAN menulis ke tabel b ke query queue test_queue.

    -- Hubungan AND antara properti `read_table` dan `write_table` dicapai dengan mendefinisikan aturan untuk kedua properti dalam classifier yang sama.
    
    -- Buat classifier bernama classifier_table dan tambahkan ke query queue test_queue.
    CALL hg_create_classifier ('init_warehouse', 'test_queue', 'classifier_table');
    -- Tetapkan aturan pencocokan untuk properti read_table. Kueri cocok dengan aturan ini jika membaca dari tabel 'a', meskipun juga membaca dari tabel lain.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_table', 'read_table', 'db_name.schema_name.a');
    -- Tetapkan aturan pencocokan untuk properti write_table. Kueri cocok dengan aturan ini jika menulis ke tabel 'b'.
    CALL hg_set_classifier_rule_condition_value ('init_warehouse','test_queue', 'classifier_table', 'write_table', 'db_name.schema_name.b');

Operasi tambahan

Eksekusi kueri menggunakan Serverless Computing

Mulai dari Hologres V3.0.10, Anda dapat menentukan bahwa semua kueri dalam query queue dijalankan menggunakan resource Serverless Computing. Setelah dikonfigurasi, kueri dalam antrian tersebut dijalankan menggunakan resource Serverless berdasarkan urutan permintaan dan prioritas yang dikonfigurasi. Kueri tersebut tidak lagi dipengaruhi oleh pengaturan konkurensi atau mekanisme antrian query queue. Untuk informasi selengkapnya, lihat Panduan Pengguna Serverless Computing.

• Untuk instans tujuan umum

  • Sintaks

    -- Tentukan bahwa semua kueri dalam antrian target dijalankan pada resource Serverless.
    CALL hg_set_query_queue_property('<query_queue_name>', 'computing_resource', 'serverless');
    
    -- (Opsional) Atur prioritas untuk kueri dalam antrian target saat menggunakan resource Serverless. Nilai yang valid adalah 1 hingga 5. Nilai default adalah 3.
    CALL hg_set_query_queue_property('<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

  • Parameter

    • query_queue_name: Wajib. Nama query queue.

    • priority: Prioritas. Nilai harus berada dalam rentang [1, 5], dan nilai default adalah 3.

  • Contoh

    -- Tentukan bahwa semua kueri dalam antrian target dijalankan pada resource Serverless.
    CALL hg_set_query_queue_property('insert_queue', 'computing_resource', 'serverless');
    
    -- Atur prioritas menjadi 2 untuk kueri dalam antrian target saat menggunakan resource Serverless.
    CALL hg_set_query_queue_property('insert_queue', 'query_priority_when_using_serverless_computing', '2');

• Untuk instans virtual warehouse

  • Sintaks

    -- Tentukan bahwa semua kueri dalam antrian target dijalankan pada resource Serverless.
    CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'computing_resource', 'serverless');
    
    -- (Opsional) Atur prioritas untuk kueri dalam antrian target saat menggunakan resource Serverless. Nilai yang valid adalah 1 hingga 5. Nilai default adalah 3.
    CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

  • Parameter

    • warehouse_name: Wajib. Nama virtual warehouse.

    • query_queue_name: Wajib. Nama query queue.

    • priority: Wajib. Prioritas. Nilai harus berada dalam rentang [1, 5], dan nilai default adalah 3.

  • Contoh

    -- Tentukan bahwa semua kueri dalam antrian target dijalankan pada resource Serverless.
    CALL hg_set_query_queue_property('init_warehouse', 'insert_queue', 'computing_resource', 'serverless');
    
    -- Atur prioritas menjadi 2 untuk kueri dalam antrian target saat menggunakan resource Serverless.
    CALL hg_set_query_queue_property('init_warehouse', 'insert_queue', 'query_priority_when_using_serverless_computing', '2');

Lihat query queue untuk SQL tertentu

Jalankan pernyataan EXPLAIN untuk melihat query queue mana yang digunakan oleh kueri SQL tertentu. Field Query Queue dalam output menunjukkan antrian dan classifier yang ditetapkan. Contohnya:

-- Buat query queue dengan konkurensi 10 dan ukuran antrian maksimum 20.
CALL hg_create_query_queue ('select_queue', 10, 20);
-- Buat classifier dan tambahkan aturan untuk properti command_tag.
CALL hg_create_classifier ('select_queue', 'classifier_1');
CALL hg_set_classifier_rule_condition_value ('select_queue', 'classifier_1', 'command_tag', 'select');

-- Gunakan EXPLAIN ANALYZE untuk melihat classifier dan query queue yang cocok.
EXPLAIN ANALYZE SELECT * FROM hg_stat_activity;

Outputnya sebagai berikut:

QUERY PLAN
Gather  (cost=0.00..14.96 rows=1000 width=408)
[4:1 id=100003 dop=1 time=16/16/16ms rows=142(142/142/142) mem=43/43/43KB open=0/0/0ms get_next=16/16/16ms]
  ->  Forward  (cost=0.00..12.19 rows=1000 width=408)
      [0:4 id=100002 dop=4 time=16/8/5ms rows=142(39/35/33) mem=6/6/6KB open=16/8/5ms get_next=0/0/0ms scan_rows=142(39/35/33)]
        ->  ExecuteExternalSQL on PQE  (cost=0.00..10.04 rows=0 width=408)
"              External SQL: SELECT "datid" AS c_d2adb610_0, "datname" AS c_d2adb760_1, "pid" AS c_d2adb8a0_2, "usesysid" AS c_d2adba10_3, "usename" AS c_d2adbb60_4, "application_name" AS c_d2adbd10_5, "client_addr" AS c_d2adbe80_6, "client_hostname" AS c_d2df1020_7, "client_port" AS c_d2df1190_8, "backend_start" AS c_d2df1300_9, "xact_start" AS c_d2df1470_10, "query_start" AS c_d2df15e0_11, "state_change" AS c_d2df1750_12, "wait_event_type" AS c_d2df18c0_13, "wait_event" AS c_d2df1a30_14, "state" AS c_d2df1b80_15, "backend_xid" AS c_d2df1cf0_16, "backend_xmin" AS c_d2df1e60_17, "query" AS c_d2df1fb0_18, "backend_type" AS c_d2df2120_19, "query_id" AS c_d2df2290_20, "transaction_id" AS c_d2df2400_21, "extend_info" AS c_d2df2570_22, "running_info" AS c_d2df26e0_23 FROM pg_catalog."hg_stat_activity""
Query id:[1001002491453065719]
Query Queue: init_warehouse.select_queue.classifier_1

Lihat query queue untuk kueri aktif

Jalankan pernyataan SQL berikut untuk melihat detail kueri aktif, termasuk nama query queue yang ditetapkan, status saat ini, dan waktu antrian.

SELECT
    running_info::json -> 'current_stage' ->> 'stage_name' AS stage_name,
    running_info::json -> 'current_stage' ->> 'queue_time_ms' AS queue_time_ms,
    running_info::json ->> 'query_queue' AS query_queue,
    *
FROM
    hg_stat_activity;

Lihat query queue dari log kueri

Jalankan pernyataan SQL berikut untuk melihat query queue, status, dan waktu antrian untuk kueri historis dari log kueri. Field query_detail mencatat query queue yang digunakan. Untuk informasi selengkapnya tentang tabel sistem hologres.hg_query_log, lihat Tabel hg_query_log.

SELECT * FROM hologres.hg_query_log WHERE query_detail like '%query_queue = <warehouse_name>.<queue_name>%';-- Parameter warehouse_name hanya wajib untuk instans berbasis virtual warehouse.

Buat query queue dengan aturan pencocokan berbeda

• Contoh 1: Buat query queue untuk jenis permintaan tertentu, seperti INSERT.

  Setelah antrian ini dibuat, classifier classifier_1 mencocokkan semua permintaan INSERT dan mengarahkannya ke query queue insert_queue.

  -- Buat query queue dengan konkurensi 10 dan ukuran antrian maksimum 20.
  CALL hg_create_query_queue ('insert_queue', 10, 20);
  
  -- Buat classifier dan tambahkan aturan untuk properti command_tag.
  CALL hg_create_classifier ('insert_queue', 'classifier_1');
  CALL hg_set_classifier_rule_condition_value ('insert_queue', 'classifier_1', 'command_tag', 'INSERT');

• Contoh 2: Buat query queue untuk pengguna tertentu, seperti p4_123 dan p4_345.

  Setelah antrian dibuat, classifier classifier_2 mengarahkan permintaan SQL dari pengguna p4_123 dan p4_345 ke query queue user_queue.

  -- Buat query queue dengan konkurensi 3 dan ukuran antrian maksimum tidak terbatas.
  CALL hg_create_query_queue ('user_queue', 3);
  CALL hg_set_query_queue_property('user_queue','max_queue_size', -1);
  -- Buat classifier dan atur aturan pencocokan user_name.
  CALL hg_create_classifier ('user_queue', 'classifier_2');
  CALL hg_set_classifier_rule_condition_value ('user_queue', 'classifier_2', 'user_name', 'p4_123');
  CALL hg_set_classifier_rule_condition_value ('user_queue', 'classifier_2', 'user_name', 'p4_345');

  Catatan

  Jika Anda menentukan akun pengguna kustom, sertakan namanya dalam tanda kutip ganda (""). Misalnya, CALL hg_set_classifier_rule_condition_value ('user_queue', 'classifier_2', 'user_name', '"BASIC$xxx"');.

• Contoh 3: Buat query queue untuk database tertentu, seperti test dan postgres.

  Setelah antrian dibuat, classifier classifier_3 mengarahkan permintaan SQL untuk database test dan postgres ke query queue db_queue.

  -- Buat query queue dengan konkurensi 5.
  CALL hg_create_query_queue ('db_queue', 5);
  
  -- Atur waktu antrian maksimum menjadi 600.000 ms. Jika kueri menunggu lebih lama dari waktu ini, error akan dilaporkan.
  CALL hg_set_query_queue_property ('db_queue', 'queue_timeout_ms', '600000');
  
  -- Buat classifier dan tambahkan aturan untuk properti db_name.
  CALL hg_create_classifier ('db_queue', 'classifier_3');
  CALL hg_set_classifier_rule_condition_value ('db_queue', 'classifier_3', 'db_name', 'test');
  CALL hg_set_classifier_rule_condition_value ('db_queue', 'classifier_3', 'db_name', 'postgres');

• Contoh 4: Buat query queue untuk jenis mesin tertentu, seperti HQE.

  Setelah antrian dibuat, classifier classifier_4 mengarahkan permintaan SQL terkait mesin HQE ke query queue hqe_queue.

  -- Buat query queue dengan konkurensi 10.
  CALL hg_create_query_queue ('hqe_queue', 10);
  
  -- Buat classifier dan tambahkan aturan untuk properti engine_type.
  CALL hg_create_classifier ('hqe_queue', 'classifier_4');
  CALL hg_set_classifier_rule_condition_value ('hqe_queue', 'classifier_4', 'engine_type', 'HQE');

Blokir semua permintaan dalam antrian

Untuk memblokir semua permintaan dalam antrian, atur konkurensi dan ukuran antrian maksimumnya menjadi 0. Contohnya:

CALL hg_set_query_queue_property ('insert_queue', 'max_concurrency', '0');
CALL hg_set_query_queue_property ('insert_queue', 'max_queue_size', '0');