DataWorks:Menggunakan tabel dinamis Hologres

Langkah 1: Menyiapkan data

Sebelum memulai, siapkan tabel sumber di database Hologres Anda. Untuk mengaktifkan pembaruan inkremental, tabel sumber harus memiliki binary logging (binlog) yang diaktifkan. Jalankan pernyataan SQL berikut di node SQL Hologres DataWorks atau klien Hologres apa pun untuk membuat tabel pesanan bernama orders:

-- Membuat tabel sumber dan mengaktifkan Binlog untuk mendukung pembaruan inkremental
CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    user_id INT,
    user_name TEXT,
    price FLOAT,
    order_time TIMESTAMPTZ
) WITH (
    binlog_level = 'replica', -- Kunci: Mengaktifkan Binlog
    binlog_ttl = '86400'      -- Periode retensi Binlog dalam detik, misalnya satu hari
);

-- Memasukkan beberapa data awal
INSERT INTO orders VALUES 
(1, 101, 'Alice', 99.9, NOW()),
(2, 102, 'Bob', 19.5, NOW()),
(3, 101, 'Alice', 25.0, NOW());

Langkah 2: Buka wizard pembuatan tabel dinamis

1. Buka halaman Workspaces di konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang sesuai dan pilih Shortcuts > Data Studio di kolom Actions.

2. Di panel navigasi sebelah kiri, klik ikon untuk membuka modul Data Catalog.

3. Di area Data Catalog, temukan instans Hologres target, buka folder-folder tersebut, klik ikon di sebelah Dynamic Table, lalu buka halaman pembuatan tabel dinamis.

   Catatan

   • Jika Anda menggunakan ruang kerja dalam mode standar, instans Development dan instans Production akan tercantum di bawah Data Catalog Hologres. Buat dan uji tabel dinamis Hologres terlebih dahulu di database development. Setelah Anda memastikan bahwa tabel tersebut berfungsi sesuai harapan, buatlah di lingkungan produksi.

   • Dalam ruang kerja yang menggunakan mode standar, tabel dinamis yang Anda buat di database development tidak disinkronkan secara otomatis ke database production. Untuk melakukan kueri dan menggunakan tabel-tabel tersebut di database production, Anda harus membuat tabel dinamis Hologres yang sama di database production.

Langkah 3: Menentukan logika kueri dan melakukan precompile (langkah kunci)

Setelah membuka halaman pembuatan tabel dinamis, masukkan logika kueri dan lakukan precompile.

1. Masukkan informasi dasar:

   • Dynamic Table Name: Masukkan nama tabel unik, seperti dt_user_orders_agg.

   • Description: Masukkan tujuan tabel, misalnya "Statistik agregat pesanan berdasarkan pengguna".

2. Tulis SQL pembangkit data: Di tab Data Generation SQL pada area Field Information, tulis kueri SELECT yang menentukan logika data tabel dinamis.

   Penting

   Masukkan hanya pernyataan SELECT itu sendiri. Jangan sertakan perintah DDL CREATE DYNAMIC TABLE. Sistem secara otomatis mengurai konfigurasi dan menampilkan pernyataan DDL lengkap di sebelah kanan.

   SELECT 
       user_id,
       user_name,
       COUNT(*) AS order_count,
       SUM(price) AS total_price
   FROM public.orders
   GROUP BY user_id, user_name;

3. Prakompilasi kode:

   Setelah menulis kode, klik tombol Precompile di atas editor SQL. Precompilation adalah fitur inti yang berinteraksi secara real-time dengan engine Hologres untuk melakukan tugas-tugas berikut:

   • Validasi sintaks: Memeriksa apakah pernyataan SELECT Anda memenuhi standar SQL.

   • Menyimpulkan mode refresh: Menganalisis logika kueri dan properti tabel sumber untuk menentukan mode refresh yang didukung (otomatis, inkremental, atau penuh).

   • Mengurai field: Jika sintaks benar, sistem secara otomatis mengurai field output, tipe data, dan detail lain dari tabel dinamis.

   Umpan balik precompilation:

   • Berhasil: Sistem menunjukkan bahwa sintaks benar dan mencantumkan mode refresh yang didukung. Anda kemudian dapat melanjutkan konfigurasi.

   • Gagal: Jika SQL salah atau logika tidak memenuhi persyaratan untuk tabel dinamis, sistem memberikan pesan error yang jelas. Perbaiki SQL berdasarkan pesan tersebut dan lakukan precompile lagi.

4. (Opsional) Lihat dan edit detail field:

   • Setelah precompilation berhasil, klik tab Field Details.

   • Di sini, Anda dapat melihat semua field, tipe data, dan properti non-null yang diurai oleh sistem. Anda juga dapat menambahkan komentar untuk setiap field di kolom Description guna meningkatkan keterbacaan metadata.

Anda tidak perlu mengonfigurasi partisi atau parameter lanjutan di sini. Untuk deskripsi parameter, lihat Lampiran: Deskripsi konfigurasi.

Langkah 4: Konfigurasi kebijakan refresh data

Setelah precompilation berhasil, Anda dapat mengonfigurasi pengaturan di panel Refresh Policy di sisi kanan halaman.

1. Basic Parameters:

   • Table Type: Karena tidak ada field partisi yang dipilih, sistem secara otomatis mengidentifikasi tabel sebagai Non-partitioned Table.

   • Refresh Policy: Pilih Incremental Refresh untuk mencapai sinkronisasi data dengan latensi rendah.

   • Refresh Trigger Method: Pilih Hologres Auto-refresh.

   • Automatically Refresh Data: Pertahankan nilai default, Yes.

   • Data Freshness: Atur menjadi 5 menit. Parameter ini menentukan latensi data maksimum. Sistem secara dinamis memicu refresh berdasarkan data masuk untuk memastikan latensi antara tabel dinamis dan tabel sumber selalu dalam rentang 5 menit.

   • Incremental Refresh Consumption Mode for Base Table: Pilih stream. Ini adalah mode konsumsi stream latensi rendah yang direkomendasikan.

   • Hologres Computing Resource: Pilih Serverless Resources. Ini mencegah tugas refresh menggunakan sumber daya instans berharga Anda dan mencapai isolasi sumber daya.

2. Advanced Parameters (Opsional): Bagian ini digunakan untuk mengatur parameter GUC khusus. Biasanya Anda dapat mempertahankan pengaturan default. Untuk informasi selengkapnya, lihat Parameter GUC.

Langkah 5: Publikasikan

1. Setelah memastikan semua konfigurasi benar, klik tombol Publish di bagian atas halaman.

2. Pada kotak dialog konfirmasi yang muncul, klik Publish sekali lagi.

Anda telah berhasil membuat dan mempublikasikan tabel dinamis Hologres. Saat data baru dimasukkan atau diperbarui di tabel sumber orders, hasil agregasi di tabel dinamis dt_user_orders_agg akan diperbarui secara otomatis dalam waktu sekitar lima menit.

Langkah 1: Menyiapkan data

Pertama, Anda memerlukan tabel sumber bernama users yang mencatat informasi pendaftaran pengguna. Tabel ini harus berisi field timestamp untuk partisi dan juga harus memiliki binlog yang diaktifkan.

-- Membuat tabel pendaftaran pengguna dan mengaktifkan Binlog
CREATE TABLE users (
    user_id INT PRIMARY KEY,
    user_name TEXT,
    region TEXT,
    registration_time TIMESTAMPTZ  -- Waktu pendaftaran pengguna, tipe TIMESTAMPTZ
) WITH (
    binlog_level = 'replica',
    binlog_ttl = '86400'
);

-- Memasukkan beberapa data uji. Ganti tanggal dengan timestamp data saat ini.
INSERT INTO users VALUES 
(1, 'Alice', 'CN-Hangzhou', '2026-02-27 10:00:00+08'),
(2, 'Bob', 'CN-Shanghai', '2026-02-27 14:30:00+08'),
(3, 'Charlie', 'CN-Beijing', (NOW() - INTERVAL '1 day')::TIMESTAMPTZ);

Langkah 2: Buka wizard pembuatan tabel dinamis

1. Buka halaman Workspaces di konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang sesuai dan pilih Shortcuts > Data Studio di kolom Actions.

2. Di panel navigasi sebelah kiri, klik ikon untuk membuka modul Data Catalog.

3. Di area Data Catalog, temukan instans Hologres target, buka folder-folder tersebut, lalu klik ikon di sebelah Dynamic Table untuk membuka halaman Create Dynamic Table.

Langkah 3: Menentukan logika kueri dan melakukan precompile

1. Masukkan informasi dasar:

   • Dynamic Table Name: dwd_user_new_user_detail_di

   • Description: Statistik detail pengguna baru harian

2. Tulis SQL pembangkit data:

   Tulis pernyataan SQL yang mengekstrak semua catatan pengguna dari tabel users. Anda tidak perlu secara manual memfilter berdasarkan waktu di klausa WHERE karena mekanisme partisi tabel dinamis menangani hal ini secara otomatis.

   SELECT 
       user_id,
       user_name,
       region,
       registration_time, -- Field waktu asli yang presisi dapat dipertahankan untuk kueri
       CAST(registration_time AS DATE) AS ds -- [Inti] Mengonversi timestamp ke tipe DATE untuk digunakan sebagai kunci partisi
   FROM public.users;

3. Lakukan precompile kode: Klik tombol Precompile. Setelah precompilation berhasil, sistem mengurai informasi field.

Langkah 4: Pilih field partisi (langkah kunci)

Ini adalah langkah kunci untuk membuat tabel berpartisi.

• Di area Partition Field Information, klik daftar drop-down Partition Field.

• Pilih field baru ds sebagai field partisi.

Setelah memilih field partisi, DataWorks secara otomatis mengidentifikasi ini sebagai tabel berpartisi dan menampilkan item konfigurasi terkait partisi.

Langkah 5: Konfigurasi partisi dan kebijakan refresh

1. Partition Configurations:

   • Partition Property: Secara otomatis ditampilkan sebagai Logical Partition.

   • Partition Format: Pilih yyyy-mm-dd. Format ini sesuai dengan format kunci partisi ds, yang bertipe DATE.

   • Partition Refresh Scope: Atur menjadi 7 day.

   • Partition Management > Partition Expiration: Atur menjadi 30 day.

2. Refresh Policy Configurations:

   • Refresh Policy: Pilih Auto-refresh.

   • Refresh Trigger Method: Pilih Hologres Auto-refresh.

   • Data Freshness: Atur menjadi 10 minutes.

   • Hologres Computing Resource: Pilih Serverless Resources.

Langkah 6: Publikasikan

Klik tombol Publish di bagian atas halaman.

Langkah selanjutnya dan validasi

1. Lihat partisi: Setelah tabel dipublikasikan, buka tabel dwd_user_new_user_detail_di. Anda akan melihat sub-tabel partisi yang dibuat berdasarkan tanggal, seperti 2026-02-27.

2. Validasi data:

   • Buat node SQL Hologres dan masukkan data baru untuk hari ini ke tabel users:

     INSERT INTO users VALUES (4, 'David', 'CN-Shenzhen', '2026-02-27 18:00:00+08');

   • Tunggu sekitar 10 menit, lalu gunakan kunci partisi baru ds untuk menjalankan kueri yang lebih efisien:

     -- Metode kueri efisien: Filter langsung pada kunci partisi
     -- Untuk verifikasi langsung, Anda dapat merefresh tabel secara manual: REFRESH DYNAMIC TABLE dwd_user_new_user_detail_di PARTITION (ds = '2026-02-27');
     SELECT * FROM dwd_user_new_user_detail_di WHERE ds = '2026-02-27';

     Anda akan melihat bahwa pengguna baru 'David' telah berhasil ditambahkan ke partisi hari ini.

     

1. Informasi dasar, informasi field, dan field partisi

• Informasi Field (SQL): Menentukan kueri SELECT untuk sumber data tabel dinamis. Precompilation adalah langkah wajib.

• Field Partisi:

  • Tidak dipilih: Membuat tabel non-partisi.

  • Pilih field bertipe waktu/tanggal: Membuat tabel berpartisi. Sistem secara otomatis beralih ke mode konfigurasi tabel berpartisi.

2. Konfigurasi refresh data (Inti)

3. Konfigurasi partisi (Hanya terlihat untuk tabel berpartisi)

Saat Anda memilih field partisi, item konfigurasi berikut ditambahkan. Semua tabel dinamis baru merupakan partisi logis.

• Format Partisi: (Wajib) Menentukan cara menghasilkan partisi berdasarkan nilai field partisi. Misalnya, jika tipe field adalah TIMESTAMPTZ dan format diatur ke yyyy-mm-dd, partisi harian akan dibuat.

• Cakupan Refresh Partisi: Menentukan rentang partisi aktif untuk refresh otomatis. Misalnya, jika diatur ke "7 hari terakhir", Hologres hanya akan merefresh partisi dari tujuh hari terakhir. Partisi yang lebih lama tidak lagi direfresh secara otomatis, sehingga menghemat sumber daya.

• Manajemen Partisi (secara default terlipat):

  • Kedaluwarsa Partisi: Mengatur siklus hidup (TTL) untuk partisi. Partisi yang kedaluwarsa akan dihapus secara otomatis.

  • Periode retensi data panas untuk partisi: Bersama dengan penyimpanan berjenjang untuk data panas dan dingin, ini menentukan durasi data partisi disimpan di penyimpanan panas (SSD).

4. Pengaturan lanjutan (Properti tabel)

Ini adalah properti fisik yang diterapkan pada tabel dinamis itu sendiri, mirip dengan pengaturan untuk tabel Hologres standar.