Hologres：BUAT TABEL DINAMIS

Sintaks

Mulai dari Hologres V3.1, sintaks untuk membuat Tabel Dinamis adalah sebagai berikut:

CREATE DYNAMIC TABLE [ IF NOT EXISTS ] [<schema_name>.]<table_name>
[ (<col_name> [, ...] ) ]
[LOGICAL PARTITION BY LIST(<partition_key>)]
WITH (
  -- Properti Tabel Dinamis
  freshness = '<num> {minutes | hours}', -- Wajib
  [auto_refresh_enable = {true | false},] -- Opsional
  [auto_refresh_mode = {'full' | 'incremental' | 'auto'},] -- Opsional
  
  [base_table_cdc_format = {'stream' | 'binlog'},] -- Opsional

  [auto_refresh_partition_active_time = '<num> {minutes | hours | days}',] -- Opsional
  [partition_key_time_format = {'YYYYMMDDHH24' | 'YYYY-MM-DD-HH24' | 'YYYY-MM-DD_HH24' | 'YYYYMMDD' | 'YYYY-MM-DD' | 'YYYYMM' | 'YYYY-MM' | 'YYYY'},] --Opsional
  
  [computing_resource = {'local' | 'serverless' | '<warehouse_name>'},] -- Opsional. Nilai warehouse_name hanya didukung di Hologres V4.0.7 dan versi selanjutnya.
  [refresh_guc_hg_experimental_serverless_computing_required_cores=xxx,]--Opsional. Spesifikasi sumber daya komputasi.
  
  [refresh_guc_<guc_name> = '<guc_value>',] -- Opsional

  -- Properti umum
  [orientation = {'column' | 'row' | 'row,column'},]
  [table_group = '<tableGroupName>',]
  [distribution_key = '<columnName>[,...]]',]
  [clustering_key = '<columnName>[:asc] [,...]',]
  [event_time_column = '<columnName> [,...]',]
  [bitmap_columns = '<columnName> [,...]',]
  [dictionary_encoding_columns = '<columnName> [,...]',]
  [time_to_live_in_seconds = '<non_negative_literal>',]
  [storage_mode = {'hot' | 'cold'},]
)
AS
<query>; -- Definisi kueri

Parameter

Sintaks

Di Hologres V3.0, sintaks untuk membuat Tabel Dinamis adalah sebagai berikut:

CREATE DYNAMIC TABLE [IF NOT EXISTS] <schema.tablename>(
[col_name],
[col_name]
  ) [PARTITION BY LIST (col_name)]
WITH (
    [refresh_mode='[full|incremental]',]
    [auto_refresh_enable='[true|false',]

  --Parameter khusus untuk Pembaruan bertahap:
    [incremental_auto_refresh_schd_start_time='[immediate|<timestamptz>]',]
    [incremental_auto_refresh_interval='[<num> {minute|minutes|hour|hours]',]  
    [incremental_guc_hg_computing_resource='[ local | serverless]',]
    [incremental_guc_hg_experimental_serverless_computing_required_cores='<num>',]

   --Parameter khusus untuk Pembaruan penuh:
    [full_auto_refresh_schd_start_time='[immediate|<timestamptz>]',]
    [full_auto_refresh_interval='[<num> {minute|minutes|hour|hours]',] 
    [full_guc_hg_computing_resource='[ local | serverless]',]--Nilai default hg_full_refresh_computing_resource adalah serverless. Anda dapat mengaturnya di tingkat database. Anda tidak perlu mengatur parameter ini.
    [full_guc_hg_experimental_serverless_computing_required_cores='<num>',]
    
   --Parameter bersama, GUC dapat diatur:
   [refresh_guc_<guc>='xxx]',] 
   
  -- Properti umum Tabel Dinamis:
    [orientation = '[column]',]
    [table_group = '[tableGroupName]',]
    [distribution_key = 'columnName[,...]]',]
    [clustering_key = '[columnName{:asc]} [,...]]',]
    [event_time_column = '[columnName [,...]]',]
    [bitmap_columns = '[columnName [,...]]',]
    [dictionary_encoding_columns = '[columnName [,...]]',]
    [time_to_live_in_seconds = '<non_negative_literal>',]
    [storage_mode = '[hot | cold]']
    ) 
AS
<query> --Definisi kueri

Parameter

Contoh 1: Buat Tabel Dinamis untuk Pembaruan bertahap

Sebelum memulai, impor dataset publik tpch_10g ke Hologres. Untuk informasi selengkapnya, lihat Impor dataset publik dengan satu klik.

-- Buat Tabel Dinamis untuk Pembaruan bertahap tabel tunggal.
-- Atur interval refresh menjadi 3 menit.
CREATE DYNAMIC TABLE public.tpch_q1_incremental 
WITH (
auto_refresh_mode='incremental',
freshness='3 minutes'
) AS SELECT
        l_returnflag,
        l_linestatus,
        COUNT(*) AS count_order
FROM
        hologres_dataset_tpch_10g.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

Contoh 2: Buat Tabel Dinamis untuk Pembaruan bertahap dengan JOIN multi-tabel

Sebelum memulai, impor dataset publik tpch_10g ke Hologres. Untuk informasi selengkapnya, lihat Impor dataset publik dengan satu klik.

-- Buat Tabel Dinamis untuk Pembaruan bertahap dengan JOIN multi-tabel.
CREATE DYNAMIC TABLE dt_join
  WITH (
    auto_refresh_mode='incremental',
    freshness='30 minutes'
  ) 
AS 
SELECT
        l_shipmode,
        SUM(CASE
                WHEN o_orderpriority = '1-URGENT'
                        OR o_orderpriority = '2-HIGH'
                        THEN 1
                ELSE 0
        END) AS high_line_count,
        SUM(CASE
                WHEN o_orderpriority <> '1-URGENT'
                        AND o_orderpriority <> '2-HIGH'
                        THEN 1
                ELSE 0
        END) AS low_line_count
FROM
        hologres_dataset_tpch_10g.orders,
        hologres_dataset_tpch_10g.lineitem
WHERE
        o_orderkey = l_orderkey
        AND l_shipmode IN ('FOB', 'AIR')
        AND l_commitdate < l_receiptdate
        AND l_shipdate < l_commitdate
        AND l_receiptdate >= DATE '1997-01-01'
        AND l_receiptdate < DATE '1997-01-01' + INTERVAL '1' YEAR
GROUP BY
        l_shipmode;

Contoh 3: Buat Tabel Dinamis dengan auto-refresh

Anda dapat mengatur Tabel Dinamis untuk auto-refresh. Mesin DPI secara otomatis memilih mode refresh. Mesin memprioritaskan Pembaruan bertahap. Jika Pembaruan bertahap tidak didukung, mesin beralih ke Pembaruan penuh.

Sebelum memulai, impor dataset publik tpch_10g ke Hologres. Untuk informasi selengkapnya, lihat Impor dataset publik dengan satu klik.

-- Buat Tabel Dinamis dengan auto-refresh. Mesin DPI secara otomatis memilih mode refresh.
-- Hasilnya adalah mode Pembaruan bertahap yang digunakan.
CREATE DYNAMIC TABLE thch_q6_auto
  WITH (
    auto_refresh_mode='auto',
    freshness='1 hours'
       ) 
AS
SELECT
        SUM(l_extendedprice * l_discount) AS revenue
FROM
        hologres_dataset_tpch_100g.lineitem
WHERE
        l_shipdate >= DATE '1996-01-01'
        AND l_shipdate < DATE '1996-01-01' + INTERVAL '1' YEAR
        AND l_discount BETWEEN 0.02 - 0.01 AND 0.02 + 0.01
        AND l_quantity < 24;

Contoh 4: Buat Tabel Dinamis dengan partisi logis

Pertimbangkan dashboard transaksi real-time. Dalam skenario ini, bisnis sering perlu melihat data hari ini secara near real-time dan juga memperbaiki data historis. Hal ini memerlukan analitik real-time dan offline terintegrasi. Untuk informasi selengkapnya, lihat Kognisi bisnis dan data. Anda dapat menggunakan partisi logis Tabel Dinamis untuk skenario ini. Solusinya adalah sebagai berikut:

• Tabel dasar dipartisi berdasarkan hari. Partisi terbaru ditulis oleh Flink secara real-time atau near real-time. Data untuk partisi historis ditulis dari MaxCompute.

• Tabel Dinamis dibuat berdasarkan tabel dasar dan menggunakan partisi logis. Dua partisi terbaru aktif dan direfresh menggunakan mode inkremental. Hal ini memenuhi persyaratan bisnis untuk analitik data near-real-time.

• Partisi historis tidak aktif dan menggunakan mode Pembaruan penuh. Jika data historis dalam tabel sumber diperbaiki atau direfresh, Anda dapat melakukan Pembaruan penuh pada partisi historis Tabel Dinamis.

Contoh ini menggunakan dataset GitHub publik untuk demonstrasi.

1. Siapkan tabel dasar.

   Data terbaru untuk tabel dasar berasal dari penulisan real-time oleh Flink. Untuk informasi selengkapnya, lihat Implementasikan analitik offline dan real-time terintegrasi berdasarkan dataset event GitHub publik.

   DROP TABLE IF EXISTS gh_realtime_data;
   
   BEGIN;
   CREATE TABLE gh_realtime_data (
       id BIGINT,
       actor_id BIGINT,
       actor_login TEXT,
       repo_id BIGINT,
       repo_name TEXT,
       org_id BIGINT,
       org_login TEXT,
       type TEXT,
       created_at timestamp with time zone NOT NULL,
       action TEXT,
       iss_or_pr_id BIGINT,
       number BIGINT,
       comment_id BIGINT,
       commit_id TEXT,
       member_id BIGINT,
       rev_or_push_or_rel_id BIGINT,
       ref TEXT,
       ref_type TEXT,
       state TEXT,
       author_association TEXT,
       language TEXT,
       merged BOOLEAN,
       merged_at TIMESTAMP WITH TIME ZONE,
       additions BIGINT,
       deletions BIGINT,
       changed_files BIGINT,
       push_size BIGINT,
       push_distinct_size BIGINT,
       hr TEXT,
       month TEXT,
       year TEXT,
       ds TEXT,
       PRIMARY KEY (id,ds)
   )
   PARTITION BY LIST (ds);
   CALL set_table_property('public.gh_realtime_data', 'distribution_key', 'id');
   CALL set_table_property('public.gh_realtime_data', 'event_time_column', 'created_at');
   CALL set_table_property('public.gh_realtime_data', 'clustering_key', 'created_at');
   
   COMMENT ON COLUMN public.gh_realtime_data.id IS 'Event ID';
   COMMENT ON COLUMN public.gh_realtime_data.actor_id IS 'ID of the event initiator';
   COMMENT ON COLUMN public.gh_realtime_data.actor_login IS 'Logon name of the event initiator';
   COMMENT ON COLUMN public.gh_realtime_data.repo_id IS 'Repo ID';
   COMMENT ON COLUMN public.gh_realtime_data.repo_name IS 'Repo name';
   COMMENT ON COLUMN public.gh_realtime_data.org_id IS 'ID of the organization that the repo belongs to';
   COMMENT ON COLUMN public.gh_realtime_data.org_login IS 'Name of the organization that the repo belongs to';
   COMMENT ON COLUMN public.gh_realtime_data.type IS 'Event type';
   COMMENT ON COLUMN public.gh_realtime_data.created_at IS 'Time when the event occurred';
   COMMENT ON COLUMN public.gh_realtime_data.action IS 'Event behavior';
   COMMENT ON COLUMN public.gh_realtime_data.iss_or_pr_id IS 'Issue or pull request ID';
   COMMENT ON COLUMN public.gh_realtime_data.number IS 'Issue or pull request ordinal number';
   COMMENT ON COLUMN public.gh_realtime_data.comment_id IS 'Comment ID';
   COMMENT ON COLUMN public.gh_realtime_data.commit_id IS 'Commit record ID';
   COMMENT ON COLUMN public.gh_realtime_data.member_id IS 'Member ID';
   COMMENT ON COLUMN public.gh_realtime_data.rev_or_push_or_rel_id IS 'Review, push, or release ID';
   COMMENT ON COLUMN public.gh_realtime_data.ref IS 'Name of the created or deleted resource';
   COMMENT ON COLUMN public.gh_realtime_data.ref_type IS 'Type of the created or deleted resource';
   COMMENT ON COLUMN public.gh_realtime_data.state IS 'State of the issue, pull request, or pull request review';
   COMMENT ON COLUMN public.gh_realtime_data.author_association IS 'Relationship between the actor and the repo';
   COMMENT ON COLUMN public.gh_realtime_data.language IS 'Programming language';
   COMMENT ON COLUMN public.gh_realtime_data.merged IS 'Indicates whether the merge is accepted';
   COMMENT ON COLUMN public.gh_realtime_data.merged_at IS 'Time when the code was merged';
   COMMENT ON COLUMN public.gh_realtime_data.additions IS 'Number of added lines of code';
   COMMENT ON COLUMN public.gh_realtime_data.deletions IS 'Number of deleted lines of code';
   COMMENT ON COLUMN public.gh_realtime_data.changed_files IS 'Number of files changed in the pull request';
   COMMENT ON COLUMN public.gh_realtime_data.push_size IS 'Number of commits';
   COMMENT ON COLUMN public.gh_realtime_data.push_distinct_size IS 'Number of distinct commits';
   COMMENT ON COLUMN public.gh_realtime_data.hr IS 'Hour when the event occurred. For example, if the time is 00:23, hr is 00.';
   COMMENT ON COLUMN public.gh_realtime_data.month IS 'Month when the event occurred. For example, for October 2015, month is 2015-10.';
   COMMENT ON COLUMN public.gh_realtime_data.year IS 'Year when the event occurred. For example, for 2015, year is 2015.';
   COMMENT ON COLUMN public.gh_realtime_data.ds IS 'Day when the event occurred. ds=yyyy-mm-dd.';
   
   COMMIT;

2. Buat Tabel Dinamis dengan partisi logis.

   CREATE  DYNAMIC TABLE ads_dt_github_event
   LOGICAL PARTITION BY LIST(ds)
   WITH (
     -- Properti Tabel Dinamis
     freshness = '5 minutes', 
     auto_refresh_mode = 'auto', 
     auto_refresh_partition_active_time = '2 days' ,
     partition_key_time_format = 'YYYY-MM-DD'
   )
   AS
   SELECT
       repo_name,
       COUNT(*) AS events,
       ds
   FROM
       gh_realtime_data
   GROUP BY repo_name,ds

3. Kueri Tabel Dinamis.

   SELECT * FROM ads_dt_github_event ;

4. Refresh partisi historis.

   Jika data historis dalam tabel dasar berubah, seperti data dari 2025-04-01, Anda harus menyinkronkan data dalam Tabel Dinamis. Anda dapat mengatur partisi historis Tabel Dinamis ke mode Pembaruan penuh dan melakukan refresh satu kali menggunakan sumber daya komputasi Serverless.

   REFRESH OVERWRITE DYNAMIC TABLE ads_dt_github_event
   PARTITION (ds = '2025-04-01') 
   WITH (
     refresh_mode = 'full'
   );

Contoh 5: Hitung UV untuk periode panjang apa pun menggunakan Pembaruan bertahap untuk Tabel Dinamis

Mulai dari Hologres V3.1, Pembaruan bertahap untuk Tabel Dinamis mendukung fungsi RB_BUILD_AGG. Fungsi ini memungkinkan Anda menghitung metrik seperti unique visitors (UV) selama periode panjang apa pun. Dibandingkan dengan solusi pra-agregasi sebelumnya, Pembaruan bertahap menawarkan keunggulan berikut:

• Performa lebih cepat: Setiap perhitungan hanya memproses data inkremental, yang meningkatkan performa.

• Biaya lebih rendah: Volume data yang lebih kecil untuk perhitungan mengonsumsi lebih sedikit sumber daya komputasi, yang secara efektif menurunkan biaya. Hal ini mendukung perhitungan selama periode yang lebih lama.

Berikut adalah contohnya:

1. Siapkan tabel detail pengguna.

   BEGIN;
   CREATE TABLE IF NOT EXISTS ods_app_detail (
        uid INT,
        country TEXT,
        prov TEXT,
        city TEXT,
        channel TEXT,
        operator TEXT,
        brand TEXT,
        ip TEXT,
        click_time TEXT,
        year TEXT,
        month TEXT,
        day TEXT,
        ymd TEXT NOT NULL
   );
   CALL set_table_property('ods_app_detail', 'orientation', 'column');
   CALL set_table_property('ods_app_detail', 'bitmap_columns', 'country,prov,city,channel,operator,brand,ip,click_time, year, month, day, ymd');
   -- Atur distribution_key sesuai kebutuhan. Pilih dimensi untuk sharding yang memberikan performa terbaik untuk kueri real-time pada tabel ini.
   CALL set_table_property('ods_app_detail', 'distribution_key', 'uid');
   -- Gunakan ini untuk kondisi filter WHERE. Kami menyarankan Anda mengatur bidang yang berisi tanggal lengkap (tahun, bulan, dan hari) sebagai clustering_key dan event_time_column.
   CALL set_table_property('ods_app_detail', 'clustering_key', 'ymd');
   CALL set_table_property('ods_app_detail', 'event_time_column', 'ymd');
   COMMIT;

2. Hitung UV menggunakan Pembaruan bertahap untuk Tabel Dinamis.

   CREATE DYNAMIC TABLE ads_uv_dt
     WITH (
       freshness = '5 minutes', 
       auto_refresh_mode = 'incremental') 
     AS 
   SELECT  
    RB_BUILD_AGG(uid),
    country,
    prov,
    city,
    ymd,
   COUNT(1)
   FROM    ods_app_detail
   WHERE ymd >= '20231201' AND ymd <='20240502'
   GROUP BY country,prov,city,ymd;

3. Kueri UV untuk periode apa pun.

   SELECT  
   RB_CARDINALITY(RB_OR_AGG(rb_uid)) AS uv,
     country,
     prov,
     city,
     SUM(pv) AS pv
   FROM    ads_uv_dt
   WHERE   ymd = '20240329'
   GROUP BY country,prov,city;

Contoh 1: Buat Tabel Dinamis untuk Pembaruan penuh dan mulai refresh secara otomatis

Sebelum memulai, impor dataset publik tpch_10g ke Hologres. Untuk informasi selengkapnya, lihat Impor dataset publik dengan satu klik.

-- Buat skema "test".
CREATE SCHEMA test;

-- Buat Tabel Dinamis untuk Pembaruan penuh tabel tunggal.
-- Refresh dimulai segera dan dijalankan setiap 1 jam.
CREATE DYNAMIC TABLE test.thch_q1_full
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_interval='1 hours',
    full_guc_hg_computing_resource='serverless',
    full_guc_hg_experimental_serverless_computing_required_cores='32'
       ) 
AS
  SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        hologres_dataset_tpch_10g.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

Contoh 2: Buat Tabel Dinamis untuk Pembaruan bertahap dan tentukan waktu mulai

Sebelum memulai, impor dataset publik tpch_10g ke Hologres. Untuk informasi selengkapnya, lihat Impor dataset publik dengan satu klik.

Contoh berikut menunjukkan cara membuat Tabel Dinamis untuk Pembaruan bertahap:

-- Aktifkan binary logging untuk tabel dasar.
BEGIN;
CALL set_table_property('hologres_dataset_tpch_10g.lineitem', 'binlog.level', 'replica');
COMMIT;

-- Buat Tabel Dinamis untuk Pembaruan bertahap tabel tunggal.
-- Tentukan waktu mulai refresh dan atur interval refresh menjadi 3 menit.
CREATE DYNAMIC TABLE public.tpch_q1_incremental 
WITH (
refresh_mode='incremental',
auto_refresh_enable='true',
incremental_auto_refresh_schd_start_time='2024-09-15 23:50:0',
incremental_auto_refresh_interval='3 minutes',
incremental_guc_hg_computing_resource='serverless',
incremental_guc_hg_experimental_serverless_computing_required_cores='30'
) AS SELECT
        l_returnflag,
        l_linestatus,
        COUNT(*) AS count_order
FROM
        hologres_dataset_tpch_10g.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus
;

Contoh 3: Buat Tabel Dinamis untuk Pembaruan penuh dengan JOIN multi-tabel

-- Buat Tabel Dinamis yang kuerinya berisi JOIN multi-tabel.
-- Gunakan mode Pembaruan penuh dan atur interval refresh menjadi 3 jam.
CREATE DYNAMIC TABLE dt_q_full
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_schd_start_time='immediate',
    full_auto_refresh_interval='3 hours',
    full_guc_hg_computing_resource='serverless',
    full_guc_hg_experimental_serverless_computing_required_cores='64'
  ) 
AS 
SELECT
        o_orderpriority,
        COUNT(*) AS order_count
FROM
        hologres_dataset_tpch_10g.orders
WHERE
        o_orderdate >= DATE '1996-07-01'
        AND o_orderdate < DATE '1996-07-01' + INTERVAL '3' MONTH
        AND EXISTS (
                SELECT
                        *
                FROM
                        hologres_dataset_tpch_10g.lineitem
                WHERE
                        l_orderkey = o_orderkey
                        AND l_commitdate < l_receiptdate
        )
GROUP BY
        o_orderpriority;

Contoh 4: Buat Tabel Dinamis untuk Pembaruan bertahap dengan JOIN tabel dimensi

Contoh berikut menunjukkan cara membuat Tabel Dinamis untuk Pembaruan bertahap dengan JOIN tabel dimensi:

Semantik JOIN tabel dimensi adalah sebagai berikut: setiap catatan hanya dikaitkan dengan versi terbaru data tabel dimensi pada saat operasi JOIN dilakukan. Jika data dalam tabel dimensi berubah (ditambahkan, diperbarui, atau dihapus) setelah operasi JOIN, data tabel dimensi yang sebelumnya terkait tidak disinkronkan. Berikut adalah contoh pernyataan SQL:

-- Tabel detail
BEGIN;
CREATE TABLE public.sale_detail(
        app_id TEXT,
        uid TEXT,
        product TEXT,
        gmv BIGINT,
        order_time TIMESTAMPTZ
);
-- Aktifkan binary logging untuk tabel dasar. Anda tidak perlu mengaktifkannya untuk tabel dimensi.
CALL set_table_property('public.sale_detail', 'binlog.level', 'replica');
COMMIT;

-- Tabel properti
CREATE TABLE public.user_info(
        uid TEXT,
        province TEXT,
        city TEXT
);

CREATE DYNAMIC TABLE public.dt_sales_incremental
  WITH (
    refresh_mode='incremental',
    auto_refresh_enable='true',
    incremental_auto_refresh_schd_start_time='2024-09-15 00:00:00',
    incremental_auto_refresh_interval='5 minutes',
    incremental_guc_hg_computing_resource='serverless',
    incremental_guc_hg_experimental_serverless_computing_required_cores='128') 
AS 
SELECT 
    sale_detail.app_id,
    sale_detail.uid,
    product,
    SUM(sale_detail.gmv) AS sum_gmv,
    sale_detail.order_time,
    user_info.province,
    user_info.city 
FROM public.sale_detail 
INNER JOIN public.user_info  FOR SYSTEM_TIME AS OF PROCTIME()
ON sale_detail.uid =user_info.uid
GROUP BY sale_detail.app_id,sale_detail.uid,sale_detail.product,sale_detail.order_time,user_info.province,user_info.city;

Contoh 5: Buat Tabel Dinamis partisi

Pertimbangkan dashboard transaksi real-time. Bisnis sering perlu melihat data hari ini secara near real-time dan juga memperbaiki data historis. Dalam skenario ini, Anda dapat menggunakan Pembaruan penuh dan Pembaruan bertahap untuk Tabel Dinamis. Prosedurnya adalah sebagai berikut:

1. Buat tabel partisi sebagai tabel dasar. Anda dapat menulis data ke partisi terbaru secara real-time atau near real-time. Anda juga dapat sesekali memperbaiki data di partisi historis.

2. Buat Tabel Dinamis sebagai tabel partisi induk. Gunakan mode Pembaruan bertahap untuk partisi terbaru untuk memenuhi persyaratan bisnis untuk analitik data near-real-time.

3. Alihkan partisi historis ke mode Pembaruan penuh. Jika data di partisi historis tabel sumber diperbaiki atau direfresh, Anda juga dapat melakukan refresh satu kali pada partisi historis Tabel Dinamis yang sesuai. Kami menyarankan Anda menggunakan sumber daya komputasi Serverless untuk mempercepat refresh.

Berikut adalah contohnya:

1. Persiapkan tabel dasar dan data.

   Tabel dasar adalah tabel partisi. Data ditulis ke partisi terbaru secara real-time.

   -- Buat tabel sumber partisi.
   CREATE TABLE base_sales(
     uid INT,
     opreate_time TIMESTAMPTZ,
     amount FLOAT,
     tt TEXT NOT NULL,
     ds TEXT,
     PRIMARY KEY(ds)
   ) PARTITION BY LIST (ds) ;
   
   -- Partisi historis
   CREATE TABLE base_sales_20240615 PARTITION OF base_sales FOR VALUES IN ('20240615');
   INSERT INTO base_sales_20240615 VALUES (2,'2024-06-15 16:18:25.387466+08','111','2','20240615');
   
   -- Partisi terbaru, yang biasanya ditulis secara real-time.
   CREATE TABLE base_sales_20240616 PARTITION OF base_sales FOR VALUES IN ('20240616');
   INSERT INTO base_sales_20240616 VALUES (1,'2024-06-16 16:08:25.387466+08','2','1','20240616');

2. Buat Tabel Dinamis partisi induk. Untuk tabel induk, definisikan hanya kueri dan jangan atur mode refresh.

   -- Buat ekstensi.
   CREATE EXTENSION roaringbitmap;
   
   CREATE DYNAMIC TABLE partition_dt_base_sales
   PARTITION BY LIST (ds)
   as
   SELECT  
    public.RB_BUILD_AGG(uid),
    opreate_time,
    amount,
    tt,
    ds,
   COUNT(1)
   FROM    base_sales
   GROUP BY opreate_time ,amount,tt,ds;

3. Buat tabel anak dan atur mode refresh untuk mereka.

   Anda dapat membuat Tabel Dinamis partisi anak secara manual, atau membuatnya secara dinamis menggunakan Pengembangan Data di DataWorks. Anda dapat membuat partisi terbaru dalam mode Pembaruan bertahap dan mengatur partisi historis ke mode Pembaruan penuh.

   -- Aktifkan binary logging untuk tabel dasar.
   ALTER TABLE base_sales SET (binlog_level = replica);
   
   -- Asumsikan berikut ini adalah Tabel Dinamis partisi anak historis:
   CREATE DYNAMIC TABLE partition_dt_base_sales_20240615 PARTITION OF partition_dt_base_sales FOR VALUES IN ('20240615')
     WITH (
       refresh_mode='incremental',
       auto_refresh_enable='true',
       incremental_auto_refresh_schd_start_time='immediate',
       incremental_auto_refresh_interval='30 minutes'
          );
   
   -- Buat Tabel Dinamis partisi anak baru.
   -- Atur mode refresh untuk partisi terbaru ke inkremental.
   -- Refresh dimulai segera setelah tabel dibuat, dijalankan dengan interval 30 menit, dan menggunakan sumber daya instans saat ini.
   CREATE DYNAMIC TABLE partition_dt_base_sales_20240616 PARTITION OF partition_dt_base_sales FOR VALUES IN ('20240616')
     WITH (
       refresh_mode='incremental',
       auto_refresh_enable='true',
       incremental_auto_refresh_schd_start_time='immediate',
       incremental_auto_refresh_interval='30 minutes'
          );
   
   -- Ubah partisi historis ke mode Pembaruan penuh.
   ALTER DYNAMIC TABLE partition_dt_base_sales_20240615 SET (refresh_mode = 'full');
   -- Jika data di partisi historis perlu diperbaiki, Anda dapat menjalankan operasi refresh.
   -- Kami menyarankan Anda menggunakan sumber daya komputasi Serverless untuk operasi ini.
   SET hg_computing_resource = 'serverless';
   REFRESH DYNAMIC TABLE partition_dt_base_sales_20240615;