Hologres：FAQ dan troubleshooting Blink serta Flink

Istilah

• Kinerja Hologres

  • Kinerja penulisan

    • Tabel berorientasi kolom: InsertOrIgnore > InsertOrReplace > InsertOrUpdate

    • Tabel berorientasi baris: InsertOrReplace = InsertOrUpdate > InsertOrIgnore

    Parameter	Deskripsi
    InsertOrIgnore	Jika tabel sink memiliki primary key dan ditemukan primary key duplikat selama penulisan real-time, catatan yang datang belakangan akan dibuang.
    InsertOrReplace	Jika tabel sink memiliki primary key dan ditemukan primary key duplikat selama penulisan real-time, catatan tersebut akan diperbarui berdasarkan primary key. Jika baris baru tidak memuat semua kolom, kolom yang hilang akan diatur ke null.
    InsertOrUpdate	Jika tabel sink memiliki primary key dan ditemukan primary key duplikat selama penulisan real-time, catatan tersebut akan diperbarui berdasarkan primary key. Jika baris baru tidak memuat semua kolom, nilai yang ada untuk kolom yang hilang akan dipertahankan.

  • Kinerja kueri titik

    Penyimpanan berorientasi baris mengungguli penyimpanan hibrida baris-kolom, yang pada gilirannya mengungguli penyimpanan berorientasi kolom.

• Dukungan untuk Blink, Flink (VVR), dan Flink open source

  Form factor	Jenis penyimpanan data					Deskripsi
  	Tabel sumber	Sink table	Tabel dimensi	Binary logging	Hologres Catalog
  Fully managed Flink	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Gunakan penyimpanan berorientasi baris.	Didukung	Didukung	Tidak ada
  Blink Dedicated	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Gunakan penyimpanan berorientasi baris.	Hologres V0.8 hanya mendukung penyimpanan berorientasi baris. Hologres V0.9 dan versi selanjutnya mendukung penyimpanan berorientasi baris dan berorientasi kolom. Gunakan penyimpanan berorientasi baris.	Tidak didukung	Produk ini sedang dihentikan. Gunakan fully managed Flink di Alibaba Cloud.
  Open source Flink 1.10	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Tidak ada	Tidak didukung	Tidak didukung	Tidak ada
  Open source Flink 1.11 dan versi selanjutnya	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Mendukung penyimpanan berorientasi baris dan berorientasi kolom.	Gunakan penyimpanan berorientasi baris.	Tidak didukung	Tidak didukung	Mulai dari open source Flink 1.11, kode Hologres telah dibuka. Untuk informasi lebih lanjut, lihat GitHub.

• Contoh berikut menunjukkan cara menggunakan SQL untuk memetakan tabel Flink ke tabel Hologres.

  create table holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A int,
  B int,
  C timestamp )
  with (
  type = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',   --The Endpoint of the Hologres instance.
  'userName' = '',                               --The AccessKey ID of your Alibaba Cloud account.
  'password' = '',                               --The AccessKey secret of your Alibaba Cloud account.
  'dbName' = 'binlog',                           --The name of the database in the Hologres instance.
  'tableName' ='test'                            --The name of the table in the Hologres instance.
  'binlog' = 'true',
  );

  Blink, VVR, dan Flink SQL semuanya mendeklarasikan tabel Flink lalu memetakannya ke tabel fisik tertentu di Hologres menggunakan parameter. Oleh karena itu, pemetaan ke tabel eksternal tidak didukung.

Memecahkan masalah penulisan real-time yang lambat

1. Konfirmasi konfigurasi

   Periksa informasi konfigurasi berikut.

   • Format penyimpanan tabel tujuan, termasuk tabel berorientasi baris, berorientasi kolom, dan penyimpanan hibrida baris-kolom.

   • Mode insert, termasuk InsertOrIgnore, InsertOrUpdate, dan InsertOrReplace.

   • Table Group dan jumlah shard tabel tujuan.

2. Periksa metrik latensi penulisan real-time

   Jika latensi penulisan rata-rata tinggi—ratusan milidetik atau bahkan detik—backend kemungkinan besar telah mencapai bottleneck penulisan. Masalah berikut mungkin terjadi.

   • Anda menggunakan InsertOrUpdate untuk tabel berorientasi kolom, yang melakukan pembaruan parsial. Jika trafik tinggi, hal ini dapat menyebabkan beban CPU tinggi dan latensi penulisan tinggi untuk instans.

     Solusi: Ubah jenis tabel. Gunakan tabel berorientasi baris. Jika instans Anda V1.1 atau versi selanjutnya, Anda dapat memilih tabel penyimpanan hibrida baris-kolom.

   • Periksa beban CPU instans di Cloud Monitor. Jika penggunaan CPU mendekati 100% tetapi tidak ada pembaruan parsial pada tabel berorientasi kolom, penyebabnya biasanya adalah kueri QPS tinggi atau volume penulisan tinggi.

     Solusi: Lakukan scale out instans Hologres.

   • Periksa apakah ada perintah Insert into select from berkelanjutan yang memicu penulisan BulkLoad ke tabel. Penulisan BulkLoad saat ini memblokir penulisan real-time.

     Solusi: Ubah penulisan BulkLoad menjadi penulisan real-time, atau jalankan selama jam sepi.

3. Periksa kesenjangan data

   Gunakan perintah SQL berikut untuk memeriksa kesenjangan data.

   SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

   Solusi: Ubah kunci distribusi agar data tersebar lebih merata.

4. Periksa tekanan backend

   Jika langkah-langkah sebelumnya tidak menunjukkan masalah tetapi kinerja penulisan tiba-tiba turun, kluster backend kemungkinan besar sedang mengalami tekanan tinggi dan bottleneck. Hubungi dukungan teknis untuk mengonfirmasi situasi tersebut. Untuk informasi lebih lanjut, lihat Bagaimana cara mendapatkan dukungan online lebih lanjut?.

5. Periksa tekanan balik di sisi Blink/Flink

   Jika langkah-langkah sebelumnya tidak menunjukkan masalah jelas di sisi Hologres, klien biasanya lambat, artinya sisi Blink/Flink lambat. Periksa apakah node sink mengalami tekanan balik. Jika pekerjaan hanya memiliki satu node, Anda tidak dapat melihat apakah ada tekanan balik. Dalam kasus ini, pisahkan node sink dan amati lagi. Untuk detailnya, hubungi dukungan teknis Flink.

Memecahkan masalah penulisan data

Masalah ini biasanya disebabkan oleh data yang tidak berurutan. Misalnya, data dengan primary key yang sama didistribusikan ke berbagai task Flink, sehingga urutan penulisan tidak dapat dijamin. Periksa logika Flink SQL untuk memastikan bahwa data di-shuffle berdasarkan primary key tabel Hologres sebelum ditulis ke Hologres.

Memecahkan masalah kueri tabel dimensi

• Penggabungan tabel dimensi dan penggabungan dua aliran

  Saat membaca dari Hologres, pastikan Anda menggunakan penggabungan tabel dimensi dengan benar dan tidak keliru menganggapnya sebagai penggabungan dua aliran. Berikut adalah contoh penggunaan Hologres sebagai tabel dimensi. Jika kata kunci proctime AS PROCTIME() dan hologres_dim FOR SYSTEM_TIME AS tidak ada, maka ini menjadi penggabungan dua aliran.

  CREATE TEMPORARY TABLE datagen_source (
     a INT,
     b BIGINT,
     c STRING,
     proctime AS PROCTIME()
  ) with (
     'connector' = 'datagen'
  );
  
  CREATE TEMPORARY TABLE hologres_dim (
     a INT, 
     b VARCHAR, 
     c VARCHAR
  ) with (
     'connector' = 'hologres',
     ...
  );
  
  CREATE TEMPORARY TABLE blackhole_sink (
     a INT,
     b STRING
  ) with (
     'connector' = 'blackhole'
  );
  
  insert into blackhole_sink select T.a,H.b
  FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

• Kueri tabel dimensi

  1. Periksa format penyimpanan tabel dimensi

     Periksa apakah tabel dimensi merupakan tabel berorientasi baris, berorientasi kolom, atau penyimpanan hibrida baris-kolom.

  2. Latensi tinggi dalam kueri tabel dimensi

     Masalah paling umum pada tabel dimensi adalah tekanan balik pada node join di sisi Flink/Blink, yang mengurangi throughput seluruh pekerjaan.

     1. Periksa mode join tabel dimensi Flink

        Fitur join tabel dimensi dari Hologres Flink Connector mendukung mode sinkron dan asinkron. Mode asinkron memiliki kinerja lebih baik daripada mode sinkron. Anda dapat membedakannya dengan memeriksa Flink SQL. Berikut adalah contoh pernyataan SQL yang mengaktifkan kueri tabel dimensi asinkron.

        CREATE TABLE hologres_dim(
         id INT,
         len INT,
         content VARCHAR
        ) with (
          'connector'='hologres',
          'dbname'='<yourDbname>',  --The name of the Hologres database.
          'tablename'='<yourTablename>',  --The name of the table in Hologres that receives data.
          'username'='<yourUsername>',  --The AccessKey ID of your Alibaba Cloud account.
          'password'='<yourPassword>',  --The AccessKey secret of your Alibaba Cloud account.
          'endpoint'='<yourEndpoint>'  --The VPC Endpoint of your Hologres instance.
          'async' = 'true'--Asynchronous mode
        );

     2. Periksa latensi kueri backend

        Periksa metrik latensi penulisan real-time:

        • Periksa apakah tabel berorientasi kolom digunakan sebagai tabel dimensi. Tabel dimensi dalam format berorientasi kolom memiliki overhead tinggi dalam skenario QPS tinggi.

        • Jika ini adalah tabel berorientasi baris dan latensinya tinggi, beban keseluruhan pada instans biasanya tinggi. Anda perlu melakukan scale out instans.

  3. Periksa apakah kunci gabungan adalah primary key tabel Hologres

     Mulai dari Ververica Runtime (VVR) 4.x (Flink 1.13), Hologres Connector mendukung kueri non-primary key pada tabel Hologres berdasarkan Holo Client. Hal ini biasanya menghasilkan kinerja buruk dan beban instans tinggi, terutama jika skema tabel tidak dioptimalkan. Dalam kasus ini, pandu pengguna untuk mengoptimalkan skema tabel. Optimasi paling umum adalah mengatur kunci gabungan sebagai kunci distribusi untuk mengaktifkan pemangkasan shard.

  4. Periksa tekanan balik di sisi Blink

     Jika langkah-langkah sebelumnya tidak menunjukkan masalah jelas di sisi Hologres, klien biasanya lambat, artinya sisi Blink lambat. Periksa apakah node sink mengalami tekanan balik. Jika pekerjaan hanya memiliki satu node, Anda tidak dapat melihat apakah ada tekanan balik. Dalam kasus ini, pisahkan node sink dan amati lagi. Anda juga dapat memeriksa apakah node join menyebabkan tekanan balik. Untuk detailnya, hubungi dukungan teknis Flink.

Catatan tentang koneksi

Error umum