Hologres：FAQ tentang Masalah Blink dan Flink

Informasi latar belakang

• Kinerja Hologres

  • Kinerja Penulisan

    • Tabel berorientasi kolom: InsertOrIgnore > InsertOrReplace > InsertOrUpdate

    • Tabel berorientasi baris: InsertOrReplace = InsertOrUpdate > InsertOrIgnore

    Parameter	Deskripsi
    InsertOrIgnore	Membuang data yang ingin Anda tulis jika kunci utama yang dimasukkan memiliki nilai yang sama dengan kunci utama di tabel hasil.
    InsertOrReplace	Memperbarui tabel berdasarkan kunci utama yang dimasukkan jika kunci utama yang dimasukkan memiliki nilai yang sama dengan kunci utama di tabel hasil. Jika data yang ditulis tidak mencakup semua kolom, nilai null dimasukkan ke dalam kolom yang tidak tertimpa.
    InsertOrUpdate	Memperbarui tabel berdasarkan kunci utama yang dimasukkan jika kunci utama yang dimasukkan memiliki nilai yang sama dengan kunci utama di tabel hasil. Jika data yang ditulis tidak mencakup semua kolom, kolom yang tidak tertimpa tidak diperbarui.

  • Kinerja Kueri Titik

    Penyimpanan berorientasi baris = Penyimpanan hibrida baris-kolom > Penyimpanan berorientasi kolom

• Dukungan untuk Jenis Layanan Blink, Realtime Compute for Apache Flink (VVP), dan Apache Flink

  Jenis Layanan	Penyimpanan Data					Deskripsi
  	Tabel Sumber	Tabel Hasil	Tabel Dimensi	Pencatatan Biner	Katalog Hologres
  Flink yang sepenuhnya dikelola	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Disarankan menggunakan penyimpanan berorientasi baris.	Didukung.	Didukung.	Tidak ada.
  Blink dalam mode eksklusif	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Disarankan menggunakan penyimpanan berorientasi baris.	Hologres V0.8 hanya mendukung penyimpanan berorientasi baris. Hologres V0.9 dan versi lebih baru mendukung penyimpanan berorientasi baris dan penyimpanan berorientasi kolom. Disarankan menggunakan penyimpanan berorientasi baris.	Tidak didukung.	Blink dalam mode eksklusif akan dihentikan. Kami menyarankan Anda menggunakan Flink yang sepenuhnya dikelola.
  Apache Flink V1.10	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Tidak ada.	Tidak didukung.	Tidak didukung.	Tidak ada.
  Apache Flink V1.11 dan lebih baru	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Penyimpanan berorientasi baris dan penyimpanan berorientasi kolom didukung.	Disarankan menggunakan penyimpanan berorientasi baris.	Tidak didukung.	Tidak didukung.	Kode Hologres dapat diakses secara publik di Apache Flink V1.11 dan lebih baru. Untuk informasi lebih lanjut, lihat alibabacloud-hologres-connectors.

• Contoh pernyataan SQL untuk memetakan tabel Blink atau Flink ke tabel Hologres:

  create table holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A int,
  B int,
  C timestamp )
  with (
  type = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',   -- Titik akhir dari instance Hologres. 
  'userName' = '',                               -- ID AccessKey dari akun Alibaba Cloud Anda. 
  'password' = '',                               -- Rahasia AccessKey dari akun Alibaba Cloud Anda. 
  'dbName' = 'binlog',                           -- Nama database di instance Hologres. 
  'tableName' ='test'                            -- Nama tabel di instance Hologres. 
  'binlog' = 'true',
  );

  Tabel SQL Blink, Flink (VVP), atau Flink dibuat di Flink dan dipetakan ke tabel fisik di Hologres berdasarkan pengaturan parameter. Tabel SQL Blink, Flink (VVP), atau Flink tidak dapat dipetakan ke tabel asing di Hologres.

Memecahkan masalah lambatnya penulisan waktu nyata

1. Verifikasi konfigurasi terkait penulisan.

   Verifikasi konfigurasi berikut:

   • Mode penyimpanan tabel tujuan, termasuk penyimpanan berorientasi baris, penyimpanan berorientasi kolom, dan penyimpanan hibrida baris-kolom.

   • Mode insert, seperti InsertOrIgnore, InsertOrUpdate, dan InsertOrReplace.

   • Grup tabel dan jumlah shard dari tabel tujuan.

2. Periksa metrik latensi penulisan waktu nyata.

   Jika latensi penulisan rata-rata mencapai 100 milidetik atau beberapa detik, server backend mencapai batas kinerja penulisan. Dalam hal ini, masalah berikut mungkin terjadi:

   • Jika tabel berorientasi kolom menggunakan mode InsertOrUpdate dan operasi penulisan melibatkan sejumlah besar lalu lintas, beban CPU pada instance dan latensi penulisan tinggi.

     Solusi: Gunakan tabel berorientasi baris, atau gunakan tabel penyimpanan hibrida baris-kolom jika versi instance Hologres Anda adalah V1.1 dan lebih baru.

   • Beban CPU instance yang dipantau oleh CloudMonitor mendekati 100% sementara tabel berorientasi kolom tidak diperbarui. Masalah ini mungkin terjadi karena permintaan per detik (QPS) yang tinggi atau sejumlah besar data yang ditulis.

     Solusi: Tingkatkan kapasitas instance.

   • Konfirmasikan apakah perintah Insert into select from secara terus-menerus memicu penulisan bulk load untuk tabel. Penulisan bulk load menghalangi penulisan real-time.

     Solusi: Ubah penulisan batch menjadi penulisan waktu nyata, atau lakukan penulisan batch selama jam-jam sepi.

3. Periksa apakah ada skew data.

   Eksekusi pernyataan SQL berikut untuk memeriksa apakah ada skew data:

   SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

   Solusi: Jika skew data ada, ubah kunci distribusi untuk menyeimbangkan distribusi data.

4. Periksa apakah ada beban kerja berat di kluster backend.

   Jika tidak ada masalah yang diidentifikasi setelah Anda melakukan pemeriksaan sebelumnya, penurunan mendadak dalam kinerja penulisan biasanya disebabkan oleh beban kerja berat di kluster backend. Dalam hal ini, hubungi dukungan teknis. Untuk informasi lebih lanjut, lihat Dapatkan dukungan online untuk Hologres.

5. Periksa apakah ada tekanan balik di Blink atau Flink.

   Jika tidak ada masalah yang diidentifikasi setelah Anda melakukan pemeriksaan sebelumnya pada Hologres, penulisan waktu nyata yang lambat mungkin disebabkan oleh operasi lambat Blink atau Flink. Dalam hal ini, Anda harus memeriksa tekanan balik pada node sink. Jika hanya satu node sink yang digunakan, Anda tidak dapat memeriksa apakah tekanan balik ada. Anda harus memeriksa komponen node sink. Untuk informasi lebih lanjut, hubungi dukungan teknis Flink.

Memecahkan masalah dengan data yang ditulis

Masalah dengan data yang ditulis biasanya disebabkan oleh data yang tidak berurutan. Misalnya, jika data yang menggunakan kunci utama yang sama didistribusikan di tugas Flink yang berbeda, data tersebut tidak dapat ditulis dalam urutan aslinya. Anda harus memeriksa logika SQL Flink dan memastikan bahwa data yang ditulis di-shuffle berdasarkan kunci utama tabel tujuan Hologres.

Memecahkan masalah kueri di tabel dimensi

• Operasi JOIN untuk tabel dimensi dan dua aliran data

  Saat membaca data dari Hologres, pastikan bahwa penggabungan tabel dimensi digunakan dengan benar. Hindari salah mengartikannya sebagai penggabungan dua aliran. Contoh berikut menunjukkan cara menggunakan Hologres sebagai tabel dimensi. Jika kata kunci proctime AS PROCTIME() dan hologres_dim FOR SYSTEM_TIME AS tidak ada, operasi tersebut menjadi penggabungan dua aliran.

  CREATE TEMPORARY TABLE datagen_source (
     a INT,
     b BIGINT,
     c STRING,
     proctime AS PROCTIME()
  ) with (
     'connector' = 'datagen'
  );
  
  CREATE TEMPORARY TABLE hologres_dim (
     a INT, 
     b VARCHAR, 
     c VARCHAR
  ) with (
     'connector' = 'hologres',
     ...
  );
  
  CREATE TEMPORARY TABLE blackhole_sink (
     a INT,
     b STRING
  ) with (
     'connector' = 'blackhole'
  );
  
  insert into blackhole_sink select T.a,H.b
  FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

• Kueri di Tabel Dimensi

  1. Periksa mode penyimpanan tabel dimensi.

     Periksa apakah mode penyimpanan tabel dimensi adalah penyimpanan berorientasi baris, penyimpanan berorientasi kolom, atau penyimpanan hibrida baris-kolom.

  2. Periksa apakah latensi kueri di tabel dimensi tinggi.

     Tekanan balik pada node join Flink atau Blink adalah masalah umum dalam penggunaan tabel dimensi dan menyebabkan throughput rendah.

     1. Periksa mode join tabel dimensi Flink.

        Operasi JOIN konektor tabel dimensi Hologres Flink dapat dilakukan dalam mode sinkron atau asinkron. Mode asinkron lebih baik daripada mode sinkron. Kode berikut memberikan contoh cara mengaktifkan mode asinkron:

        CREATE TABLE hologres_dim(
         id INT,
         len INT,
         content VARCHAR
        ) with (
          'connector'='hologres',
          'dbname'='<yourDbname>',  -- Nama database Hologres. 
          'tablename'='<yourTablename>', --Nama tabel Hologres tempat data ditulis. 
          'username'='<yourUsername>', --ID AccessKey akun Alibaba Cloud Anda. 
          'password'='<yourPassword>', --Rahasia AccessKey akun Alibaba Cloud Anda. 
          'endpoint'='<yourEndpoint>'  -- Titik akhir Virtual Private Cloud (VPC) dari instance Hologres. 
          'async' = 'true'-- Aktifkan mode asinkron.
        );

     2. Periksa latensi kueri di backend.

        Periksa metrik latensi penulisan waktu nyata.

        • Periksa apakah tabel dimensi adalah tabel berorientasi kolom. Tabel dimensi berorientasi kolom memerlukan overhead tinggi dalam skenario dengan QPS tinggi.

        • Jika tabel dimensi adalah tabel berorientasi baris, latensi tinggi biasanya disebabkan oleh beban tinggi pada instance. Dalam hal ini, Anda harus meningkatkan kapasitas instance.

  3. Periksa apakah kunci join adalah kunci utama.

     Konektor Hologres VVR 4.x (Flink 1.13) dan yang lebih baru memungkinkan kueri menggunakan Holo Client berdasarkan kolom selain kolom kunci primer. Dalam hal ini, kinerja kueri biasanya rendah dan beban instans tinggi. Selain itu, tabel tidak dioptimalkan saat dibuat. Anda harus mengoptimalkan struktur tabel. Praktik umum adalah mengonfigurasi kunci gabungan sebagai kunci distribusi, yang memungkinkan pemangkasan shard.

  4. Periksa tekanan balik pada node Blink.

     Jika tidak ada masalah yang diidentifikasi setelah Anda melakukan pemeriksaan sebelumnya pada Hologres, kueri lambat mungkin disebabkan oleh operasi lambat Blink. Dalam hal ini, Anda harus memeriksa tekanan balik pada node sink. Jika hanya satu node sink yang digunakan, Anda tidak dapat memeriksa apakah tekanan balik ada. Anda harus memeriksa komponen node sink. Anda dapat menggunakan metode yang sama untuk memeriksa tekanan balik pada node join. Untuk informasi lebih lanjut, hubungi dukungan teknis Flink.

Catatan penggunaan koneksi

Kesalahan umum