Hologres：Optimalkan kinerja penulisan atau pembaruan data

Sebelum mempelajari cara mengoptimalkan kinerja penulisan atau pembaruan, Anda harus memahami cara kerja Hologres. Ini membantu Anda lebih baik memperkirakan kinerja penulisan Hologres dalam mode penulisan yang berbeda saat menggunakan Hologres dalam bisnis nyata.

• Kinerja penulisan atau pembaruan bervariasi berdasarkan mode penyimpanan tabel.

  • Jika Anda menulis data ke atau memperbarui data di semua kolom tabel, mode penyimpanannya terdaftar dalam urutan menurun berdasarkan kinerja sebagai berikut:

    Penyimpanan Berorientasi Baris > Penyimpanan Berorientasi Kolom > Penyimpanan Hibrid Baris-Kolom.

  • Jika Anda menulis data ke atau memperbarui data di kolom tertentu tabel, mode penyimpanannya terdaftar dalam urutan menurun berdasarkan kinerja sebagai berikut:

    Penyimpanan Berorientasi Baris > Penyimpanan Hibrid Baris-Kolom > Penyimpanan Berorientasi Kolom.

• Kinerja penulisan atau pembaruan bervariasi berdasarkan mode penulisan.

  Tabel berikut menjelaskan mode penulisan yang berbeda dari Hologres.

  Mode Penulisan	Deskripsi
  Insert	Menulis data ke tabel dalam mode Append-Only jika tidak ada primary key yang dikonfigurasikan untuk tabel tujuan.
  InsertOrIgnore	Membuang data yang ingin Anda tulis jika Anda menulis data yang nilai primary key-nya sudah ada.
  InsertOrReplace	Mengganti data yang ada jika Anda menulis data yang nilai primary key-nya sudah ada. Jika data yang ditulis tidak mencakup semua kolom, nilai null dimasukkan ke dalam kolom yang hilang dalam data baru.
  InsertOrUpdate	Memperbarui data yang ada jika Anda menulis data yang nilai primary key-nya sudah ada. Mode penulisan ini melibatkan pembaruan seluruh baris dan pembaruan kolom tertentu dari sebuah baris. Jika data yang ditulis tidak mencakup semua kolom, kolom yang hilang dalam data baru tidak diperbarui.

  • Kinerja penulisan tabel berorientasi kolom bervariasi berdasarkan mode penulisan:

    • Tabel tujuan tanpa primary key memiliki kinerja tertinggi.

    • Jika tabel tujuan memiliki primary key, mode penulisannya terdaftar dalam urutan menurun berdasarkan kinerja:

      InsertOrIgnore > InsertOrReplace ≥ InsertOrUpdate (seluruh baris) > InsertOrUpdate (kolom tertentu).

  • Mode penulisan tabel berorientasi baris terdaftar dalam urutan menurun berdasarkan kinerja:

    InsertOrReplace = InsertOrUpdate (seluruh baris) ≥ InsertOrUpdate (kolom tertentu) ≥ InsertOrIgnore.

• Mode penyimpanan tabel yang memiliki binary logging diaktifkan terdaftar dalam urutan menurun berdasarkan kinerja penulisan atau pembaruan:

  Penyimpanan Berorientasi Baris > Penyimpanan Hibrid Baris-Kolom > Penyimpanan Berorientasi Kolom.

Jika kinerja penulisan rendah saat Anda menulis data ke atau memperbarui data di tabel, Anda dapat melihat metrik Penggunaan CPU (%) pada halaman Informasi Pemantauan di konsol Hologres untuk menemukan masalah kinerja.

• Penggunaan CPU rendah.

  Ini menunjukkan bahwa sumber daya Hologres tidak sepenuhnya digunakan dan bahwa masalah kinerja tidak terjadi di Hologres. Anda dapat memeriksa apakah ada masalah lain seperti pembacaan data yang lambat dari tabel sumber.

• Penggunaan CPU tinggi. Misalnya, CPU berjalan pada 100% untuk waktu yang lama.

  Ini menunjukkan bahwa penggunaan sumber daya Hologres telah mencapai batas atas. Anda dapat menggunakan metode berikut untuk mendiagnosis masalah:

  • Gunakan metode optimasi dasar untuk memeriksa apakah penggunaan sumber daya tinggi disebabkan oleh pengaturan dasar yang tidak valid. Untuk informasi lebih lanjut, lihat Metode Optimasi Dasar dalam topik ini.

  • Setelah menyelesaikan operasi optimasi dasar, periksa layanan sinkronisasi data seperti Flink atau Data Integration dan lakukan operasi optimasi lanjutan untuk lebih mengidentifikasi dan mendiagnosis masalah penulisan. Untuk informasi lebih lanjut, lihat Optimalkan Kinerja Penulisan Flink, Optimalkan Kinerja Penulisan Data Integration, dan Metode Optimasi Lanjutan.

  • Periksa apakah kinerja penulisan dipengaruhi oleh query. Operasi penulisan dan query bersamaan dapat menyebabkan penggunaan sumber daya tinggi. Anda dapat menggunakan log query lambat untuk memeriksa konsumsi sumber daya CPU dari query pada saat operasi penulisan dilakukan. Jika query memengaruhi kinerja penulisan secara negatif, Anda dapat mengonfigurasi penerapan high-availability multi-instance. Untuk informasi lebih lanjut, lihat Konfigurasikan Pembagian Baca/Tulis untuk Instance Utama dan Sekunder (Penyimpanan Bersama).

  • Setelah semua operasi optimasi selesai, jika kinerja penulisan tidak memenuhi harapan, Anda dapat melakukan scale out instance Hologres.

Hologres dapat memberikan kinerja penulisan tinggi dalam sebagian besar kasus. Jika kinerja penulisan tidak memenuhi harapan Anda saat menulis data, Anda dapat menggunakan metode berikut untuk mengoptimalkan kinerja:

• Sambungkan ke instance Hologres melalui jaringan pribadi untuk mengurangi overhead jaringan.

  Hologres mendukung berbagai jenis jaringan seperti Virtual Private Clouds (VPC), jaringan klasik, dan Internet. Untuk informasi lebih lanjut tentang skenario aplikasi Hologres dalam berbagai jenis jaringan, lihat Informasi Jaringan dalam topik "Konfigurasi Instance". Kami merekomendasikan Anda menyambungkan ke instance Hologres melalui VPC untuk penulisan data terutama saat menggunakan aplikasi seperti Java Database Connectivity (JDBC) dan PostgreSQL. Internet membatasi lalu lintas, dan lebih tidak stabil dibandingkan VPC.

• Gunakan rencana tetap untuk melakukan operasi penulisan.

  Gambar berikut menunjukkan proses eksekusi pernyataan SQL di Hologres. Untuk informasi lebih lanjut, lihat QE.

  • Jika pernyataan SQL sesuai dengan karakteristik online analytical processing (OLAP), Hologres mengikuti proses implementasi yang ditunjukkan di sisi kiri gambar. Hologres menggunakan komponen seperti Query Optimizer (QO) dan Query Engine (QE) untuk memproses pernyataan SQL. Saat Anda menulis data ke atau memperbarui data di tabel, seluruh tabel dikunci. Jika pernyataan seperti INSERT, UPDATE, dan DELETE dieksekusi secara bersamaan, pernyataan SQL berikutnya hanya dapat dieksekusi setelah eksekusi pernyataan SQL saat ini selesai. Ini meningkatkan latensi.

  • Jika pernyataan SQL sesuai dengan karakteristik rencana tetap, Hologres mengikuti proses implementasi yang ditunjukkan di sisi kanan gambar. Dalam proses ini, rencana tetap digunakan. Tanpa komponen seperti QO, query dapat dilakukan dengan cara sederhana menggunakan rencana tetap. Saat Anda menulis data ke atau memperbarui data di baris, hanya baris tersebut yang dikunci. Ini sangat meningkatkan konkurensi dan kinerja query.

  Oleh karena itu, Anda dapat menggunakan rencana tetap untuk melakukan operasi penulisan atau pembaruan saat mengoptimalkan kinerja penulisan atau pembaruan.

  • Lakukan operasi penulisan atau pembaruan menggunakan rencana tetap

    Pernyataan SQL yang dapat dieksekusi menggunakan rencana tetap harus sesuai dengan karakteristik rencana tetap. Dalam skenario berikut, rencana tetap tidak didukung:

    • Pernyataan INSERT ON CONFLICT dieksekusi untuk menyisipkan data ke beberapa baris. Contoh pernyataan:

      INSERT INTO test_upsert(pk1, pk2, col1, col2)
          VALUES (1, 2, 5, 6), (2, 3, 7, 8)
      ON CONFLICT (pk1, pk2)
          DO UPDATE SET
              col1 = excluded.col1, col2 = excluded.col2;

    • Pernyataan INSERT ON CONFLICT dieksekusi untuk pembaruan sebagian, dan beberapa kolom data yang dimasukkan tidak dipetakan ke kolom di tabel tujuan.

    • Tabel tujuan berisi kolom tipe data SERIAL.

    • Properti Default dikonfigurasikan untuk tabel tujuan.

    • Operasi UPDATE atau DELETE dilakukan berdasarkan primary key. Contoh: update table set col1 = ?, col2 = ? where pk1 = ? and pk2 =?;.

    • Tipe data beberapa kolom tidak didukung oleh rencana tetap.

    Jika Anda mengeksekusi pernyataan SQL tanpa menggunakan rencana tetap, jenis pernyataan tersebut ditampilkan sebagai INSERT di bagian Real-time Import (RPS) metric pada halaman Informasi Pemantauan di konsol Hologres, seperti yang ditunjukkan pada gambar berikut. Dalam hal ini, Hologres menggunakan Hologres Query Engine (HQE) atau PostgreSQL Query Engine (PQE) untuk memproses pernyataan SQL. Dalam sebagian besar kasus, operasi penulisan diproses menggunakan HQE. Jika operasi penulisan atau pembaruan lambat, Anda dapat mengeksekusi pernyataan berikut untuk menanyakan log query lambat dan memeriksa jenis mesin yang digunakan dalam query. Jenis mesin ditentukan oleh parameter engine_type.

    -- Query the INSERT, UPDATE, and DELETE statements that are executed without using fixed plans in the previous 3 hours.
    SELECT
        *
    FROM
        hologres.hg_query_log
    WHERE
        query_start >= now() - interval '3 h'
        AND command_tag IN ('INSERT', 'UPDATE', 'DELETE')
        AND ARRAY['HQE'] && engine_type
    ORDER BY
        query_start DESC
    LIMIT 500;

    Ubah pernyataan SQL yang diproses menggunakan HQE menjadi pernyataan SQL Software Development Kit (SDK) yang sesuai dengan karakteristik rencana tetap. Ini meningkatkan kinerja. Tabel berikut mencantumkan parameter Grand Unified Configuration (GUC) yang dapat digunakan untuk mendukung penggunaan rencana tetap. Kami merekomendasikan Anda mengatur parameter ke on di tingkat database. Untuk informasi lebih lanjut tentang cara menggunakan rencana tetap, lihat Percepat Eksekusi Pernyataan SQL dengan Menggunakan Rencana Tetap.

    Skenario	Pengaturan GUC	Deskripsi
    Gunakan rencana tetap untuk mengeksekusi pernyataan INSERT ON CONFLICT untuk menyisipkan data ke beberapa baris.	alter database <databasename> set hg_experimental_enable_fixed_dispatcher_for_multi_values =on;	Kami merekomendasikan Anda mengatur parameter GUC ini ke on di tingkat database.
    Gunakan rencana tetap untuk menulis data ke kolom tipe data SERIAL.	alter database <databasename> set hg_experimental_enable_fixed_dispatcher_autofill_series =on;	Kami merekomendasikan Anda tidak menentukan tipe data SERIAL untuk tabel. Tipe data ini memengaruhi kinerja penulisan secara negatif. Parameter GUC ini diatur ke on secara default di Hologres V1.3.25 dan versi lebih baru.
    Gunakan rencana tetap untuk menulis data ke kolom yang memiliki properti default yang dikonfigurasikan.	Di Hologres V1.3 dan versi lebih baru, jika Anda mengeksekusi pernyataan INSERT ON CONFLICT untuk menulis data ke kolom yang memiliki properti default yang dikonfigurasikan, rencana tetap digunakan secara default.	Kami merekomendasikan Anda tidak mengonfigurasikan properti default untuk tabel. Properti default memengaruhi kinerja penulisan secara negatif. Di Hologres V1.1, pernyataan pada kolom yang memiliki properti default yang dikonfigurasikan tidak dapat diproses menggunakan rencana tetap. Di Hologres V1.3 dan versi lebih baru, pernyataan pada kolom yang memiliki properti default yang dikonfigurasikan dapat diproses menggunakan rencana tetap.
    Gunakan rencana tetap untuk melakukan operasi UPDATE berdasarkan primary key.	alter database <databasename> set hg_experimental_enable_fixed_dispatcher_for_update =on;	Di Hologres V1.3.25 dan versi lebih baru, parameter GUC ini diatur ke on secara default.
    Gunakan rencana tetap untuk melakukan operasi DELETE berdasarkan primary key.	alter database <databasename> set hg_experimental_enable_fixed_dispatcher_for_delete =on;	Di Hologres V1.3.25 dan versi lebih baru, parameter GUC ini diatur ke on secara default.

    Jika pernyataan SQL dieksekusi menggunakan rencana tetap, jenis pernyataan tersebut ditampilkan sebagai SDK di bagian Real-time Import(RPS) metric pada halaman Informasi Pemantauan di konsol Hologres, seperti yang ditunjukkan pada gambar berikut. Jenis mesin yang ditentukan oleh engine_type dari pernyataan SQL adalah SDK di log query lambat.

  • Kinerja penulisan tidak ditingkatkan dengan menggunakan rencana tetap

    Penyebab potensial untuk kinerja penulisan yang buruk setelah rencana tetap digunakan:

    • SDK berbasis rencana tetap dan HQE digunakan pada saat yang sama untuk menulis data ke atau memperbarui data di tabel. HQE menyebabkan tabel terkunci. Akibatnya, penulisan data menggunakan SDK harus menunggu kunci dilepaskan, yang memakan waktu. Anda dapat mengeksekusi pernyataan SQL berikut untuk memeriksa pernyataan yang diproses menggunakan HQE. Ubah pernyataan tersebut menjadi pernyataan SQL SDK berdasarkan kebutuhan bisnis Anda. Anda dapat menggunakan fitur Query Insight dari HoloWeb untuk dengan cepat memeriksa apakah query yang menggunakan rencana tetap sedang menunggu kunci yang disebabkan oleh HQE dilepaskan. Untuk informasi lebih lanjut, lihat Query Insight.

      -- Query the INSERT, UPDATE, and DELETE statements that are executed without using fixed plans in the previous 3 hours.
      SELECT
          *
      FROM
          hologres.hg_query_log
      WHERE
          query_start >= now() - interval '3 h'
          AND command_tag IN ('INSERT', 'UPDATE', 'DELETE')
          AND ARRAY['HQE'] && engine_type
          AND table_write = '<table_name>'
      ORDER BY
          query_start DESC
      LIMIT 500;

    • Jika data ditulis menggunakan SDK tetapi kinerja penulisan buruk, periksa metrik CPU Utilization (%). Jika penggunaan CPU tetap tinggi, lakukan scale out instance Anda.

• Nonaktifkan pencatatan biner untuk meningkatkan throughput penulisan

  Log biner Hologres mencatat perubahan data yang disebabkan oleh mengeksekusi pernyataan INSERT, UPDATE, atau DELETE, termasuk perubahan data di setiap baris. Kode contoh berikut menunjukkan pernyataan UPDATE yang dieksekusi untuk memperbarui data tabel yang memiliki pencatatan biner diaktifkan:

  update tbl set body =new_body where id='1';

  Log biner mencatat data dari semua kolom dalam baris. Untuk pembuatan log biner, diperlukan query titik pada semua kolom dalam baris tabel tujuan berdasarkan bidang filter. Dalam contoh ini, query titik dilakukan berdasarkan bidang id. Query titik pada tabel berorientasi kolom mengonsumsi lebih banyak sumber daya dibandingkan yang dilakukan pada tabel berorientasi baris. Mode penyimpanan diurutkan dalam urutan menurun berdasarkan kinerja dalam menulis data ke tabel dengan pencatatan biner diaktifkan: Tabel Berorientasi Baris > Tabel Berorientasi Kolom.

• Cegah melakukan operasi penulisan real-time dan offline pada saat yang sama

  Jika Anda menulis data dalam mode offline, misalnya, dari MaxCompute ke tabel Hologres, tabel Hologres terkunci. Jika Anda menggunakan Flink atau DataWorks Data Integration untuk menulis data ke tabel Hologres secara real-time menggunakan rencana tetap, hanya baris tempat Anda menyisipkan data yang terkunci. Jika operasi penulisan offline dan real-time dilakukan pada tabel yang sama secara bersamaan, tabel akan terkunci karena operasi penulisan offline. Ini meningkatkan latensi dan mengurangi kinerja penulisan real-time. Oleh karena itu, kami merekomendasikan Anda mencegah melakukan operasi penulisan real-time dan offline pada tabel yang sama secara bersamaan.

Anda dapat menggunakan metode berikut untuk meningkatkan kinerja penulisan saat menulis data menggunakan klien seperti Holo Client atau JDBC.

• Lakukan operasi penulisan batch

  Saat menulis data menggunakan klien, operasi penulisan batch mencapai throughput lebih tinggi dibandingkan operasi penulisan tunggal. Operasi penulisan batch meningkatkan kinerja penulisan.

  • Saat menggunakan Holo Client, Hologres secara otomatis melakukan operasi penulisan batch. Kami merekomendasikan Anda menggunakan pengaturan default Holo Client. Untuk informasi lebih lanjut, lihat Holo Client.

  • Saat menggunakan JDBC, atur parameter WriteBatchedInserts ke true untuk mengimplementasikan operasi penulisan batch. Contoh kode berikut menunjukkan perintah yang digunakan untuk mengimplementasikan operasi penulisan batch. Untuk informasi lebih lanjut tentang JDBC, lihat JDBC.

    jdbc:postgresql://{ENDPOINT}:{PORT}/{DBNAME}?ApplicationName={APPLICATION_NAME}&reWriteBatchedInserts=true

  Contoh berikut menunjukkan cara mengubah dua pernyataan SQL terpisah yang tidak mendukung operasi penulisan batch menjadi satu pernyataan SQL yang mendukung operasi penulisan batch:

  -- Dua pernyataan SQL yang tidak mendukung operasi penulisan batch:
  insert into data_t values (1, 2, 3);
  insert into data_t values (2, 3, 4);
  
  -- Pernyataan SQL yang mendukung operasi penulisan batch:
  insert into data_t values (1, 2, 3), (4, 5, 6);
  -- Pernyataan SQL lain yang mendukung operasi penulisan batch:
  insert into data_t select unnest(ARRAY[1, 4]::int[]), unnest(ARRAY[2, 5]::int[]), unnest(ARRAY[3, 6]::int[]);

• Tulis data dengan mengeksekusi pernyataan yang disiapkan

  Hologres kompatibel dengan ekosistem PostgreSQL dan dibangun di atas protokol yang diperluas dari PostgreSQL. Hologres memungkinkan Anda mengeksekusi pernyataan yang disiapkan untuk menyimpan hasil kompilasi SQL server. Ini mengurangi overhead yang disebabkan oleh komponen seperti frontend (FE) dan QO, serta meningkatkan kinerja penulisan.

  Untuk informasi lebih lanjut tentang cara mengeksekusi pernyataan yang disiapkan untuk menulis data menggunakan JDBC atau Holo Client, lihat JDBC.

Setelah menggunakan metode optimasi yang dijelaskan dalam bagian sebelumnya dari topik ini untuk mengoptimalkan kinerja penulisan, kinerja penulisan dapat ditingkatkan dalam sebagian besar kasus. Jika kinerja penulisan tidak memenuhi harapan Anda, periksa faktor lain yang memengaruhi kinerja penulisan, seperti pengaturan indeks dan distribusi data. Bagian ini memperkenalkan metode optimasi lanjutan untuk meningkatkan kinerja penulisan berdasarkan metode optimasi dasar. Metode optimasi lanjutan digunakan untuk mengoptimalkan kinerja dalam hal prinsip teknis Hologres.

• Distribusi Data yang Tidak Merata

  Jika data didistribusikan secara tidak merata atau kunci distribusi yang ditentukan tidak valid, sumber daya komputasi instance Hologres tidak dapat didistribusikan secara merata. Ini mengurangi efisiensi penggunaan sumber daya dan memengaruhi kinerja penulisan. Untuk informasi lebih lanjut tentang pemecahan masalah distribusi data yang tidak merata dan solusinya, lihat Query Alokasi Shard di Antara Worker.

• Pengaturan Kunci Segmen yang Tidak Valid

  Saat menulis data ke tabel berorientasi kolom yang mana kunci segmen yang ditentukan untuk tabel tidak sesuai, kinerja penulisan terpengaruh. Seiring dengan meningkatnya volume data tabel, kinerja penulisan menurun. Kunci segmen digunakan untuk membagi file dasar. Saat menulis data ke atau memperbarui data dalam tabel, Hologres memeriksa data lama berdasarkan primary key. Untuk tabel berorientasi kolom, Hologres menemukan file dasar berdasarkan kunci segmen. Sejumlah besar file perlu dipindai selama query data jika tidak ada atau kunci segmen yang tidak valid ditentukan untuk tabel berorientasi kolom atau kolom yang membentuk kunci segmen tidak memiliki korelasi kuat dengan waktu. Misalnya, data dalam kolom yang membentuk kunci segmen tidak berurutan. Dalam hal ini, sejumlah besar operasi I/O dilakukan, dan sejumlah besar sumber daya CPU dikonsumsi. Akibatnya, kinerja penulisan menurun, dan beban pada instance meningkat. Dalam bagian metrik I/O Throughput pada halaman Informasi Pemantauan di konsol Hologres, nilai metrik Read tinggi meskipun pekerjaan yang sedang berlangsung melibatkan terutama operasi penulisan.

  Oleh karena itu, kami merekomendasikan Anda menentukan kolom tipe data TIMESTAMP atau DATE sebagai kunci segmen, dan pastikan bahwa data yang ingin Anda sisipkan memiliki korelasi kuat dengan waktu penulisan.

• Pengaturan Kunci Kluster yang Tidak Tepat

  Jika primary key ditentukan untuk tabel, Hologres memeriksa data lama dalam tabel berdasarkan primary key saat Anda menulis data ke atau memperbarui data dalam tabel.

  • Untuk tabel berorientasi baris, jika kunci kluster tidak konsisten dengan primary key, Hologres memeriksa data berdasarkan primary key dan kunci kluster secara terpisah. Ini meningkatkan latensi penulisan. Oleh karena itu, kami merekomendasikan Anda mengonfigurasikan kolom yang sama sebagai kunci kluster dan primary key untuk tabel berorientasi baris.

  • Untuk tabel berorientasi kolom, pengaturan kunci kluster terutama memengaruhi kinerja query tetapi tidak memengaruhi kinerja penulisan.