DataWorks：Sinkronisasi batch tabel MaxCompute tunggal ke ClickHouse

Parameter

Deskripsi

Tunnel Resource Group

Secara default, Public Transmission Resource digunakan. Jika Anda memiliki kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down.

Table

Pilih tabel MaxCompute yang ingin Anda sinkronkan. Jika Anda menggunakan ruang kerja DataWorks standar, pastikan tabel MaxCompute dengan nama dan skema tabel yang sama tersedia di lingkungan pengembangan maupun produksi.

• Anda tidak dapat menemukan tabel sumber dalam daftar drop-down selama konfigurasi jika tabel tersebut tidak ada di lingkungan pengembangan.

• Jika tabel sumber tidak ada di lingkungan produksi, tugas sinkronisasi akan gagal setelah dipublikasikan dan dijadwalkan berjalan karena tabel tidak ditemukan.

• Jika skema tabel di lingkungan pengembangan dan produksi tidak konsisten, pemetaan bidang yang digunakan selama eksekusi tugas mungkin berbeda dari pemetaan yang Anda konfigurasikan. Hal ini dapat menyebabkan penulisan data yang salah.

Filtering Method

Mendukung Partition Filtering dan Data Filter.

• Partition Filtering: Memfilter cakupan sinkronisasi data sumber tertentu menggunakan ekspresi partisi. Saat memilih metode ini, Anda perlu mengonfigurasi parameter Partition Information dan If partitions do not exist, .

• Data Filter: Menentukan data sumber yang akan disinkronkan menggunakan klausa WHERE SQL. (Jangan sertakan kata kunci WHERE.)

Partition

Parameter ini wajib diisi ketika Filtering Method diatur ke Partition. Anda dapat memasukkan nilai kolom partisi.

• Nilainya dapat berupa nilai tetap, seperti ds=20220101.

• Nilainya dapat berupa parameter sistem penjadwalan, seperti ds=${bizdate}. Saat tugas berjalan, sistem secara otomatis mengganti parameter ini dengan nilai yang sesuai.

• Anda dapat menentukan beberapa partisi.

If partitions do not exist,

Menentukan kebijakan yang diterapkan ketika partisi yang ditentukan tidak ada. Nilai yang valid:

• Error.

• the partitions are ignored and tasks are normally run.

Parameter

Deskripsi

Table

Pilih tabel ApsaraDB for ClickHouse tempat Anda ingin menyinkronkan data. Disarankan agar skema tabel untuk sumber data ApsaraDB for ClickHouse identik di lingkungan pengembangan dan produksi.

Primary or Unique Key Conflict Handling

Saat Anda memilih insert into, tugas integrasi memvalidasi keunikan primary key dan konflik constraint pada waktu proses.

Statement Run Before Writing

Anda dapat menjalankan pernyataan SQL sebelum dan sesudah tugas sinkronisasi data sesuai kebutuhan. Misalnya, sebelum sinkronisasi harian, Anda dapat menjalankan pernyataan untuk membersihkan partisi harian yang sesuai, sehingga partisi tersebut kosong sebelum data baru ditulis.

Statement Run After Writing

Batch Insert Size (Bytes)

Data ditulis ke ApsaraDB for ClickHouse secara batch. Parameter-parameter ini menentukan batas atas ukuran dalam byte dan jumlah catatan per batch. Ketika jumlah data yang di-cache mencapai ukuran byte atau jumlah catatan yang ditentukan, penulisan batch dipicu.

Disarankan untuk mengatur Batch size (Bytes) ke 16777216 (16 MB) dan mengatur Batch size (Records) ke nilai besar berdasarkan ukuran catatan tunggal Anda. Hal ini memastikan bahwa penulisan batch terutama dipicu oleh ukuran batch dalam byte.

Sebagai contoh, jika satu catatan berukuran 1 KB, Anda dapat mengatur Batch size (Bytes) ke 16777216 (16 MB) dan Batch size (Records) ke 20000 (yang lebih besar dari 16 MB/1 KB = 16384). Dalam kasus ini, penulisan dipicu setiap kali ukuran batch mencapai 16 MB.

Data Records Per Write

If a batch write fails

Menentukan kebijakan penanganan exception yang terjadi selama penulisan batch ke ApsaraDB for ClickHouse:

• Try single-row write. If it still fails, record it as dirty data.: Penulisan baris tunggal dapat digunakan untuk mengidentifikasi sejumlah kecil data kotor, tetapi berdampak signifikan pada beban ClickHouse. Anda harus memilih opsi ini dengan hati-hati.

• Exit on Sync Task Failure: Untuk memastikan stabilitas ClickHouse, Anda dapat memilih agar tugas keluar saat terjadi error penulisan. Dengan mengonfigurasi alert, Anda dapat segera diberi tahu dan melakukan intervensi manual untuk menangani error tersebut.

• Count batch write failures as dirty data.: Jika Anda ingin memastikan tugas berjalan hingga selesai dan dapat mentolerir data batch yang dibuang, Anda dapat memilih untuk menghitung data batch tersebut sebagai data kotor. Hal ini memungkinkan Anda menggunakan batas data kotor untuk mengontrol apakah tugas harus keluar.