DataWorks：Sumber data MySQL

Parameter

Deskripsi

Nama Sumber Data

Nama sumber data. Nama harus unik dalam ruang kerja. Gunakan nama yang mengidentifikasi bisnis dan lingkungan, seperti rds_mysql_order_dev.

Mode Konfigurasi

Pilih mode instans Alibaba Cloud. Untuk informasi selengkapnya, lihat Skenario 1: Mode instans (akun Alibaba Cloud saat ini) dan Skenario 2: Mode instans (akun Alibaba Cloud lain).

Akun Alibaba Cloud

Pilih akun yang memiliki instans. Jika Anda memilih Other Alibaba Cloud Account, Anda harus mengonfigurasi izin cross-account. Untuk informasi selengkapnya, lihat Otorisasi cross-account (RDS, Hive, atau Kafka).

Jika Anda memilih Akun Alibaba Cloud Lain, Anda harus menentukan informasi berikut:

• ID Akun Alibaba Cloud Lain: ID akun Alibaba Cloud yang memiliki instans.

• Peran RAM untuk Otorisasi: Peran RAM yang disediakan oleh akun Alibaba Cloud lain. Peran ini harus memiliki izin untuk menggunakan instans tujuan.

Wilayah

Wilayah tempat instans berada.

Instance

Nama instans yang ingin Anda hubungkan.

Konfigurasi Instans Sekunder

Jika sumber data memiliki instans hanya baca (read replica), Anda dapat memilih read replica untuk operasi baca saat mengonfigurasi tugas. Hal ini mencegah gangguan pada database utama dan tidak memengaruhi kinerjanya.

Alamat Instans

Setelah memilih instans yang benar, klik Dapatkan Titik Akhir Terbaru untuk melihat titik akhir publik atau privat, VPC, dan vSwitch instans.

Database

Nama database yang perlu diakses oleh sumber data. Pastikan pengguna yang ditentukan memiliki izin untuk mengakses database.

Username/Password

Username dan password akun database MySQL. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelola akun di bagian Account Management instans.

Aktifkan Pembacaan Log Biner dari OSS

Jika Anda mengaktifkan fitur ini, ketika DataWorks tidak dapat mengakses log biner RDS, sistem akan mencoba mendapatkan log biner dari OSS. Hal ini mencegah tugas sinkronisasi real-time terganggu. Untuk informasi selengkapnya tentang konfigurasi, lihat Konfigurasi otorisasi untuk membaca log biner dari OSS. Kemudian, atur OSS Binlog Access Identity berdasarkan konfigurasi otorisasi.

Metode Autentikasi

Anda dapat memilih Tanpa Autentikasi atau Autentikasi SSL. Jika Anda memilih Autentikasi SSL, autentikasi SSL harus diaktifkan pada instans itu sendiri. Siapkan file sertifikat dan unggah ke Certificate File Management.

Versi

Anda dapat login ke server MySQL dan menjalankan perintah `SELECT VERSION()` untuk melihat nomor versi.

Parameter

Deskripsi

Nama Sumber Data

Nama sumber data. Nama harus unik dalam ruang kerja. Gunakan nama yang mengidentifikasi bisnis dan lingkungan, seperti rds_mysql_order_dev.

Mode Konfigurasi

Pilih Connection String Mode. Mode ini menghubungkan ke database menggunakan URL JDBC.

Pratinjau String Koneksi JDBC

Setelah Anda memasukkan titik akhir dan nama database, DataWorks secara otomatis menggabungkannya menjadi URL JDBC untuk Anda pratinjau.

Alamat Koneksi

Host IP: Alamat IP atau nama domain host database. Jika database adalah instans RDS Alibaba Cloud, Anda dapat melihat titik akhir di halaman produk instans.

Port: Port database. Nilai default adalah 3306.

Nama Database

Nama database yang perlu diakses oleh sumber data. Pastikan pengguna yang ditentukan memiliki izin untuk mengakses database.

Username/Password

Username dan password akun database MySQL. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelola akun di bagian Account Management instans.

Versi

Anda dapat login ke server MySQL dan menjalankan perintah `SELECT VERSION()` untuk melihat nomor versi.

Metode Autentikasi

Anda dapat memilih Tanpa Autentikasi atau Autentikasi SSL. Jika Anda memilih Autentikasi SSL, autentikasi SSL harus diaktifkan pada instans itu sendiri. Siapkan file sertifikat dan unggah ke Authentication File Management.

Parameter Lanjutan

Parameter: Klik daftar drop-down parameter dan pilih nama parameter yang didukung, seperti connectTimeout.

Nilai: Masukkan nilai untuk parameter yang dipilih, seperti 3000.

URL kemudian diperbarui secara otomatis menjadi: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=50000

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel dari mana data akan disinkronkan. Tugas integrasi data hanya dapat membaca data dari satu tabel.

Ya

Tidak ada

column

Kumpulan nama kolom yang akan disinkronkan dari tabel yang dikonfigurasi. Gunakan array JSON untuk menggambarkan informasi field. Secara default, semua kolom dikonfigurasi, misalnya, [*].

• Pemangkasan kolom: Anda dapat memilih subset kolom untuk diekspor.

• Pengurutan ulang kolom: Anda dapat mengekspor kolom dalam urutan yang berbeda dari skema tabel.

• Konfigurasi konstanta: Anda harus mengikuti format sintaks SQL MySQL. Contoh: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"].

  • id adalah nama kolom biasa.

  • table adalah nama kolom yang merupakan kata tercadang.

  • 1 adalah konstanta integer.

  • 'mingya.wmy' adalah konstanta string. Perhatikan bahwa harus diapit tanda kutip tunggal.

  • Tentang null:

    • " " menunjukkan string kosong.

    • null menunjukkan nilai null.

    • 'null' menunjukkan string "null".

  • to_char(a+1) adalah fungsi untuk menghitung panjang string.

  • 2.3 adalah bilangan titik mengambang.

  • true adalah Nilai Boolean.

• Parameter column harus secara eksplisit menentukan kumpulan kolom yang akan disinkronkan. Parameter ini tidak boleh kosong.

Ya

Tidak ada

splitPk

Saat MySQL Reader mengekstrak data, menentukan parameter splitPk melakukan sharding data berdasarkan field yang diwakili oleh splitPk. Hal ini memungkinkan sinkronisasi data berjalan sebagai tugas konkuren, yang meningkatkan efisiensi sinkronisasi.

• Kami menyarankan Anda menggunakan primary key tabel untuk splitPk. Primary key biasanya terdistribusi merata, yang membantu mencegah hot spot data di shard.

• Saat ini, splitPk hanya mendukung sharding untuk tipe data integer. Tidak mendukung string, bilangan titik mengambang, atau tanggal. Jika Anda menentukan tipe data yang tidak didukung, fungsi splitPk diabaikan, dan satu channel digunakan untuk sinkronisasi.

• Jika Anda tidak menentukan splitPk, termasuk tidak memberikan splitPk atau meninggalkan nilai splitPk kosong, sinkronisasi data menggunakan satu channel untuk menyinkronkan data tabel.

Tidak

Tidak ada

splitFactor

Faktor sharding. Anda dapat mengonfigurasi jumlah shard untuk sinkronisasi data. Jika Anda mengonfigurasi beberapa thread konkuren, data di-shard menjadi `jumlah thread konkuren × splitFactor` bagian. Misalnya, jika jumlah thread konkuren adalah 5 dan splitFactor adalah 5, data di-shard menjadi 5 × 5 = 25 bagian dan diproses oleh 5 thread konkuren.

Tidak

5

where

Kondisi filter. Dalam banyak skenario bisnis, Anda mungkin hanya ingin menyinkronkan data untuk hari ini. Anda dapat mengatur kondisi where ke gmt_create>$bizdate.

• Kondisi where dapat digunakan untuk sinkronisasi inkremental yang efisien. Jika Anda tidak menentukan pernyataan where, atau jika kunci atau nilai where kosong, semua data disinkronkan.

• Jangan mengatur kondisi where ke `limit 10`. Hal ini tidak sesuai dengan batasan klausa WHERE SQL MySQL.

Tidak

Tidak ada

querySql (Mode lanjutan. Parameter ini tidak didukung di antarmuka tanpa kode.)

Dalam beberapa skenario bisnis, parameter `where` tidak cukup untuk menggambarkan kondisi filter. Anda dapat menggunakan parameter ini untuk mendefinisikan pernyataan SQL filter kustom. Jika Anda mengonfigurasi parameter ini, sistem mengabaikan parameter `tables`, `columns`, dan `splitPk` dan menggunakan konten parameter ini untuk memfilter data. Misalnya, untuk menyinkronkan data setelah penggabungan beberapa tabel, gunakan select a,b from table_a join table_b on table_a.id = table_b.id. Saat Anda mengonfigurasi querySql, MySQL Reader mengabaikan konfigurasi `table`, `column`, `where`, dan `splitPk`. Parameter querySql memiliki prioritas lebih tinggi daripada parameter table, column, where, dan splitPk. Parameter datasource digunakan untuk mengurai informasi seperti username dan password.

Tidak

Tidak ada

useSpecialSecret

Jika Anda memiliki beberapa sumber data sumber, tentukan apakah akan menggunakan password masing-masing sumber data. Nilai yang valid:

• true

• false

Jika Anda telah mengonfigurasi beberapa sumber data sumber dan masing-masing sumber data menggunakan username dan password yang berbeda, Anda dapat mengatur parameter ini ke true untuk menggunakan password masing-masing sumber data.

Tidak

false

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel yang akan disinkronkan data.

Ya

Tidak ada

writeMode

Mode impor. Anda dapat memilih INSERT INTO, ON DUPLICATE KEY UPDATE, atau REPLACE INTO.

• insert into: Jika terjadi konflik primary key atau unique index, baris yang bertentangan tidak ditulis dan dianggap sebagai data kotor.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke insert.

• on duplicate key update: Jika tidak terjadi konflik primary key atau unique index, perilakunya sama seperti insert into. Jika terjadi konflik, nilai field yang ditentukan pada baris yang ada diganti dengan nilai dari baris baru.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke update.

• replace into: Jika tidak terjadi konflik primary key atau unique index, perilakunya sama seperti insert into. Jika terjadi konflik, baris yang ada dihapus, dan baris baru dimasukkan. Baris baru menggantikan semua field baris yang ada.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke replace.

Tidak

insert

nullMode

Kebijakan untuk menangani nilai null. Nilai yang valid:

• writeNull: Jika field sumber memiliki nilai NULL, nilai NULL ditulis ke field tujuan.

• skipNull: Jika field sumber memiliki nilai NULL, field tujuan tidak ditulis. Jika field tujuan memiliki nilai default yang ditentukan, nilai default tersebut digunakan. Jika tidak ada nilai default yang ditentukan, nilai kolom adalah NULL. Saat mengonfigurasi parameter ini, Anda juga harus mengonfigurasi parameter skipNullColumn.

Tidak

writeNull

skipNullColumn

Saat nullMode diatur ke skipNull, kolom yang dikonfigurasi untuk parameter ini tidak dipaksa ditulis sebagai NULL. Nilai default kolom yang sesuai digunakan dengan prioritas.

Format: ["c1","c2",...], di mana c1 dan c2 harus merupakan subset dari parameter column.

Tidak

Secara default, semua kolom yang dikonfigurasi untuk tugas.

column

Field di tabel tujuan yang akan ditulis data. Pisahkan field dengan koma (,), misalnya, "column":["id","name","age"]. Untuk menulis ke semua kolom secara berurutan, gunakan tanda bintang (*), misalnya, "column":["*"].

Ya

Tidak ada

preSql

Pernyataan SQL yang akan dijalankan sebelum tugas sinkronisasi data dimulai. Di antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menghapus data lama dari tabel sebelum eksekusi: `TRUNCATE TABLE tablename`.

Tidak

Tidak ada

postSql

Pernyataan SQL yang akan dijalankan setelah tugas sinkronisasi data selesai. Di antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menambahkan timestamp: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Tidak

Tidak ada

batchSize

Jumlah catatan yang akan dikirimkan dalam satu batch. Nilai yang lebih besar dapat secara signifikan mengurangi interaksi jaringan antara sistem sinkronisasi data dan MySQL serta meningkatkan throughput keseluruhan. Jika nilai ini diatur terlalu tinggi, dapat menyebabkan error kehabisan memori (OOM) dalam proses sinkronisasi data.

Tidak

256

updateColumn

Saat writeMode diatur ke update, ini adalah field yang akan diperbarui saat terjadi konflik primary key atau unique index. Pisahkan field dengan koma (,), misalnya, "updateColumn":["name","age"].

Tidak

Tidak ada