DataWorks：Sumber data MySQL

Parameter

Deskripsi

Data Source Name

Nama sumber data. Nama harus unik dalam ruang kerja. Gunakan nama yang mengidentifikasi bisnis dan lingkungan, misalnya rds_mysql_order_dev.

Configuration Mode

Pilih mode instans Alibaba Cloud. Untuk informasi selengkapnya, lihat Skenario 1: Mode instans (akun Alibaba Cloud saat ini) dan Skenario 2: Mode instans (akun Alibaba Cloud lain).

Alibaba Cloud Account

Pilih akun tempat instans berada. Jika Anda memilih Other Alibaba Cloud Account, Anda harus mengonfigurasi izin cross-account. Untuk informasi selengkapnya, lihat Otorisasi cross-account (RDS, Hive, atau Kafka).

Jika Anda memilih Other Alibaba Cloud Account, Anda harus menentukan informasi berikut:

• Other Alibaba Cloud Account ID: ID akun Alibaba Cloud tempat instans berada.

• RAM Role for Authorization: Peran RAM yang disediakan oleh akun Alibaba Cloud lain. Peran ini harus memiliki izin untuk menggunakan instans tujuan.

Region

Wilayah tempat instans berada.

Instance

Nama instans yang ingin Anda hubungkan.

Configure Secondary Instance

Jika sumber data memiliki instans hanya baca (read replica), Anda dapat memilih read replica untuk operasi baca saat mengonfigurasi tugas. Ini mencegah gangguan pada database utama dan tidak memengaruhi performanya.

Instance Address

Setelah memilih instans yang benar, klik Get Latest Endpoint untuk melihat endpoint publik atau pribadi, VPC, dan vSwitch instans.

Database

Nama database yang perlu diakses oleh sumber data. Pastikan pengguna yang ditentukan memiliki izin untuk mengakses database tersebut.

Username/Password

Username dan password akun database MySQL. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelola akun di bagian Account Management instans.

Enable Binary Log Reading from OSS

Jika Anda mengaktifkan fitur ini, ketika DataWorks tidak dapat mengakses log biner RDS, sistem akan mencoba mendapatkan log biner dari OSS. Ini mencegah tugas sinkronisasi real-time terganggu. Untuk informasi selengkapnya tentang konfigurasi, lihat Konfigurasikan otorisasi untuk membaca log biner dari OSS. Kemudian, atur OSS Binlog Access Identity berdasarkan konfigurasi otorisasi.

Authentication Method

Anda dapat memilih No Authentication atau SSL Authentication. Jika memilih SSL Authentication, autentikasi SSL harus diaktifkan pada instans itu sendiri. Siapkan file sertifikat dan unggah ke Certificate File Management.

Version

Anda dapat login ke server MySQL dan menjalankan perintah `SELECT VERSION()` untuk melihat nomor versi.

Parameter

Deskripsi

Data Source Name

Nama sumber data. Nama harus unik dalam ruang kerja. Gunakan nama yang mengidentifikasi bisnis dan lingkungan, misalnya rds_mysql_order_dev.

Configuration Mode

Pilih Connection String Mode. Mode ini menghubungkan ke database menggunakan URL JDBC.

JDBC Connection String Preview

Setelah Anda memasukkan endpoint dan nama database, DataWorks secara otomatis menggabungkannya menjadi URL JDBC untuk Anda pratinjau.

Connection Address

Host IP: Alamat IP atau nama domain host database. Jika database adalah instans RDS Alibaba Cloud, Anda dapat melihat endpoint di halaman produk instans.

Port: Port database. Nilai default adalah 3306.

Database Name

Nama database yang perlu diakses oleh sumber data. Pastikan pengguna yang ditentukan memiliki izin untuk mengakses database tersebut.

Username/Password

Username dan password akun database MySQL. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelola akun di bagian Account Management instans.

Version

Anda dapat login ke server MySQL dan menjalankan perintah `SELECT VERSION()` untuk melihat nomor versi.

Authentication Method

Anda dapat memilih No Authentication atau SSL Authentication. Jika memilih SSL Authentication, autentikasi SSL harus diaktifkan pada instans itu sendiri. Siapkan file sertifikat dan unggah ke Authentication File Management.

Advanced Parameters

Parameter: Klik daftar drop-down parameter dan pilih nama parameter yang didukung, seperti connectTimeout.

Value: Masukkan nilai untuk parameter yang dipilih, seperti 3000.

URL kemudian diperbarui secara otomatis menjadi: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=50000.

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel tempat data akan disinkronkan. Tugas integrasi data hanya dapat membaca data dari satu tabel.

Ya

Tidak ada

column

Kumpulan nama kolom yang akan disinkronkan dari tabel yang dikonfigurasi. Gunakan array JSON untuk menggambarkan informasi field. Secara default, semua kolom dikonfigurasi, misalnya [*].

• Pemotongan kolom: Anda dapat memilih subset kolom untuk diekspor.

• Pengurutan ulang kolom: Anda dapat mengekspor kolom dalam urutan yang berbeda dari skema tabel.

• Konfigurasi konstanta: Anda harus mengikuti format sintaks SQL MySQL. Contoh: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"].

  • id adalah nama kolom biasa.

  • table adalah nama kolom yang merupakan kata tercadang.

  • 1 adalah konstanta integer.

  • 'mingya.wmy' adalah konstanta string. Perhatikan bahwa harus diapit tanda kutip tunggal.

  • Tentang null:

    • " " menunjukkan string kosong.

    • null menunjukkan nilai null.

    • 'null' menunjukkan string "null".

  • to_char(a+1) adalah fungsi untuk menghitung panjang string.

  • 2.3 adalah bilangan titik mengambang.

  • true adalah Nilai Boolean.

• Parameter column harus secara eksplisit menentukan kumpulan kolom yang akan disinkronkan. Tidak boleh kosong.

Ya

Tidak ada

splitPk

Saat MySQL Reader mengekstrak data, menentukan parameter splitPk akan melakukan sharding data berdasarkan field yang diwakili oleh splitPk. Hal ini memungkinkan sinkronisasi data berjalan sebagai tugas konkuren, yang meningkatkan efisiensi sinkronisasi.

• Kami menyarankan Anda menggunakan primary key tabel untuk splitPk. Primary key biasanya terdistribusi merata, yang membantu mencegah hot spot data di shard.

• Saat ini, splitPk hanya mendukung sharding untuk tipe data integer. Tidak mendukung string, bilangan titik mengambang, atau tanggal. Jika Anda menentukan tipe data yang tidak didukung, fungsi splitPk diabaikan, dan satu channel digunakan untuk sinkronisasi.

• Jika Anda tidak menentukan splitPk, termasuk tidak menyediakan splitPk atau membiarkan nilai splitPk kosong, sinkronisasi data menggunakan satu channel untuk menyinkronkan data tabel.

Tidak

Tidak ada

splitFactor

Faktor sharding. Anda dapat mengonfigurasi jumlah shard untuk sinkronisasi data. Jika Anda mengonfigurasi beberapa thread konkuren, data di-shard menjadi `jumlah thread konkuren × splitFactor` bagian. Misalnya, jika jumlah thread konkuren adalah 5 dan splitFactor adalah 5, data di-shard menjadi 5 × 5 = 25 bagian dan diproses oleh 5 thread konkuren.

Tidak

5

where

Kondisi filter. Dalam banyak skenario bisnis, Anda mungkin hanya ingin menyinkronkan data hari ini. Anda dapat mengatur kondisi where menjadi gmt_create>$bizdate.

• Kondisi where dapat digunakan untuk sinkronisasi inkremental yang efisien. Jika Anda tidak menentukan pernyataan where, atau jika kunci atau nilai where kosong, semua data disinkronkan.

• Jangan mengatur kondisi where menjadi `limit 10`. Ini tidak sesuai dengan batasan klausa WHERE SQL MySQL.

Tidak

Tidak ada

querySql (Mode lanjutan. Parameter ini tidak didukung di Antarmuka tanpa kode.)

Dalam beberapa skenario bisnis, parameter `where` tidak cukup untuk menggambarkan kondisi filter. Anda dapat menggunakan parameter ini untuk mendefinisikan pernyataan SQL filter kustom. Jika Anda mengonfigurasi parameter ini, sistem mengabaikan parameter `tables`, `columns`, dan `splitPk` dan menggunakan isi parameter ini untuk memfilter data. Misalnya, untuk menyinkronkan data setelah penggabungan tabel ganda, gunakan select a,b from table_a join table_b on table_a.id = table_b.id. Saat Anda mengonfigurasi querySql, MySQL Reader mengabaikan konfigurasi table, column, where, dan splitPk. Parameter querySql memiliki prioritas lebih tinggi daripada parameter table, column, where, dan splitPk. Parameter datasource digunakan untuk mengurai informasi seperti username dan password.

Tidak

Tidak ada

useSpecialSecret

Jika Anda memiliki beberapa sumber data sumber, tentukan apakah akan menggunakan password masing-masing sumber data. Nilai yang valid:

• true

• false

Jika Anda telah mengonfigurasi beberapa sumber data sumber dan setiap sumber data menggunakan username dan password yang berbeda, Anda dapat mengatur parameter ini ke true untuk menggunakan password masing-masing sumber data.

Tidak

false

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel tempat data akan disinkronkan.

Ya

Tidak ada

writeMode

Mode impor. Anda dapat memilih INSERT INTO, ON DUPLICATE KEY UPDATE, atau REPLACE INTO.

• insert into: Jika terjadi konflik primary key atau unique index, baris yang bertentangan tidak ditulis dan dianggap sebagai data kotor.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke insert.

• on duplicate key update: Jika tidak terjadi konflik primary key atau unique index, perilakunya sama dengan insert into. Jika terjadi konflik, nilai field yang ditentukan pada baris yang ada diganti dengan nilai dari baris baru.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke update.

• replace into: Jika tidak terjadi konflik primary key atau unique index, perilakunya sama dengan insert into. Jika terjadi konflik, baris yang ada dihapus, dan baris baru dimasukkan. Baris baru menggantikan semua field baris yang ada.

  Jika Anda mengonfigurasi tugas di editor kode, atur writeMode ke replace.

Tidak

insert

nullMode

Kebijakan untuk menangani nilai null. Nilai yang valid:

• writeNull: Jika field sumber memiliki nilai NULL, nilai NULL ditulis ke field tujuan.

• skipNull: Jika field sumber memiliki nilai NULL, field tujuan tidak ditulis. Jika field tujuan memiliki nilai default yang ditentukan, nilai default tersebut digunakan. Jika tidak ada nilai default yang ditentukan, nilai kolom tersebut adalah NULL. Saat Anda mengonfigurasi parameter ini, Anda juga harus mengonfigurasi parameter skipNullColumn.

Tidak

writeNull

skipNullColumn

Saat nullMode diatur ke skipNull, kolom yang dikonfigurasi untuk parameter ini tidak dipaksa ditulis sebagai NULL. Nilai default kolom yang sesuai digunakan dengan prioritas.

Format: ["c1","c2",...], di mana c1 dan c2 harus merupakan subset dari parameter column.

Tidak

Secara default, semua kolom yang dikonfigurasi untuk tugas.

column

Field di tabel tujuan tempat data akan ditulis. Pisahkan field dengan koma (,), misalnya "column":["id","name","age"]. Untuk menulis ke semua kolom secara berurutan, gunakan tanda bintang (*), misalnya "column":["*"].

Ya

Tidak ada

preSql

Pernyataan SQL yang akan dijalankan sebelum tugas sinkronisasi data dimulai. Di Antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menghapus data lama dari tabel sebelum eksekusi: `TRUNCATE TABLE tablename`.

Tidak

Tidak ada

postSql

Pernyataan SQL yang akan dijalankan setelah tugas sinkronisasi data selesai. Di Antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menambahkan timestamp: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Tidak

Tidak ada

batchSize

Jumlah catatan yang akan dikirimkan dalam satu batch. Nilai yang lebih besar secara signifikan dapat mengurangi interaksi jaringan antara sistem sinkronisasi data dan MySQL serta meningkatkan throughput keseluruhan. Jika nilai ini diatur terlalu tinggi, dapat menyebabkan error kehabisan memori (OOM) dalam proses sinkronisasi data.

Tidak

256

updateColumn

Saat writeMode diatur ke update, ini adalah field yang akan diperbarui ketika terjadi konflik primary key atau unique index. Pisahkan field dengan koma (,), misalnya "updateColumn":["name","age"].

Tidak

Tidak ada