DataWorks:Sumber data MySQL

Parameter

Deskripsi

Data Source Name

Nama sumber data harus unik dalam ruang kerja. Kami menyarankan menggunakan nama yang secara jelas mengidentifikasi bisnis dan lingkungan, misalnya, rds_mysql_order_dev.

Configuration Mode

Pilih mode instans Alibaba Cloud. Untuk informasi selengkapnya tentang mode konfigurasi, lihat Skenario 1: Instance Mode (Current Cloud Account) dan Skenario 2: Instance Mode (Other Cloud Account).

Alibaba Cloud Account

Pilih akun cloud tempat instans tersebut berada. Jika Anda memilih Another Alibaba Cloud Account, Anda harus mengonfigurasi izin cross-account. Untuk informasi selengkapnya, lihat Cross-Account Authorization (RDS, Hive, or Kafka).

Jika Anda memilih akun cloud lain, berikan informasi berikut:

• Main account ID: ID akun utama yang memiliki instans tersebut.

• RAM role name: Peran RAM yang disediakan oleh akun cloud lain. Peran ini harus memiliki izin yang diperlukan untuk mengakses instans target.

Region

Wilayah instans.

Instance

Pilih nama instans yang akan dihubungkan.

Standby library settings

Jika instans RDS Anda memiliki read-only instance (instans standby), Anda dapat mengonfigurasi tugas untuk membaca data darinya. Hal ini mencegah operasi baca mengganggu performa instans utama.

Instance Address

Setelah memilih instans yang benar, klik Get Latest Address untuk melihat informasi seperti alamat publik/pribadi, VPC, dan VSwitch-nya.

Database

Nama database tempat sumber data terhubung. Pastikan pengguna yang ditentukan memiliki izin yang diperlukan untuk mengakses database ini.

Access identity

Pilih sumber kredensial yang digunakan DataWorks untuk mengakses MySQL. Opsi berikut didukung:

• Username and password: Masukkan username dan password untuk database MySQL. DataWorks menyimpannya dengan enkripsi simetris. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelolanya di bagian account management instans tersebut.

• Key Management Service: Gunakan rahasia generik yang di-host di Alibaba Cloud Key Management Service (KMS). Anda harus terlebih dahulu membuat rahasia generik di KMS. Untuk informasi selengkapnya, lihat Kelola dan gunakan rahasia generik. Kemudian, di sumber data, pilih Kms Region tempat rahasia generik KMS berada, lalu pilih rahasia generik target dari KMS List. Konten rahasia generik KMS mendukung dua format JSON berikut:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Catatan

  Setelah konten rahasia generik KMS diubah, DataWorks menyimpan cache rahasia tersebut hingga 5 menit. Rahasia baru akan berlaku paling lambat dalam waktu 5 menit.

Support OSS binlog reading

Jika diaktifkan, DataWorks mencoba mengambil binlog dari OSS ketika binlog RDS tidak dapat diakses. Hal ini mencegah gangguan pada tugas sinkronisasi real-time. Untuk informasi selengkapnya, lihat Konfigurasi otorisasi untuk membaca binlog OSS. Berdasarkan konfigurasi otorisasi Anda, atur OSS binlog access identity.

Authentication Method

Pilih tanpa autentikasi atau autentikasi SSL. Jika Anda memilih autentikasi SSL, pastikan fitur tersebut juga diaktifkan pada instans. Siapkan file sertifikat dan unggah ke Authentication File Management.

Version

Masuk ke server MySQL dan jalankan kueri SELECT VERSION() untuk memeriksa nomor versi.

Parameter

Deskripsi

Data Source Name

Nama sumber data harus unik dalam ruang kerja. Kami menyarankan menggunakan nama yang secara jelas mengidentifikasi bisnis dan lingkungan, misalnya, rds_mysql_order_dev.

Configuration Mode

Pilih User-created Data Store with Public IP Addresses. Dalam mode ini, URL JDBC digunakan untuk terhubung ke database.

Connection string preview

Setelah memasukkan alamat koneksi dan nama database, DataWorks secara otomatis menghasilkan pratinjau URL JDBC.

Connection Address

Alamat host: Masukkan alamat akses aktual server database. Pastikan alamat tersebut dapat diakses melalui jaringan dari kelompok sumber daya DataWorks. Skenario umum meliputi:

• Akses dalam VPC yang sama: Masukkan alamat IP internal (private).

• Akses melalui Internet atau gerbang NAT: Masukkan Alamat IP publik atau Alamat IP NAT.

Jika database adalah instans Alibaba Cloud RDS, Anda dapat menemukan alamat tersebut di halaman Database Connection pada detail instans.

Nomor port: Port database. Nilai default adalah 3306.

Database Name

Nama database tempat sumber data terhubung. Pastikan pengguna yang ditentukan memiliki izin yang diperlukan untuk mengakses database ini.

Access identity

Pilih sumber kredensial yang digunakan DataWorks untuk mengakses MySQL. Opsi berikut didukung:

• Username and password: Masukkan username dan password untuk database MySQL. DataWorks menyimpannya dengan enkripsi simetris. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelolanya di bagian account management instans tersebut.

• Key Management Service: Gunakan rahasia generik yang di-host di Alibaba Cloud Key Management Service (KMS). Anda harus terlebih dahulu membuat rahasia generik di KMS. Untuk informasi selengkapnya, lihat Kelola dan gunakan rahasia generik. Kemudian, di sumber data, pilih Kms Region tempat rahasia generik KMS berada, lalu pilih rahasia generik target dari KMS List. Konten rahasia generik KMS mendukung dua format JSON berikut:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Catatan

  Setelah konten rahasia generik KMS diubah, DataWorks menyimpan cache rahasia tersebut hingga 5 menit. Rahasia baru akan berlaku paling lambat dalam waktu 5 menit.

Version

Masuk ke server MySQL dan jalankan kueri SELECT VERSION() untuk memeriksa nomor versi.

Authentication Method

Pilih tanpa autentikasi atau autentikasi SSL. Jika Anda memilih autentikasi SSL, pastikan fitur tersebut juga diaktifkan pada instans. Siapkan file sertifikat dan unggah ke Authentication File Management.

Advanced Parameters

Parameter: Pilih parameter yang didukung dari daftar drop-down, misalnya, connectTimeout.

Nilai: Masukkan nilai yang sesuai untuk parameter yang dipilih, misalnya, 3000.

URL JDBC kemudian secara otomatis diperbarui menjadi: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=3000.

Misalnya, jika Anda mengalami error terkait zona waktu atau perlu menentukan zona waktu, klik Add Property, pilih serverTimezone sebagai parameter, lalu masukkan zona waktu target seperti Asia/Shanghai. Simpan konfigurasi sumber data dan jalankan ulang tugas tersebut.

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data yang akan dibaca. Nama ini harus sesuai dengan sumber data yang dikonfigurasi di editor kode.

Ya

Tidak ada

table

Nama tabel sumber yang akan disinkronkan. Tugas Data Integration hanya dapat membaca data dari satu tabel logis.

Ya

Tidak ada

column

Array JSON yang menentukan kolom yang akan dibaca dari tabel sumber. Untuk memilih semua kolom, gunakan ["*"].

• Pemangkasan kolom: Anda dapat mengekspor subset kolom.

• Pengurutan ulang kolom: Anda dapat mengekspor kolom dalam urutan yang berbeda dari skema tabel.

• Nilai konstan: Anda dapat mengonfigurasi nilai konstan. Nilai-nilai tersebut harus mengikuti sintaks SQL MySQL. Contoh: ["id","`table`","1","'mingya.wmy'","'null'","to_char(a+1)","2.3",true].

  • id adalah nama kolom biasa.

  • `table` adalah nama kolom yang merupakan kata kunci yang dicadangkan.

  • 1 adalah konstanta integer.

  • 'mingya.wmy' adalah konstanta string. Harus diapit tanda kutip tunggal.

  • Penanganan nilai null:

    • " " merepresentasikan string yang berisi satu spasi.

    • null merepresentasikan nilai NULL.

    • 'null' merepresentasikan string literal "null".

  • to_char(a+1) adalah fungsi konversi string.

  • 2.3 adalah bilangan titik mengambang.

  • true adalah nilai boolean.

• Anda harus secara eksplisit menentukan kolom dalam parameter column. Parameter ini tidak boleh kosong.

Ya

Tidak ada

splitPk

Saat MySQL Reader mengekstrak data, jika Anda menentukan parameter splitPk, berarti Anda ingin menggunakan bidang yang direpresentasikan oleh splitPk untuk sharding data. Data Integration kemudian meluncurkan tugas konkuren untuk melakukan sinkronisasi data, yang meningkatkan efisiensi sinkronisasi.

• Untuk performa terbaik, gunakan primary key tabel sebagai splitPk.

• Saat ini, splitPk hanya mendukung pemisahan data untuk tipe integer. Tidak mendukung tipe lain seperti string, titik mengambang, atau tanggal. Jika Anda menentukan tipe data yang tidak didukung, fitur splitPk diabaikan, dan satu saluran digunakan untuk sinkronisasi.

• Jika Anda tidak menentukan splitPk, yaitu Anda tidak memberikan splitPk atau nilai splitPk kosong, sinkronisasi data diperlakukan sebagai sinkronisasi saluran tunggal untuk tabel tersebut.

Tidak

Tidak ada

splitFactor

Faktor sharding. Parameter ini mengontrol berapa banyak shard yang dibuat. Jika concurrency diaktifkan, data dibagi menjadi concurrency × splitFactor shard. Misalnya, jika concurrency adalah 5 dan splitFactor adalah 5, data dibagi menjadi 25 shard yang diproses oleh 5 thread konkuren.

Tidak

5

where

Kondisi filter. Dalam skenario tipikal, untuk hanya menyinkronkan data hari ini, Anda dapat mengatur kondisi where menjadi gmt_create > $bizdate.

• Klausa where memungkinkan Anda melakukan sinkronisasi inkremental secara efektif. Jika Anda tidak menentukan pernyataan where, termasuk tidak memberikan kunci atau nilai untuk where, sinkronisasi data diperlakukan sebagai sinkronisasi data penuh.

• Jangan gunakan klausa seperti LIMIT 10, karena tidak valid dalam klausa WHERE MySQL.

Tidak

Tidak ada

querySql (Hanya tersedia di editor kode; tidak didukung di antarmuka tanpa kode.)

Dalam beberapa kasus penggunaan, parameter where tidak cukup untuk menggambarkan kondisi filter yang diperlukan. Anda dapat menggunakan parameter ini untuk menentukan kueri SQL kustom untuk filtering. Setelah parameter ini dikonfigurasi, sistem sinkronisasi data mengabaikan parameter tables, columns, dan splitPk dan langsung menggunakan konten parameter ini untuk memfilter data. Misalnya, jika Anda perlu menyinkronkan data setelah penggabungan beberapa tabel, gunakan select a,b from table_a join table_b on table_a.id = table_b.id. Saat Anda mengonfigurasi querySql, MySQL Reader langsung mengabaikan konfigurasi kondisi tabel, kolom, where, dan splitPk. Parameter querySql memiliki prioritas lebih tinggi daripada opsi table, column, where, dan splitPk. datasource digunakan untuk mengurai informasi seperti username dan password.

Tidak

Tidak ada

useSpecialSecret

Menentukan apakah akan menggunakan password masing-masing sumber data individu saat Anda memiliki beberapa sumber data sumber. Nilai yang valid:

• true

• false

Jika Anda mengonfigurasi beberapa sumber data sumber yang memiliki username dan password berbeda, atur parameter ini ke true untuk menggunakan kredensial masing-masing sumber data.

Tidak

false

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data tujuan. Nama ini harus sesuai dengan sumber data yang dikonfigurasi di editor kode.

Ya

Tidak ada

table

Nama tabel tujuan.

Ya

Tidak ada

writeMode

Mode penulisan. Opsi yang didukung sesuai dengan pernyataan MySQL INSERT INTO, ON DUPLICATE KEY UPDATE, dan REPLACE INTO:

• insert: Jika terjadi konflik primary key atau unique index, tugas tidak menulis baris yang konflik dan mencatatnya sebagai data kotor.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke insert.

• on duplicate key update: Jika tidak terjadi konflik dengan primary key atau unique index, pernyataan berperilaku sama seperti insert into. Jika terjadi konflik, pernyataan memperbarui nilai bidang yang ditentukan dengan nilai dari baris baru dan menulis data ke MySQL.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke update.

• replace into: Saat tidak terjadi konflik dengan primary key atau unique index, berperilaku sama seperti insert into. Jika terjadi konflik, pertama-tama menghapus baris asli lalu memasukkan baris baru. Artinya, baris baru menggantikan semua bidang baris asli.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke replace.

Tidak

insert

nullMode

Menentukan kebijakan untuk menangani nilai NULL dari sumber. Nilai yang valid:

• writeNull: Jika bidang sumber adalah NULL, nilai NULL ditulis ke bidang tujuan.

• skipNull: Jika bidang sumber adalah NULL, bidang tujuan diabaikan dari operasi penulisan, memungkinkan nilai default database diterapkan. Jika tidak ada nilai default yang ditentukan, hasilnya biasanya NULL. Anda harus menentukan kolom yang berlaku dalam parameter skipNullColumn.

Tidak

writeNull

skipNullColumn

Saat nullMode diatur ke skipNull, kolom yang ditentukan oleh parameter ini tidak dipaksa menjadi NULL. Sebaliknya, nilai default masing-masing digunakan jika tersedia.

Format: ["c1","c2",...]. Kolom yang ditentukan seperti c1 dan c2 harus merupakan subset dari kolom yang ditentukan dalam parameter column.

Tidak

Semua kolom yang dikonfigurasi untuk tugas.

column

Kolom tujuan yang akan ditulis, ditentukan sebagai array JSON string. Contoh: "column":["id","name","age"]. Untuk menulis ke semua kolom dalam urutan skema, gunakan tanda bintang (*). Contoh: "column":["*"].

Ya

Tidak ada

preSql

Satu atau beberapa pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi dimulai. Antarmuka tanpa kode hanya mendukung satu pernyataan, sedangkan editor kode mendukung beberapa. Misalnya, Anda dapat menghapus data yang ada dari tabel: TRUNCATE TABLE tablename.

Tidak

Tidak ada

postSql

Satu atau beberapa pernyataan SQL yang dieksekusi setelah tugas sinkronisasi selesai. Antarmuka tanpa kode hanya mendukung satu pernyataan, sedangkan editor kode mendukung beberapa. Misalnya, Anda dapat menambahkan kolom timestamp dengan menggunakan pernyataan berikut: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Tidak

Tidak ada

batchSize

Jumlah catatan per batch penulisan. Nilai yang lebih besar mengurangi round-trip jaringan dan dapat meningkatkan throughput, tetapi mengatur nilai terlalu tinggi dapat menyebabkan error kehabisan memori (OOM).

Tidak

256

updateColumn

Saat writeMode diatur ke update, parameter ini menentukan kolom mana yang akan diperbarui saat terjadi konflik primary key atau unique index. Tentukan kolom dalam array JSON. Contoh: "updateColumn":["name","age"].

Tidak

Tidak ada