DataWorks:Sumber data MySQL

Parameter

Deskripsi

Data Source Name

Nama sumber data harus unik dalam ruang kerja. Kami menyarankan menggunakan nama yang secara jelas mengidentifikasi bisnis dan lingkungan, misalnya, rds_mysql_order_dev.

Connection Mode

Pilih mode instans Alibaba Cloud. Untuk informasi selengkapnya tentang mode koneksi, lihat Skenario 1: Mode Instans (Akun Cloud Saat Ini) dan Skenario 2: Mode Instans (Akun Cloud Lain).

Alibaba Cloud Account

Pilih akun cloud tempat instans tersebut berada. Jika Anda memilih Another Alibaba Cloud Account, Anda harus mengonfigurasi izin lintas akun. Untuk informasi selengkapnya, lihat Otorisasi Lintas Akun (RDS, Hive, atau Kafka).

Jika Anda memilih akun cloud lain, berikan informasi berikut:

• ID akun utama: ID akun utama yang memiliki instans tersebut.

• Nama peran RAM: Peran RAM yang disediakan oleh akun cloud lain. Peran ini harus memiliki izin yang diperlukan untuk mengakses instans target.

Region

Wilayah instans tersebut.

Instance

Pilih nama instance yang akan dihubungkan.

Standby library settings

Jika instans RDS Anda memiliki instans read-only (instans cadangan), Anda dapat mengonfigurasi tugas untuk membaca data darinya. Hal ini mencegah operasi baca mengganggu performa instans utama.

Instance Address

Setelah memilih instans yang benar, klik Dapatkan Alamat Terbaru untuk melihat informasi seperti alamat publik/pribadi, VPC, dan vSwitch-nya.

Database

Nama database tempat sumber data terhubung. Pastikan pengguna yang ditentukan memiliki izin yang diperlukan untuk mengakses database ini.

Corresponding access identity

Pilih sumber kredensial yang digunakan DataWorks untuk mengakses MySQL. Opsi berikut didukung:

• Username dan password: Masukkan username dan password untuk database MySQL. DataWorks menyimpannya dengan enkripsi simetris. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelolanya di bagian account management instans tersebut.

• Key Management Service: Gunakan rahasia generik yang dihosting di Alibaba Cloud Key Management Service (KMS). Anda harus terlebih dahulu membuat rahasia generik di KMS. Untuk informasi selengkapnya, lihat Kelola dan gunakan rahasia generik. Kemudian, di sumber data, pilih Wilayah Kms tempat rahasia generik KMS berada, lalu pilih rahasia generik target dari Daftar KMS. Konten rahasia generik KMS mendukung dua format JSON berikut:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Catatan

  Setelah konten rahasia generik KMS diubah, DataWorks menyimpan cache rahasia tersebut hingga 5 menit. Rahasia baru akan berlaku paling lama dalam waktu 5 menit.

Dukungan pembacaan binlog OSS

Jika diaktifkan, DataWorks mencoba mengambil binlog dari OSS ketika binlog RDS tidak dapat diakses. Hal ini mencegah gangguan pada tugas sinkronisasi real-time. Untuk informasi selengkapnya, lihat Konfigurasi otorisasi untuk membaca binlog OSS. Berdasarkan konfigurasi otorisasi Anda, atur identitas akses binlog OSS.

Authentication Method

Pilih tanpa autentikasi atau autentikasi SSL. Jika Anda memilih autentikasi SSL, pastikan fitur tersebut juga diaktifkan pada instans. Siapkan file sertifikat dan unggah ke Authentication File Management.

Version

Login ke server MySQL dan jalankan kueri SELECT VERSION() untuk memeriksa nomor versi.

Parameter

Deskripsi

Data Source Name

Nama sumber data harus unik dalam ruang kerja. Kami menyarankan menggunakan nama yang secara jelas mengidentifikasi bisnis dan lingkungan, misalnya, rds_mysql_order_dev.

Connection Mode

Pilih User-created Data Store with Public IP Addresses. Dalam mode ini, URL JDBC digunakan untuk terhubung ke database.

Pratinjau string koneksi

Setelah memasukkan alamat koneksi dan nama database, DataWorks secara otomatis menghasilkan pratinjau URL JDBC.

Connection Address

Alamat host: Masukkan alamat akses aktual server database. Pastikan alamat tersebut dapat diakses jaringan dari grup resource DataWorks. Skenario umum meliputi:

• Akses dalam VPC yang sama: Masukkan alamat IP internal (pribadi).

• Akses melalui Internet atau gerbang NAT: Masukkan alamat IP publik atau alamat IP NAT.

Jika database adalah instans RDS Alibaba Cloud, Anda dapat menemukan alamat tersebut di halaman Database Connection dalam detail instans.

Nomor port: Port database. Nilai default adalah 3306.

Database Name

Nama database tempat sumber data terhubung. Pastikan pengguna yang ditentukan memiliki izin yang diperlukan untuk mengakses database ini.

Corresponding access identity

Pilih sumber kredensial yang digunakan DataWorks untuk mengakses MySQL. Opsi berikut didukung:

• Username dan password: Masukkan username dan password untuk database MySQL. DataWorks menyimpannya dengan enkripsi simetris. Jika Anda menggunakan instans RDS, Anda dapat membuat dan mengelolanya di bagian account management instans tersebut.

• Key Management Service: Gunakan rahasia generik yang dihosting di Alibaba Cloud Key Management Service (KMS). Anda harus terlebih dahulu membuat rahasia generik di KMS. Untuk informasi selengkapnya, lihat Kelola dan gunakan rahasia generik. Kemudian, di sumber data, pilih Wilayah Kms tempat rahasia generik KMS berada, lalu pilih rahasia generik target dari Daftar KMS. Konten rahasia generik KMS mendukung dua format JSON berikut:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Catatan

  Setelah konten rahasia generik KMS diubah, DataWorks menyimpan cache rahasia tersebut hingga 5 menit. Rahasia baru akan berlaku paling lama dalam waktu 5 menit.

Version

Login ke server MySQL dan jalankan kueri SELECT VERSION() untuk memeriksa nomor versi.

Authentication Method

Pilih tanpa autentikasi atau autentikasi SSL. Jika Anda memilih autentikasi SSL, pastikan fitur tersebut juga diaktifkan pada instans. Siapkan file sertifikat dan unggah ke Authentication File Management.

Advanced Parameters

Parameter: Pilih parameter yang didukung dari daftar drop-down, misalnya, connectTimeout.

Nilai: Masukkan nilai yang sesuai untuk parameter yang dipilih, misalnya, 3000.

URL JDBC kemudian secara otomatis diperbarui menjadi: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=3000.

Sebagai contoh, jika Anda mengalami error terkait zona waktu atau perlu menentukan zona waktu, klik Add Property, pilih serverTimezone sebagai parameter, lalu masukkan zona waktu target seperti Asia/Shanghai. Simpan konfigurasi sumber data dan jalankan ulang tugas tersebut.

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data yang akan dibaca. Harus sesuai dengan sumber data yang dikonfigurasi di editor kode.

Ya

Tidak ada

table

Nama tabel sumber yang akan disinkronkan. Tugas Data Integration hanya dapat membaca data dari satu tabel logis.

Ya

Tidak ada

column

Array JSON yang menentukan kolom yang akan dibaca dari tabel sumber. Untuk memilih semua kolom, gunakan ["*"].

• Pemangkasan kolom: Anda dapat mengekspor subset kolom.

• Pengurutan ulang kolom: Anda dapat mengekspor kolom dalam urutan yang berbeda dari skema tabel.

• Nilai konstan: Anda dapat mengonfigurasi nilai konstan. Nilai tersebut harus mengikuti sintaks SQL MySQL. Contoh: ["id","`table`","1","'mingya.wmy'","'null'","to_char(a+1)","2.3",true].

  • id adalah nama kolom biasa.

  • `table` adalah nama kolom yang merupakan kata kunci yang dicadangkan.

  • 1 adalah konstanta integer.

  • 'mingya.wmy' adalah konstanta string. Harus diapit tanda kutip tunggal.

  • Penanganan nilai null:

    • " " merepresentasikan string yang berisi satu spasi.

    • null merepresentasikan nilai NULL.

    • 'null' merepresentasikan string literal "null".

  • to_char(a+1) adalah fungsi konversi string.

  • 2.3 adalah bilangan titik mengambang.

  • true adalah nilai boolean.

• Anda harus secara eksplisit menentukan kolom dalam parameter column. Parameter ini tidak boleh kosong.

Ya

Tidak ada

splitPk

Ketika MySQL Reader mengekstrak data, menentukan parameter splitPk mengaktifkan pemecahan data pada field yang ditentukan. Data Integration kemudian meluncurkan tugas konkuren untuk meningkatkan efisiensi sinkronisasi.

• Untuk performa terbaik, gunakan primary key tabel sebagai splitPk.

• Saat ini, splitPk hanya mendukung pemecahan data untuk tipe integer. Tidak mendukung tipe lain seperti string, titik mengambang, atau tanggal. Jika Anda menentukan tipe data yang tidak didukung, fitur splitPk diabaikan, dan satu saluran digunakan untuk sinkronisasi.

• Jika splitPk tidak ditentukan atau nilainya kosong, tabel disinkronkan melalui satu saluran.

Tidak

Tidak ada

splitFactor

Faktor sharding. Parameter ini mengontrol berapa banyak shard yang dibuat. Jika concurrency diaktifkan, data dibagi menjadi concurrency × splitFactor shard. Misalnya, jika concurrency adalah 5 dan splitFactor adalah 5, data dibagi menjadi 25 shard yang diproses oleh 5 thread konkuren.

Tidak

5

where

Kondisi filter. Dalam skenario tipikal, untuk hanya menyinkronkan data hari ini, Anda dapat mengatur kondisi where menjadi gmt_create > $bizdate.

• Klausa where memungkinkan Anda melakukan sinkronisasi inkremental secara efektif. Jika Anda tidak menentukan pernyataan where, termasuk tidak memberikan kunci atau nilai untuk where, sinkronisasi data dianggap sebagai sinkronisasi data penuh.

• Jangan gunakan klausa seperti LIMIT 10, karena tidak valid dalam klausa WHERE MySQL.

Tidak

Tidak ada

querySql (Hanya tersedia di editor kode; tidak didukung di antarmuka tanpa kode.)

Dalam beberapa kasus penggunaan, parameter where tidak cukup untuk filtering yang diperlukan. Gunakan parameter ini untuk mendefinisikan kueri SQL kustom. Ketika dikonfigurasi, sistem mengabaikan parameter tables, columns, dan splitPk dan langsung menggunakan kueri ini. Misalnya, untuk menyinkronkan data dari penggabungan beberapa tabel, gunakan select a,b from table_a join table_b on table_a.id = table_b.id. Parameter querySql memiliki prioritas lebih tinggi daripada table, column, where, dan splitPk. datasource digunakan untuk mengurai informasi seperti username dan password.

Tidak

Tidak ada

useSpecialSecret

Menentukan apakah akan menggunakan password masing-masing sumber data individu ketika beberapa sumber data sumber dikonfigurasi. Nilai yang valid:

• true

• false

Jika beberapa sumber data sumber memiliki username dan password yang berbeda, atur parameter ini ke true untuk menggunakan kredensial masing-masing sumber data.

Tidak

false

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data tujuan. Harus sesuai dengan sumber data yang dikonfigurasi di editor kode.

Ya

Tidak ada

table

Nama tabel tujuan.

Ya

Tidak ada

writeMode

Mode tulis. Opsi yang didukung sesuai dengan pernyataan MySQL INSERT INTO, ON DUPLICATE KEY UPDATE, dan REPLACE INTO:

• insert: Jika terjadi konflik primary key atau unique index, tugas tidak menulis baris yang konflik dan mencatatnya sebagai data kotor.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke insert.

• on duplicate key update: Jika tidak terjadi konflik dengan primary key atau unique index, pernyataan berperilaku sama seperti insert into. Jika terjadi konflik, pernyataan memperbarui nilai field yang ditentukan dengan nilai dari baris baru dan menulis data ke MySQL.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke update.

• replace into: Ketika tidak terjadi konflik dengan primary key atau unique index, berperilaku sama seperti insert into. Jika terjadi konflik, pertama-tama menghapus baris asli lalu memasukkan baris baru. Artinya, baris baru menggantikan semua field baris asli.

  Jika Anda mengonfigurasi tugas dalam mode skrip, atur writeMode ke replace.

Tidak

insert

nullMode

Menentukan kebijakan untuk menangani nilai NULL dari sumber. Nilai yang valid:

• writeNull: Jika field sumber adalah NULL, nilai NULL ditulis ke field tujuan.

• skipNull: Jika field sumber adalah NULL, field tujuan diabaikan dalam operasi tulis, memungkinkan nilai default database diterapkan. Jika tidak ada nilai default yang ditentukan, hasilnya biasanya NULL. Anda harus menentukan kolom yang berlaku dalam parameter skipNullColumn.

Tidak

writeNull

skipNullColumn

Ketika nullMode diatur ke skipNull, kolom yang ditentukan oleh parameter ini tidak dipaksa menjadi NULL. Sebagai gantinya, nilai default masing-masing digunakan jika tersedia.

Format: ["c1","c2",...]. Kolom yang ditentukan seperti c1 dan c2 harus merupakan subset dari kolom yang didefinisikan dalam parameter column.

Tidak

Semua kolom yang dikonfigurasi untuk tugas.

column

Kolom tujuan yang akan ditulis, ditentukan sebagai array JSON string. Contoh: "column":["id","name","age"]. Untuk menulis ke semua kolom sesuai urutan skema, gunakan tanda bintang (*). Contoh: "column":["*"].

Ya

Tidak ada

preSql

Satu atau beberapa pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi dimulai. Antarmuka tanpa kode hanya mendukung satu pernyataan, sedangkan editor kode mendukung beberapa. Misalnya, Anda dapat menghapus data yang ada dari tabel: TRUNCATE TABLE tablename.

Tidak

Tidak ada

postSql

Satu atau beberapa pernyataan SQL yang dieksekusi setelah tugas sinkronisasi selesai. Antarmuka tanpa kode hanya mendukung satu pernyataan, sedangkan editor kode mendukung beberapa. Misalnya, Anda dapat menambahkan kolom timestamp dengan menggunakan pernyataan berikut: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Tidak

Tidak ada

batchSize

Jumlah catatan per batch tulis. Nilai yang lebih besar mengurangi round-trip jaringan dan dapat meningkatkan throughput, tetapi mengatur nilai terlalu tinggi dapat menyebabkan error kehabisan memori (OOM).

Tidak

256

updateColumn

Ketika writeMode diatur ke update, parameter ini menentukan kolom mana yang akan diperbarui ketika terjadi konflik primary key atau unique index. Tentukan kolom dalam array JSON. Contoh: "updateColumn":["name","age"].

Tidak

Tidak ada