Cara mengonfigurasi sumber data SelectDB dan jenis bidang yang didukung - DataWorks

DataWorks Data Integration dapat menulis data ke SelectDB melalui sinkronisasi offline satu tabel atau seluruh database. Topik ini menjelaskan dukungan untuk sinkronisasi SelectDB.

Versi SelectDB yang didukung

SelectDB Writer menggunakan MySQL Driver 5.1.47. Untuk informasi mengenai kemampuan driver tersebut, lihat MySQL Connectors. Driver ini mendukung versi berikut:

Versi SelectDB Standar: 2.2.31 dan 2.2.22.
Versi Alibaba Cloud SelectDB: 2.4, 3.0, dan 4.0.

Batasan

Penulisan bidang BITMAP, HLL (HyperLogLog), dan QUANTILE_STATE tidak didukung.

Jenis bidang yang didukung

Untuk daftar lengkap jenis bidang di setiap versi SelectDB, lihat dokumentasi SelectDB. Berikut ini menggunakan SelectDB 2.2.22 sebagai contoh jenis bidang yang didukung.

Tipe bidang SelectDB	Penulisan offline (SelectDB Writer)
INT	Didukung
BIGINT	Didukung
LARGEINT	Didukung
SMALLINT	Didukung
TINYINT	Didukung
BOOLEAN	Didukung
DECIMAL	Didukung
DOUBLE	Didukung
FLOAT	Didukung
CHAR	Didukung
VARCHAR	Didukung
STRING	Didukung
DATE	Didukung
DATEV2	Didukung
DATETIME	Didukung
DATETIMEV2	Didukung
ARRAY	Didukung
JSONB	Didukung
BITMATP	Tidak didukung
HLL (HyperLogLog)	Tidak didukung
QUANTILE_STATE	Tidak didukung

Persiapan sebelum sinkronisasi

Sebelum melakukan sinkronisasi data di DataWorks, siapkan lingkungan SelectDB seperti yang dijelaskan di sini agar layanan berfungsi saat Anda mengonfigurasi dan menjalankan task. Langkah-langkah persiapan sebagai berikut.

Langkah 1: Periksa versi SelectDB

Data Integration memiliki persyaratan versi SelectDB. Untuk detailnya, lihat Versi SelectDB yang didukung. Di Konsol SelectDB, periksa apakah sumber memenuhi persyaratan tersebut.

Langkah 2: Buat akun dan konfigurasi izin

Disarankan untuk membuat akun SelectDB khusus guna akses DataWorks. Jika Anda menggunakan user admin default dari gudang data SelectDB, atur password-nya.

Langkah 3: Konfigurasi akses jaringan SelectDB

SelectDB mendukung koneksi jaringan pribadi dan publik, dan Data Integration dapat menggunakan keduanya.

Koneksi pribadi: Direkomendasikan untuk bandwidth lebih tinggi dan konektivitas lebih stabil. Pertama, buat endpoint seperti yang dijelaskan dalam Konfigurasi jaringan. Setelah endpoint dibuat dan statusnya berubah dari Creating menjadi Available serta status koneksi berubah dari Connecting... menjadi Connected, bind VPC yang berisi endpoint ke VPC yang berisi kelompok sumber daya. Untuk petunjuknya, lihat Solusi konektivitas jaringan.
Koneksi publik: Tambahkan alamat EIP kelompok sumber daya ke daftar putih SelectDB. Untuk petunjuknya, lihat Konfigurasi daftar putih.

Tambahkan sumber data

Sebelum mengembangkan task sinkronisasi di DataWorks, Anda harus menambahkan sumber data yang diperlukan ke DataWorks dengan mengikuti petunjuk dalam Konfigurasi sumber data. Anda dapat melihat deskripsi parameter di Konsol DataWorks untuk memahami makna parameter saat menambahkan sumber data.

Berikut ini menjelaskan beberapa pengaturan sumber data SelectDB:

MySQL connection address: Masukkan string koneksi JDBC. Di Konsol SelectDB, buka Connection mode > Other methods dan salin JDBC connection string. Alamat IP publik dan pribadi didukung.
HTTP connection address: Masukkan alamat akses HTTP. Di Konsol SelectDB, buka Connection mode > Other methods dan salin HTTP access address. Alamat IP publik dan pribadi didukung.
Username: Masukkan username gudang data SelectDB.
Password: Masukkan password untuk user gudang data SelectDB.

Kembangkan task sinkronisasi data

Untuk informasi tentang titik masuk dan prosedur konfigurasi task sinkronisasi, lihat panduan konfigurasi berikut.

Panduan konfigurasi sinkronisasi offline satu tabel

Untuk prosedurnya, lihat Konfigurasi UI tanpa kode dan Konfigurasi mode skrip.
Untuk semua parameter mode skrip dan contoh skrip, lihat Lampiran: Contoh skrip SelectDB dan deskripsi parameter.

Panduan konfigurasi sinkronisasi offline seluruh database

Database sumber yang didukung: MySQL dan PostgreSQL.
Untuk prosedurnya, lihat Konfigurasi sinkronisasi database Batch.

Lampiran: Contoh skrip SelectDB dan deskripsi parameter

Konfigurasi task sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi task sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi mode skrip. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi task sinkronisasi batch menggunakan editor kode.

Contoh skrip Writer

{
  "stepType": "selectdb",//Nama plug-in。
  "parameter":
  {
    "postSql"://Pernyataan SQL yang dijalankan setelah task sinkronisasi。
    [],
    "preSql":
    [],//Pernyataan SQL yang dijalankan sebelum task sinkronisasi。
    "datasource":"selectdb_datasource",//Nama sumber data。
    "table": "selectdb_table_name",//Nama tabel。
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "loadProps":{
      "format":"csv",//Tentukan format CSV
      "column_separator": "\\x01",//Tentukan pemisah kolom
      "line_delimiter": "\\x02"//Tentukan pemisah baris
    }
  },
  "name": "Writer",
  "category": "writer"
}

Parameter skrip Writer

Parameter	Deskripsi	Wajib	Nilai default
datasource	Nama sumber data. Mode skrip mendukung penambahan sumber data; nilai ini harus sesuai dengan nama sumber data yang telah ditambahkan.	Ya	Tidak ada
table	Nama tabel yang akan disinkronkan.	Ya	Tidak ada
column	Bidang yang akan ditulis ke tabel tujuan, dipisahkan koma. Contohnya, `"column":["id","name","age"]`. Untuk menulis semua kolom secara berurutan, gunakan `()`, misalnya `"column":[""]`.	Ya	Tidak ada
preSql	Pernyataan SQL yang dijalankan sebelum task sinkronisasi. Mode wizard hanya mendukung satu pernyataan; mode skrip mendukung beberapa pernyataan, seperti membersihkan data lama tabel sebelum menulis.	Tidak	Tidak ada
postSql	Pernyataan SQL yang dijalankan setelah task sinkronisasi. Mode wizard hanya mendukung satu pernyataan; mode skrip mendukung beberapa pernyataan, seperti menambahkan timestamp.	Tidak	Tidak ada
maxBatchRows	Jumlah maksimum baris yang diimpor per batch. Bersama dengan batchSize, mengontrol ukuran batch. Impor dimulai ketika salah satu ambang batas tercapai.	Tidak	500000
batchSize	Jumlah maksimum data yang diimpor per batch. Bersama dengan maxBatchRows, mengontrol ukuran batch. Impor dimulai ketika salah satu ambang batas tercapai.	Tidak	94371840
maxRetries	Jumlah percobaan ulang setelah impor batch gagal.	Tidak	3
labelPrefix	Awalan untuk label setiap batch yang diunggah. Label akhir dibentuk dari `labelPrefix + UUID` untuk memberikan label unik global dan mencegah impor duplikat.	Tidak	datax_selectdb_writer_
loadProps	Parameter permintaan COPY INTO, terutama untuk mengonfigurasi format data impor. JSON adalah default. Jika loadProps dihilangkan atau diatur ke `"loadProps":{}`, konfigurasi JSON default berikut digunakan. SelectDB saat ini hanya mendukung `strip_outer_array=true`. `"loadProps": { "format": "json", "strip_outer_array":true }` Untuk mengimpor CSV, tentukan format serta pemisah baris dan kolom seperti berikut. Jika Anda menghilangkan pemisah, data dikonversi ke string dan menggunakan `\t` sebagai pemisah kolom dan `\n` sebagai pemisah baris untuk membentuk file CSV yang diimpor ke SelectDB. `"loadProps": { "format":"csv", "column_separator": "\\x01", "line_delimiter": "\\x02" }`	Tidak	Tidak ada
clusterName	Nama kluster SelectDB Cloud. Anda dapat menemukannya di Konsol SelectDB.	Tidak	Tidak ada
flushInterval	Waktu antara batch penulisan data, dalam milidetik. Jika maxBatchRows dan batchSize diatur sangat tinggi, data mungkin diimpor berdasarkan waktu yang berlalu sebelum mencapai volume data yang dikonfigurasi.	Tidak	30000