DataWorks：Komponen pengeditan bidang dan penugasan nilai

Prasyarat

• Pengaturan dasar dan sumber daya jaringan untuk sinkronisasi data telah dikonfigurasi.

• Jenis sinkronisasi data diatur ke real-time synchronization of data from a single table. Komponen pemrosesan data hanya dapat dikonfigurasikan untuk tugas sinkronisasi waktu nyata dengan jenis sumber dan tujuan berikut:

  • Jenis sumber: Hologres, Kafka, LogHub, Oracle, dan DataHub.

  • Jenis tujuan: ApsaraDB for OceanBase, DLF 2.0, Doris, Hologres, Kafka, MaxCompute, OSS-HDFS, Tablestore, dan StarRocks.

Langkah 1: Konfigurasikan tugas sinkronisasi di Data Integration

1. Tambahkan sumber data yang diperlukan ke DataWorks. Untuk informasi lebih lanjut, lihat Tambah dan Kelola Sumber Data.

2. Buat tugas sinkronisasi di Data Integration. Untuk informasi lebih lanjut, lihat topik-topik dalam direktori Tugas Sinkronisasi Sisi Data Integration.

   Catatan

   Jika Anda membuat tugas sinkronisasi untuk menyinkronkan data dari satu tabel secara real-time, Anda dapat menambahkan komponen pemrosesan data di antara komponen sumber dan tujuan. Untuk informasi lebih lanjut, lihat Jenis Sumber Data yang Didukung dan Operasi Sinkronisasi.

Langkah 2: Tambahkan komponen pengeditan bidang dan penugasan nilai

1. Di wizard bagian atas halaman konfigurasi tugas sinkronisasi, klik ikon di antara jenis sumber dan tujuan, lalu pilih Edit Field and Assign Value. Bagian Edit Field and Assign Value akan muncul.

2. Konfigurasikan komponen pengeditan bidang dan penugasan nilai.

   

   • Lihat Detail Bidang:

     • Field Name: Nama bidang output dari komponen leluhur.

     • Type: Tipe data dari bidang output komponen leluhur.

     • Value: Menentukan cara nilai ditetapkan ke bidang yang ada dari komponen leluhur atau bidang baru. Nilai valid: Penugasan, Variabel, dan Fungsi.

     • Actions: Tentukan apakah akan meneruskan bidang output dari komponen leluhur ke komponen turunannya.

   • Add fields: Klik Add field di pojok kiri bawah bagian Edit Field and Assign Value untuk menambahkan bidang. Berikut adalah metode untuk menetapkan nilai ke bidang baru:

     • Assignment: Ubah teks yang dimasukkan secara manual menjadi tipe data tertentu, lalu tetapkan data yang telah dikonversi ke bidang baru sebagai nilai.

     • Variable: Tetapkan nilai variabel bawaan ke bidang baru saat tugas sinkronisasi dijalankan. Variabel yang didukung bervariasi berdasarkan fitur sistem.

       Catatan

       Variabel yang didukung oleh sumber dan tujuan berbeda bergantung pada fitur sistem.

       Variabel yang Didukung

       Variabel		Deskripsi
       Sumber	PROCESS_TIME	Waktu ketika tugas sinkronisasi mengonsumsi catatan data. Nilainya adalah timestamp 13 digit dalam milidetik.
       	DATASOURCE_NAME_SRC	Nama sumber.
       	DB_NAME_SRC	Nama database sumber.
       	SCHEMA_NAME_SRC	Nama skema sumber.
       	TABLE_NAME_SRC	Nama tabel sumber.
       	TOPIC_NAME_SRC	Nama topik sumber.
       Tujuan	TABLE_NAME_DEST	Nama tabel tujuan.
       	TOPIC_NAME_DEST	Nama topik tujuan.
       	SCHEMA_NAME_DEST	Nama skema tujuan.
       	DB_NAME_DEST	Nama database tujuan.
       	DATASOURCE_NAME_DEST	Nama tujuan.

     • Function: Lakukan komputasi fungsi saat tugas sinkronisasi dijalankan untuk menetapkan hasil komputasi ke bidang baru sebagai nilai. Jika terjadi kesalahan selama pemrosesan fungsi, rekaman yang sesuai dianggap sebagai data kotor dan termasuk dalam statistik data kotor dalam tugas sinkronisasi. Kemudian, tentukan apakah akan menghentikan tugas sinkronisasi berdasarkan konfigurasi toleransi data kotor.

       Fungsi yang Didukung

       Fungsi	Parameter	Deskripsi
       DATE_FORMAT	Parameter1: bidang leluhur dengan tipe numerik. Nilai bidang ini adalah timestamp UNIX 10 digit atau timestamp 13 digit dalam milidetik. Parameter2: tipe timestamp. Nilai valid: unix dan millis. Nilai unix menunjukkan timestamp UNIX 10 digit. Nilai millis menunjukkan timestamp 13 digit dalam milidetik. Parameter3: zona waktu yang digunakan untuk konversi. Parameter4: format string waktu yang digunakan untuk memformat timestamp. Contoh: yyyy-MM-dd HH:mm:ss:SSS ZZ. yyyy menunjukkan tahun, MM menunjukkan bulan, dd menunjukkan hari, HH menunjukkan jam yang dinyatakan dalam format 24 jam, mm menunjukkan menit, ss menunjukkan detik, SSS menunjukkan milidetik, dan ZZ menunjukkan zona waktu.	Konversikan timestamp menjadi string waktu dalam format tertentu.
       TO_TIMESTAMP	Parameter1: bidang leluhur dengan tipe teks. Nilai bidang ini adalah string waktu dalam format tertentu. Parameter2: tipe timestamp. Nilai valid: unix dan millis. Nilai unix menunjukkan timestamp UNIX 10 digit. Nilai millis menunjukkan timestamp 13 digit dalam milidetik. Parameter3: zona waktu yang digunakan untuk konversi. Parameter4: format string waktu. Contoh: yyyy-MM-dd HH:mm:ss:SSS ZZ. yyyy menunjukkan tahun, MM menunjukkan bulan, dd menunjukkan hari, HH menunjukkan jam yang dinyatakan dalam format 24 jam, mm menunjukkan menit, ss menunjukkan detik, SSS menunjukkan milidetik, dan ZZ menunjukkan zona waktu.	Konversikan string waktu menjadi timestamp 10 digit atau 13 digit.
       SUBSTRING	Parameter1: bidang leluhur dengan tipe teks. Parameter2: posisi awal substring. Substring mencakup karakter pada posisi awal. Posisi awal minimum adalah 0. Parameter3: panjang substring. Jika panjangnya kurang dari atau sama dengan 0, substring dari posisi awal hingga akhir dikembalikan.	Dapatkan substring dari string.

Apa yang harus dilakukan selanjutnya

Setelah mengonfigurasi informasi tentang sumber, komponen pengeditan bidang dan penugasan nilai, dan tujuan untuk tugas sinkronisasi, klik Perform Simulated Running di pojok kanan atas halaman konfigurasi untuk menguji tugas sinkronisasi dan memeriksa apakah hasil output memenuhi persyaratan bisnis Anda.