DataWorks：Komponen penyaringan data

Prasyarat

• Pengaturan dasar dan sumber daya jaringan untuk sinkronisasi data telah dikonfigurasi.

• Jenis sinkronisasi data diatur ke real-time synchronization of data from a single table. Komponen pemrosesan data hanya dapat dikonfigurasi untuk tugas sinkronisasi waktu nyata yang menggunakan salah satu jenis sumber dan tujuan berikut:

  • Jenis sumber: Hologres, Kafka, LogHub, Oracle, dan DataHub.

  • Jenis tujuan: ApsaraDB for OceanBase, DLF 2.0, Doris, Hologres, Kafka, MaxCompute, OSS-HDFS, Tablestore, dan StarRocks.

Langkah 1: Konfigurasikan tugas sinkronisasi di Data Integration

1. Tambahkan sumber data yang diperlukan ke DataWorks. Untuk informasi lebih lanjut, lihat Tambahkan dan kelola sumber data.

2. Buat tugas sinkronisasi di Data Integration. Untuk informasi lebih lanjut, lihat topik-topik dalam direktori Tugas sinkronisasi sisi Data Integration.

   Catatan

   Jika Anda membuat tugas sinkronisasi untuk menyinkronkan data dari tabel tunggal secara real-time, Anda dapat menambahkan komponen pemrosesan data di antara komponen sumber dan tujuan. Untuk informasi lebih lanjut, lihat Jenis sumber data yang didukung dan operasi sinkronisasi.

Langkah 2: Tambahkan komponen penyaringan data

1. Di wizard bagian atas halaman konfigurasi tugas sinkronisasi, klik ikon di antara jenis sumber dan tujuan, lalu pilih Data filtering. Bagian Kondisi Penyaringan akan muncul.

   

2. Di bagian Kondisi Penyaringan, konfigurasikan aturan penyaringan data.

   • Field name: Pilih bidang masukan yang dikonfigurasi di Langkah 1. Nilai dari bidang masukan menjadi operand kiri dari ekspresi kondisional.

   • Judgement: Pilih jenis operasi kondisional. Tabel berikut menjelaskan jenis-jenis operasi kondisional.

     Jenis operasi kondisional

     Tipe	Deskripsi
     Sama dengan	Operand kiri dan operand kanan sama. Operand dapat berupa tipe NUMERIC atau TEXT.
     Tidak sama dengan	Operand kiri dan operand kanan tidak sama. Operand dapat berupa tipe NUMERIC atau TEXT.
     Kurang dari	Operand kiri kurang dari atau leksikografis kurang dari operand kanan. Operand dapat berupa tipe NUMERIC atau TEXT.
     Lebih besar dari	Operand kiri lebih besar dari atau leksikografis lebih besar dari operand kanan. Operand dapat berupa tipe NUMERIC atau TEXT.
     Kurang dari atau sama dengan	Operand kiri kurang dari atau sama dengan operand kanan, atau operand kiri leksikografis kurang dari atau sama dengan operand kanan. Operand dapat berupa tipe NUMERIC atau TEXT.
     Lebih besar dari atau sama dengan	Operand kiri lebih besar dari atau sama dengan operand kanan, atau operand kiri leksikografis lebih besar dari atau sama dengan operand kanan. Operand dapat berupa tipe NUMERIC atau TEXT.
     Mengandung	Operand kiri dari tipe TEXT mengandung substring tertentu.
     Tidak Mengandung	Operand kiri dari tipe TEXT tidak mengandung substring tertentu.
     Dimulai dengan	Operand kiri dari tipe TEXT dimulai dengan substring tertentu.
     End is	Operand kiri dari tipe TEXT diakhiri dengan substring tertentu.
     Adalah Null	Operand kiri dari tipe data apa pun adalah Null.
     Bukan Null	Operand kiri dari tipe data apa pun bukan Null.

   • Value: Tentukan operand kanan dari ekspresi kondisional. Anda dapat memasukkan bidang masukan yang dikonfigurasi di Langkah 1 atau memasukkan konstanta sebagai operand kanan. Jika menggunakan konstanta, Anda tidak dapat menggunakan ekspresi reguler, namun dapat menggunakan karakter escape Java seperti karakter tab \t, baris baru \n, atau karakter Unicode \u0001.

3. Klik Add rule untuk menambahkan lebih banyak aturan penyaringan data.

4. Di bagian Output Fields, tinjau nama-nama bidang keluaran yang diperoleh setelah penyaringan. Nama-nama tersebut sama dengan nama-nama bidang masukan dan memiliki format yang identik.

Apa yang harus dilakukan selanjutnya

Setelah mengonfigurasi informasi tentang sumber, komponen penyaringan data, dan tujuan untuk tugas sinkronisasi, klik Perform Simulated Running di sudut kanan atas halaman konfigurasi untuk menguji tugas sinkronisasi dan memeriksa apakah hasil keluaran memenuhi persyaratan bisnis Anda.