DataWorks:Sinkronisasi batch dari satu tabel Kafka ke MaxCompute

Langkah 1: Buat node

Ikuti panduan Konfigurasi UI tanpa kode untuk membuat dan mengonfigurasi node sinkronisasi offline. Tutorial ini berfokus pada detail konfigurasi khusus untuk sinkronisasi dari Kafka ke MaxCompute.

Langkah 2: Konfigurasikan sumber data dan tujuan

Langkah 3: Konfigurasikan pemetaan bidang

Setelah memilih sumber dan tujuan, petakan kolom antara pembaca Kafka dan penulis MaxCompute. Gunakan Map Fields with Same Name, Map Fields in Same Line, Clear Mappings, atau Manually Edit Mapping sesuai kebutuhan.

Bidang Kafka default

Kafka menyediakan enam bidang bawaan yang dapat Anda petakan langsung ke kolom MaxCompute.

Penguraian bidang JSON

Untuk nilai Kafka berformat JSON, tambahkan definisi bidang kustom menggunakan . untuk mengakses subfield dan [] untuk mengakses elemen array.

Diberikan contoh nilai catatan berikut:

{
  "a": {
    "a1": "hello"
  },
  "b": "world",
  "c": [
    "xxxxxxx",
    "yyyyyyy"
  ],
  "d": [
    { "AA": "this", "BB": "is_data" },
    { "AA": "that", "BB": "is_also_data" }
  ],
  "a.b": "unreachable"
}

Aturan pemetaan

• Bidang sumber yang tidak dipetakan tidak akan dibaca oleh instans sinkronisasi.

• NULL ditulis ke bidang tujuan yang tidak dipetakan.

• Satu bidang sumber tidak dapat dipetakan ke beberapa bidang tujuan.

• Satu bidang tujuan tidak dapat dipetakan dari beberapa bidang sumber.

Langkah 4: Konfigurasikan parameter lanjutan

Klik Advanced Configuration di sisi kanan tugas. Untuk tutorial ini, atur Policy for Dirty Data Records ke Ignore Dirty Data Records dan biarkan semua parameter lain tetap pada nilai default-nya. Untuk detail parameter, lihat Konfigurasi UI tanpa kode.

Langkah 5: Uji sinkronisasi

1. Klik Run Configuration di sisi kanan halaman pengeditan. Atur Resource Group dan Script Parameters untuk uji coba, lalu klik Run di bilah alat atas.

2. Setelah uji coba selesai, verifikasi data di tabel tujuan. Di panel navigasi kiri, buat file dengan ekstensi .sql dan jalankan kueri berikut:

   Catatan

   • Untuk mengkueri data dengan cara ini, sambungkan proyek MaxCompute tujuan ke DataWorks sebagai resource komputasi.

   • Di halaman pengeditan file .sql, klik Run Configuration di sisi kanan, tentukan Computing Resource dan Resource Group, lalu klik Run.

   SELECT * FROM <MaxCompute_destination_table_name> WHERE pt=<specified_partition> LIMIT 20;

Langkah 6: Konfigurasikan penjadwalan dan publikasikan

Klik Scheduling di sisi kanan tugas untuk mengonfigurasi pengaturan penjadwalan untuk eksekusi berulang, lalu klik Publish untuk menerbitkan tugas.

Tiga parameter penjadwalan yang digunakan dalam tutorial ini—${startTime}, ${endTime}, dan ${partition}—saling terkait: nilai yang disuntikkan ke ${startTime} dan ${endTime} mengontrol jendela waktu Kafka untuk setiap instans, sedangkan ${partition} menentukan partisi MaxCompute mana yang menerima data. Konfigurasikan ketiganya secara bersamaan berdasarkan siklus penjadwalan Anda.

Contoh berikut mencakup pola penjadwalan paling umum.