Connect DLF Data Sources and Sync to DataWorks - DataWorks - Alibaba Cloud - DataWorks

Alibaba Cloud Data Lake Formation (DLF) adalah platform yang sepenuhnya dikelola yang menyediakan layanan terpadu untuk manajemen metadata, manajemen penyimpanan, pengelolaan izin, analisis penyimpanan, dan optimasi. DataWorks Data Integration dapat menulis data ke sumber data DLF. Topik ini menjelaskan cara mengonfigurasi dan menggunakan sumber data Data Lake Formation di DataWorks.

Batasan

Anda hanya dapat menggunakan sumber data Data Lake Formation dalam Data Integration dan dengan kelompok sumber daya serverless. Daftar drop-down Database Name pada antarmuka pengguna tidak mendukung tabel Format. Untuk membaca data dari tabel Format, konfigurasikan tableType=format-table dalam mode skrip.

Buat sumber data

1. Masuk ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Management Center.
2. Pada halaman Workspace Management, klik Data Sources di panel navigasi sebelah kiri untuk membuka halaman sumber data.

Klik Add Data Source. Di kotak dialog yang muncul, cari dan pilih DLF. Konfigurasikan parameter sesuai dengan tabel berikut.

Parameter	Deskripsi
Data Source Name	Masukkan nama kustom untuk sumber data. Nama harus unik dalam ruang kerja, hanya terdiri dari huruf, angka, dan garis bawah (_), serta tidak boleh diawali dengan angka atau garis bawah.
Configuration Mode	Hanya Alibaba Cloud Instance Mode yang didukung.
Endpoint	Pilih endpoint instans mesin DLF dari daftar drop-down.
Access identity	Pilih salah satu dari berikut: Alibaba Cloud Account Alibaba Cloud RAM User Alibaba Cloud RAM Role Catatan Jika Anda memilih RAM user atau RAM role sebagai identitas akses, Anda harus memberikan izin berikut kepada RAM user atau RAM role tersebut: Di Konsol RAM, sambungkan kebijakan sistem AliyunDataWorksDIAccessDLF ke RAM user atau RAM role untuk memberikan izin mengakses metadata DLF. Untuk informasi selengkapnya, lihat Grant permissions to a RAM user. Di Konsol Data Lake Formation, berikan izin Data Editor kepada RAM role atau RAM user pada tabel yang akan disinkronkan.
DLF data catalog	Pilih DLF data catalog yang berada di wilayah yang sama dengan ruang kerja DataWorks Anda.
Database Name	Pilih database dari katalog data.

Setelah mengonfigurasi parameter, uji konektivitas ke kelompok sumber daya serverless. Jika pengujian berhasil, klik Complete Modification. Jika gagal, lihat Network connectivity configuration untuk mengatasi masalah tersebut.

Buat tugas Data Integration

Anda dapat menggunakan sumber data Data Lake Formation dalam tugas DataWorks Data Integration. Untuk informasi selengkapnya, lihat Synchronize data to Data Lake Formation.

Lampiran: Contoh skrip dan parameter

Konfigurasi skrip tugas offline

Saat mengonfigurasi tugas offline menggunakan editor kode, Anda harus menambahkan parameter ke skrip tugas dalam format yang ditentukan. Untuk informasi selengkapnya, lihat Configure a task in the code editor. Bagian berikut menjelaskan parameter sumber data yang dapat digunakan dalam editor kode.

Contoh skrip Reader

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "table": "auto_ob_3088545_0523",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "where": "id > 1"
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "stream",
         "parameter": {
            "print": false
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // Jumlah catatan error yang diizinkan.
      },
      "speed": {
         "throttle": true, // Atur ke true untuk mengaktifkan pembatasan laju. Jika diatur ke false, pembatasan laju dinonaktifkan dan parameter mbps diabaikan.
         "concurrent": 20, // Jumlah thread konkuren.
         "mbps": "12" // Laju transfer data maksimum. Satuan: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

Parameter skrip Reader

Parameter	Deskripsi	Wajib	Default
datasource	Nama sumber data DLF.	Ya	N/A
table	Nama tabel sumber.	Ya	N/A
tableType	Jenis tabel. Nilai yang valid: `table` (tabel Paimon), `format-table` (tabel Format), dan `iceberg-table` (tabel Iceberg). Jika daftar drop-down Database Name pada antarmuka pengguna tidak menampilkan database tabel Format, atur `tableType=format-table` dalam mode skrip untuk membaca data.	Tidak	table
column	Nama kolom yang akan dibaca dari tabel sumber.	Ya	N/A
where	Kondisi filter.	Tidak	N/A

Contoh skrip Writer

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "stream",
         "parameter": {
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "table": "auto_ob_3088545_0523"
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // Jumlah catatan error yang diizinkan.
      },
      "speed": {
         "throttle": true, // Atur ke true untuk mengaktifkan pembatasan laju. Jika diatur ke false, pembatasan laju dinonaktifkan dan parameter mbps diabaikan.
         "concurrent": 20, // Jumlah thread konkuren.
         "mbps": "12" // Laju transfer data maksimum. Satuan: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

Parameter skrip Writer

Parameter	Deskripsi	Wajib	Default
datasource	Nama sumber data DLF.	Ya	N/A
table	Nama tabel tujuan.	Ya	N/A
tableType	Jenis tabel. Nilai yang valid: `table` (tabel Paimon), `format-table` (tabel Format), dan `iceberg-table` (tabel Iceberg).	Tidak	table
column	Kolom dalam tabel tujuan.	Ya	N/A