DataWorks：Sinkronisasi data

Buat sumber data MySQL (user_behavior_analysis_mysql)

Informasi dasar pengguna untuk tutorial ini disimpan dalam database MySQL. Anda harus membuat sumber data MySQL untuk menyinkronkan informasi pengguna (ods_user_info_d) dari database ke MaxCompute.

1. Buka halaman Sumber Data.

   1. Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih More > Management Center. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Management Center.

   2. Di panel navigasi kiri, klik Data Sources untuk membuka halaman Sumber Data.

2. Klik Add Data Source. Cari dan pilih MySQL sebagai tipe sumber data.

3. Pada halaman Add MySQL Data Source, konfigurasikan parameter berikut. Untuk tutorial ini, gunakan nilai contoh yang sama untuk lingkungan pengembangan maupun produksi.

   Tabel berikut menjelaskan parameter utama. Anda dapat mempertahankan nilai default untuk parameter lainnya.

   Parameter	Deskripsi
   Data Source Name	Masukkan nama untuk sumber data. Untuk tutorial ini, masukkan user_behavior_analysis_mysql.
   Data Source Description	Sumber data ini digunakan untuk tutorial DataWorks. Baca data dari sumber data ini saat Anda mengonfigurasi task sinkronisasi batch untuk mengakses data uji yang disediakan oleh platform. Sumber data ini hanya dapat dibaca dalam skenario Data Integration. Modul lain tidak dapat menggunakannya.
   Configuration Mode	Pilih Connection String Mode.
   Connection Address	Alamat IP host: rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com Port: 3306
   Database Name	Masukkan nama database. Untuk tutorial ini, masukkan workshop.
   Username	Masukkan username. Untuk tutorial ini, masukkan workshop.
   Password	Masukkan password. Untuk tutorial ini, masukkan workshop#2017.
   Authentication Method	Tidak ada autentikasi.

4. Pada bagian Connection Configuration, klik Test Network Connectivity untuk lingkungan produksi maupun pengembangan. Pastikan status konektivitasnya adalah Connected.

   Penting

   • Pastikan kelompok sumber daya telah disambungkan ke ruang kerja dan akses jaringan publik telah diaktifkan. Jika tidak, sinkronisasi data akan gagal. Untuk informasi selengkapnya, lihat Siapkan lingkungan.

   • Jika Anda tidak memiliki kelompok sumber daya yang tersedia, ikuti petunjuk di bagian konfigurasi koneksi. Klik Purchase dan Associated Purchased Resource Group.

5. Klik Complete Creation.

Buat sumber data HttpFile (user_behavior_analysis_httpfile)

Log akses website pengguna untuk tutorial ini disimpan di OSS. Anda harus membuat sumber data HttpFile untuk menyinkronkan log akses website pengguna (user_log.txt) dari OSS ke MaxCompute.

1. Klik Data Sources di panel navigasi kiri.

2. Klik Add Data Source. Pada kotak dialog Add Data Source, cari dan pilih HttpFile sebagai tipe sumber data.

3. Pada halaman Add HttpFile Data Source, konfigurasikan parameter berikut. Untuk tutorial ini, gunakan nilai contoh yang sama untuk lingkungan pengembangan maupun produksi.

   Tabel berikut menjelaskan parameter utama. Anda dapat mempertahankan nilai default untuk parameter lainnya.

   Parameter	Deskripsi
   Data Source Name	Masukkan nama sumber data. Untuk tutorial ini, masukkan user_behavior_analysis_httpfile.
   Data Source Description	Sumber data ini digunakan untuk tutorial DataWorks. Baca data dari sumber data ini saat Anda mengonfigurasi task sinkronisasi batch untuk mengakses data uji yang disediakan oleh platform. Sumber data ini hanya dapat dibaca dalam skenario Data Integration. Modul lain tidak dapat menggunakannya.
   URL	Atur URL menjadi https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com untuk lingkungan pengembangan maupun produksi.

4. Pada bagian Connection Configuration, klik Test Network Connectivity untuk lingkungan produksi maupun pengembangan. Pastikan status konektivitasnya adalah Connected.

   Penting

   • Pastikan kelompok sumber daya telah disambungkan ke ruang kerja dan akses jaringan publik telah diaktifkan. Jika tidak, sinkronisasi data akan gagal. Untuk informasi selengkapnya, lihat Siapkan lingkungan.

   • Jika Anda tidak memiliki kelompok sumber daya yang tersedia, ikuti petunjuk di bagian konfigurasi koneksi. Klik Purchase dan Associated Purchased Resource Group.

5. Klik Complete Creation.

Konfigurasikan node awal

1. Pada halaman orkestrasi workflow, arahkan kursor ke node workshop_start dan klik Open Node.

2. Di panel kanan halaman konfigurasi node workshop_start, klik Scheduling dan konfigurasikan parameter yang diperlukan. Tabel berikut menjelaskan parameter utama. Anda dapat mempertahankan nilai default untuk parameter lainnya.

   Parameter Penjadwalan	Deskripsi
   Scheduling Type	Tutorial ini menggunakan dry-run scheduling.
   Resource Group	Untuk tutorial ini, pilih kelompok sumber daya Serverless yang dibuat pada langkah Siapkan lingkungan.
   Scheduling Dependencies	Karena workshop_start adalah node awal dan tidak memiliki dependensi hulu, Anda dapat mengklik Use Workspace Root Node untuk memicu eksekusi workflow dari node root ruang kerja. Node root ruang kerja diberi nama workspace_name_root.

Konfigurasikan pipeline sinkronisasi data pengguna (ods_user_info_d)

1. Pada halaman orkestrasi workflow, arahkan kursor ke node ods_user_info_d dan klik Open Node.

2. Konfigurasikan jaringan dan sumber daya untuk pipeline sinkronisasi.

   Parameter	Description
   Source	Data source: MySQL. Data source name: user_behavior_analysis_mysql.
   Resource Group	Pilih kelompok sumber daya Serverless yang telah Anda beli pada langkah Prepare the environment.
   Destination	Data Destination: MaxCompute(ODPS). Data Source Name: Pilih resource komputasi MaxCompute yang telah Anda sambungkan pada langkah Prepare the environment. Contohnya, MaxCompute_Source.

3. Klik Next untuk mengonfigurasi task sinkronisasi.

   1. Configure Source and Destination

      Tabel berikut menjelaskan parameter utama. Anda dapat mempertahankan nilai default untuk parameter lainnya.

      Modul	Item Konfigurasi	Deskripsi
      Data source	Table	Pilih ods_user_info_d.
      	Split key	Kunci shard diatur ke bidang uid. Bidang `uid` adalah kunci primary dari tabel ods_user_info_d di MySQL.
      Destination	Tunnel Resource Group	Tutorial ini menggunakan Common transmission resources secara default. Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi selengkapnya tentang Kuota Tunnel eksklusif, lihat Beli dan gunakan kelompok sumber daya eksklusif untuk Data Transmission Service.
      	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute secara cepat. Tempel pernyataan DDL berikut ke bagian Statement for Creating Table lalu klik Create Table. Tabel ini menerima data pengguna dari sumber. CREATE TABLE IF NOT EXISTS ods_user_info_d ( uid STRING COMMENT 'User ID', gender STRING COMMENT 'Gender', age_range STRING COMMENT 'Age range', zodiac STRING COMMENT 'Zodiac sign' ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
      	Partition information	Untuk tutorial ini, masukkan ${bizdate}. Ini memungkinkan Anda menetapkan nilai konstan untuk parameter bizdate selama fase pengujian, dan menetapkan nilai secara dinamis untuk parameter bizdate selama eksekusi terjadwal. Untuk informasi tentang format variabel dan metode konfigurasi yang didukung oleh DataStudio, lihat Scheduling Parameters.

   2. Konfirmasi Field Mapping dan Channel Control.

      DataWorks menyinkronkan data dari bidang sumber yang ditentukan ke bidang tujuan yang ditentukan berdasarkan Pemetaan bidang yang dikonfigurasi. Anda juga dapat mengatur konkurensi dan mengonfigurasi kebijakan untuk data kotor. Untuk tutorial ini, atur Policy for Dirty Data Records ke Disallow Dirty Data Records. Biarkan nilai bawaan untuk pengaturan lainnya. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas sinkronisasi menggunakan Antarmuka tanpa kode.

4. Konfigurasikan parameter debug.

   Di panel kanan halaman konfigurasi task sinkronisasi batch, klik Run Configuration. Konfigurasikan parameter berikut untuk menguji eksekusi pada Langkah 4: Sinkronisasi data.

   Item Konfigurasi	Deskripsi
   Resource Group	Pilih kelompok sumber daya Serverless yang Anda beli pada langkah Siapkan lingkungan.
   Script Parameters	Anda tidak perlu mengonfigurasi parameter ini. Dalam tutorial ini, kode contoh menggunakan ${bizdate} untuk merepresentasikan waktu data. Saat Anda melakukan debug workflow pada Langkah 4, atur Value Used in This Run ke nilai konstan tertentu, misalnya 20250223. Eksekusi pekerjaan kemudian akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam pekerjaan.

5. (Opsional) Konfigurasikan properti penjadwalan.

   Untuk tutorial ini, Anda dapat mempertahankan nilai default untuk parameter penjadwalan. Di panel kanan halaman konfigurasi task sinkronisasi batch, klik Scheduling. Untuk informasi selengkapnya tentang parameter tersebut, lihat Konfigurasi penjadwalan node.

   • Scheduling Parameters: Parameter ini telah dikonfigurasi untuk workflow. Node internal tidak memerlukan konfigurasi terpisah dan dapat langsung menggunakan parameter tersebut dalam task atau kode.

   • Scheduling Policies: Anda dapat menggunakan parameter Time for Delayed Execution untuk menentukan durasi tunggu node anak sebelum dijalankan setelah workflow dieksekusi. Parameter ini tidak diatur dalam tutorial ini.

6. Di bilah alat node, klik Save.

Konfigurasikan pipeline sinkronisasi log pengguna (ods_raw_log_d)

1. Pada halaman orkestrasi workflow, arahkan kursor ke node ods_raw_log_d dan klik Open Node.

2. Konfigurasikan jaringan dan sumber daya untuk pipeline sinkronisasi.

   Parameter	Deskripsi
   Source	Sumber data: HttpFile. Nama sumber data: user_behavior_analysis_HttpFile.
   Resource Group	Pilih kelompok sumber daya Serverless yang Anda beli pada langkah Siapkan lingkungan.
   Destination	Tujuan Data: MaxCompute(ODPS). Nama Sumber Data: Pilih sumber daya komputasi MaxCompute yang Anda sambungkan pada tahap Siapkan lingkungan. Dalam contoh ini, namanya adalah MaxCompute_Source.

3. Klik Next untuk mengonfigurasi task sinkronisasi.

   • Configure Source and Destination

     Tabel berikut menjelaskan parameter utama. Anda dapat mempertahankan nilai default untuk parameter lainnya.

     Modul	Item Konfigurasi	Deskripsi
     Data source	File path	Untuk tutorial ini, masukkan /user_log.txt.
     	Text type	Tutorial ini menggunakan tipe text.
     	Column Delimiter	Untuk tutorial ini, masukkan |.
     	Advanced configuration > Skip Header	Untuk tutorial ini, pilih No agar header tabel tidak dilewati.
     Penting Setelah Anda mengonfigurasi sumber data, klik Confirm Data Structure untuk memeriksa apakah file log dapat dibaca dengan benar.
     Destination	Tunnel Resource Group	Tutorial ini menggunakan Common transmission resources secara default. Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi selengkapnya tentang Kuota Tunnel eksklusif, lihat Beli dan gunakan kelompok sumber daya eksklusif untuk Data Transmission Service.
     	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute secara cepat. Tempel pernyataan DDL berikut ke bagian Statement for Creating Table lalu klik Create Table. CREATE TABLE IF NOT EXISTS ods_raw_log_d ( col STRING ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
     	Partition information	Untuk tutorial ini, masukkan ${bizdate}. Ini memungkinkan Anda menetapkan nilai konstan untuk parameter bizdate selama fase pengujian, dan menetapkan nilai secara dinamis untuk parameter bizdate selama eksekusi terjadwal. Untuk informasi tentang format variabel dan metode konfigurasi yang didukung oleh DataStudio, lihat Scheduling Parameters.

   • Konfirmasi Field Mapping dan Channel Control.

     DataWorks menyinkronkan data dari bidang sumber yang ditentukan ke bidang tujuan yang ditentukan berdasarkan pemetaan bidang yang dikonfigurasi. Anda juga dapat mengatur konkurensi dan mengonfigurasi kebijakan untuk data kotor. Untuk tutorial ini, atur Policy for Dirty Data Records ke Disallow Dirty Data Records. Anda dapat mempertahankan nilai default untuk pengaturan lainnya. Untuk informasi selengkapnya, lihat Konfigurasikan task sinkronisasi menggunakan Antarmuka tanpa kode.

4. Konfigurasikan parameter debug.

   Di panel kanan halaman konfigurasi task sinkronisasi batch, klik Run Configuration. Konfigurasikan parameter berikut untuk menguji eksekusi pada Langkah 4: Sinkronisasi data.

   Item Konfigurasi	Deskripsi
   Resource Group	Pilih kelompok sumber daya Serverless yang Anda beli pada langkah Siapkan lingkungan.
   Script Parameters	Anda tidak perlu mengonfigurasi parameter ini. Dalam tutorial ini, kode contoh menggunakan ${bizdate} untuk merepresentasikan waktu data. Saat Anda melakukan debug workflow pada Langkah 4, atur Value Used in This Run ke nilai konstan tertentu, misalnya 20250223. Eksekusi pekerjaan kemudian akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam pekerjaan.

5. (Opsional) Konfigurasikan properti penjadwalan.

   Untuk tutorial ini, Anda dapat mempertahankan nilai default untuk parameter penjadwalan. Di panel kanan halaman konfigurasi task sinkronisasi batch, klik Scheduling. Untuk informasi selengkapnya tentang parameter tersebut, lihat Konfigurasi penjadwalan node.

   • Scheduling Parameters: Parameter ini telah dikonfigurasi untuk workflow. Node internal tidak memerlukan konfigurasi terpisah dan dapat langsung menggunakan parameter tersebut dalam task atau kode.

   • Scheduling Policies: Anda dapat menggunakan parameter Time for Delayed Execution untuk menentukan durasi tunggu node anak sebelum dijalankan setelah workflow dieksekusi. Parameter ini tidak diatur dalam tutorial ini.

6. Di bilah alat node, klik Save.