DataWorks:Sinkronisasi data

Buat sumber data MySQL

Informasi dasar pengguna untuk tutorial ini disimpan dalam database MySQL. Buat sumber data MySQL bernama user_behavior_analysis_mysql untuk menarik tabel ods_user_info_d ke MaxCompute.

1. Login ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah Anda. Di panel navigasi kiri, pilih More > Go to Management Center. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Management Center.

2. Di panel navigasi kiri, klik Data Sources.

3. Klik Add Data Source, lalu cari dan pilih MySQL.

4. Di halaman Add MySQL Data Source, konfigurasikan parameter berikut. Gunakan nilai-nilai ini untuk lingkungan pengembangan maupun produksi. Pertahankan nilai default untuk parameter yang tidak tercantum.

   Parameter	Value
   Data source	user_behavior_analysis_mysql
   Data Source Description	Sumber data ini digunakan untuk tutorial DataWorks. Baca data dari sumber data ini saat Anda mengonfigurasi tugas sinkronisasi offline untuk mengakses data uji yang disediakan oleh platform. Sumber data ini hanya dapat dibaca dalam skenario Data Integration. Modul lain tidak dapat menggunakannya.
   Configuration Mode	Connection String Mode
   Connection Address	Host IP: rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com, Port: 3306
   Database Name	workshop
   Username	workshop
   Password	workshop#2017
   Authentication Method	No authentication

5. Di bagian Connection Configuration, klik Test Network Connectivity untuk kedua lingkungan. Pastikan status menunjukkan Connected.

   Penting

   Kelompok sumber daya harus disambungkan ke ruang kerja dengan akses jaringan publik diaktifkan. Jika tidak, sinkronisasi data akan gagal.

6. Klik Complete Creation.

Buat sumber data HttpFile

Log akses website pengguna untuk tutorial ini disimpan di OSS (Object Storage Service). Buat sumber data HttpFile bernama user_behavior_analysis_httpfile untuk menarik user_log.txt ke MaxCompute.

1. Di panel navigasi kiri, klik Data Sources.

2. Klik Add Data Source, lalu cari dan pilih HttpFile.

3. Di halaman Add HttpFile Data Source, konfigurasikan parameter berikut. Gunakan nilai-nilai ini untuk lingkungan pengembangan maupun produksi. Pertahankan nilai default untuk parameter yang tidak tercantum.

   Parameter	Nilai
   Data Source Name	user_behavior_analysis_httpfile
   Data Source Description	Sumber data ini digunakan untuk tutorial DataWorks. Baca data dari sumber data ini saat Anda mengonfigurasi tugas sinkronisasi offline untuk mengakses data uji yang disediakan oleh platform. Sumber data ini hanya dapat dibaca dalam skenario Data Integration. Modul lain tidak dapat menggunakannya.
   URL	https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com

4. Di bagian Connection Configuration, klik Test Network Connectivity untuk kedua lingkungan. Pastikan status menunjukkan Connected.

   Penting

   Kelompok sumber daya harus disambungkan ke ruang kerja dengan akses jaringan publik diaktifkan. Jika tidak, sinkronisasi data akan gagal.

5. Klik Complete Creation.

Konfigurasi node awal

1. Di kanvas alur kerja, arahkan kursor ke workshop_start dan klik Open Node.

2. Di panel kanan, klik Scheduling dan atur parameter berikut. Pertahankan nilai default untuk parameter yang tidak tercantum.

   Parameter penjadwalan	Nilai
   Scheduling Type	dry-run scheduling
   Resource Group	Pilih kelompok sumber daya Serverless yang dibuat di Persiapkan lingkungan.
   Scheduling Dependencies	Klik Use Workspace Root Node untuk memicu eksekusi dari node root ruang kerja (workspace_name_root).

Konfigurasi tugas sinkronisasi data pengguna (ods_user_info_d)

1. Di kanvas alur kerja, arahkan kursor ke ods_user_info_d dan klik Open Node.

2. Konfigurasikan sumber dan tujuan:

   Parameter	Nilai
   Source — Data source type	MySQL
   Source — Data source name	user_behavior_analysis_mysql
   Resource Group	Pilih kelompok sumber daya Serverless dari Persiapkan lingkungan.
   Destination — Data destination type	MaxCompute(ODPS)
   Destination — Data source name	Pilih sumber daya MaxCompute yang disambungkan di Persiapkan lingkungan, misalnya MaxCompute_Source.

3. Klik Next untuk mengonfigurasi detail tugas sinkronisasi.

   1. Configure source and destination. Atur parameter berikut. Pertahankan nilai default untuk parameter yang tidak tercantum.

      Modul	Configuration Item	Value
      Data source	Table	ods_user_info_d
      Data source	Split key	uid (kunci primary dari tabel ods_user_info_d di MySQL)
      Destination	Tunnel Resource Group	Sumber daya transmisi umum (default). Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi lebih lanjut, lihat Purchase and use an exclusive resource group for Data Transmission Service.
      Destination	Table	Klik Generate Destination Table Schema. Di kotak Statement for Creating Table, tempel DDL berikut dan klik Create Table:

      Module	Configuration Item	Value
      Destination	Partition information	${bizdate}

         CREATE TABLE IF NOT EXISTS ods_user_info_d (
             uid STRING COMMENT 'User ID',
             gender STRING COMMENT 'Gender',
             age_range STRING COMMENT 'Age range',
             zodiac STRING COMMENT 'Zodiac sign'
         )
         PARTITIONED BY (
             dt STRING
         )
         LIFECYCLE 7;

      Penggunaan ${bizdate} memungkinkan Anda meneruskan nilai konstan saat pengujian dan nilai dinamis saat dijalankan sesuai jadwal. Untuk format variabel yang didukung, lihat Scheduling Parameters.

   2. Konfirmasi pemetaan bidang dan kontrol saluran. DataWorks memetakan bidang sumber ke bidang tujuan berdasarkan konfigurasi pemetaan bidang. Atur Policy for Dirty Data Records ke Disallow Dirty Data Records. Pertahankan nilai default untuk semua pengaturan lainnya. Untuk detailnya, lihat Configure a sync task using the codeless UI.

4. Konfigurasikan parameter debug. Di panel kanan, klik Debugging Configurations dan atur sebagai berikut:

   Configuration Item	Nilai
   Resource Group	Pilih kelompok sumber daya Serverless dari Persiapkan lingkungan.
   Script Parameters	Biarkan kosong. Saat Anda menjalankan alur kerja di Langkah 4, atur Value Used in This Run ke nilai konstan seperti 20250223. Pekerjaan akan mengganti ${bizdate} dengan nilai ini.

5. (Opsional) Konfigurasikan properti penjadwalan. Di panel kanan, klik Scheduling. Parameter penjadwalan tingkat alur kerja sudah berlaku untuk node ini; tidak diperlukan konfigurasi terpisah. Untuk detailnya, lihat Node scheduling.

6. Di bilah alat node, klik Save.

Konfigurasi tugas sinkronisasi log pengguna (ods_raw_log_d)

1. Di kanvas alur kerja, arahkan kursor ke ods_raw_log_d dan klik Open Node.

2. Konfigurasikan sumber dan tujuan:

   Parameter	Nilai
   Source — Data source type	HttpFile
   Source — Data source name	user_behavior_analysis_httpfile
   Resource Group	Pilih kelompok sumber daya Serverless dari Persiapkan lingkungan.
   Destination — Data destination type	MaxCompute(ODPS)
   Destination — Data source name	Pilih sumber daya MaxCompute dari Persiapkan lingkungan, misalnya MaxCompute_Source.

3. Klik Next untuk mengonfigurasi detail tugas sinkronisasi.

   1. Configure source and destination. Atur parameter berikut. Pertahankan nilai default untuk parameter yang tidak tercantum.

      Penting

      Setelah Anda mengonfigurasi pengaturan sumber data, klik Confirm Data Structure untuk memverifikasi bahwa DataWorks dapat membaca file log dengan benar sebelum melanjutkan.

      Modul	Configuration Item	Value
      Data source	File path	/user_log.txt
      Data source	Text type	text
      Data source	Column Delimiter	|
      Data source	Advanced configuration > Skip Header	No
      Destination	Tunnel Resource Group	Sumber daya transmisi umum (default). Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi lebih lanjut, lihat Purchase and use an exclusive resource group for Data Transmission Service.
      Destination	Table	Klik Generate Destination Table Schema. Di kotak Statement for Creating Table, tempel DDL berikut dan klik Create Table:

      Module	Configuration Item	Value
      Destination	Partition information	${bizdate}

         CREATE TABLE IF NOT EXISTS ods_raw_log_d
         (
             col STRING
         )
         PARTITIONED BY
         (
             dt STRING
         )
         LIFECYCLE 7;

   2. Confirm field mapping and channel control. Atur Policy for Dirty Data Records ke Disallow Dirty Data Records. Pertahankan nilai default untuk semua pengaturan lainnya. Untuk detailnya, lihat Configure a sync task using the codeless UI.

4. Konfigurasikan parameter debug. Di panel kanan, klik Debugging Configurations dan atur sebagai berikut:

   Item konfigurasi	Nilai
   Resource Group	Pilih kelompok sumber daya Serverless dari Persiapkan lingkungan.
   Script Parameters	Biarkan kosong. Saat Anda menjalankan alur kerja di Langkah 4, atur Value Used in This Run ke nilai konstan seperti 20250223.

5. (Opsional) Konfigurasikan properti penjadwalan. Di panel kanan, klik Scheduling. Parameter tingkat alur kerja berlaku otomatis untuk node ini. Untuk detailnya, lihat Node scheduling.

6. Di bilah alat node, klik Save.