DataWorks:Sinkronisasi data

Buka DataStudio

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

Rancang alur kerja

1. Buat alur kerja.

   Di DataWorks, Anda melakukan pengembangan data dalam alur kerja menggunakan komponen pengembangan. Anda harus membuat alur kerja sebelum membuat node. Untuk informasi lebih lanjut, lihat Buat alur kerja.

   Beri nama alur kerja user_profile_analysis_MaxCompute.

2. Rancang alur kerja.

   Setelah Anda membuat alur kerja, kanvasnya akan terbuka secara otomatis. Berdasarkan desain alur kerja, klik New Node pada kanvas. Seret node yang diperlukan ke kanvas dan gambar garis di antara mereka untuk mengatur dependensi tahap sinkronisasi data.

   

3. Dalam tutorial ini, tidak ada alur data antara node zero load dan node sinkronisasi batch. Oleh karena itu, Anda harus menentukan dependensinya dengan menggambar garis di alur kerja. Untuk informasi lebih lanjut tentang cara lain mengonfigurasi dependensi, lihat Konfigurasi dependensi penjadwalan. Tabel berikut menjelaskan kategori, jenis, nama, dan fungsi setiap node.

   Kategori	Jenis	Nama node (Dinamai sesuai tabel output akhir)	Deskripsi
   General	zero load node	workshop_start_odps	Mengelola seluruh alur kerja analisis profil pengguna, seperti menentukan kapan alur kerja dipicu. Ketika alur kerja kompleks, node ini membantu memperjelas jalur alur data. Ini adalah node simulasi kering dan tidak memerlukan pengeditan kode.
   data integration	batch synchronization	ods_user_info_d_odps	Menyinkronkan informasi pengguna dasar dari MySQL ke tabel MaxCompute ods_user_info_d_odps.
   data integration	batch synchronization	ods_raw_log_d_odps	Menyinkronkan log akses website pengguna dari OSS ke tabel MaxCompute ods_raw_log_d_odps.

Konfigurasi logika penjadwalan

Dalam tutorial ini, node zero load workshop_start_odps memicu seluruh alur kerja untuk berjalan setiap hari pukul 00.30. Tabel berikut menjelaskan konfigurasi penjadwalan utama untuk node zero load. Anda tidak perlu mengubah pengaturan penjadwalan untuk node lain. Untuk informasi lebih lanjut tentang logika implementasi, lihat Konfigurasi properti waktu lanjutan. Untuk informasi lebih lanjut tentang konfigurasi penjadwalan lainnya, lihat Ikhtisar properti penjadwalan task.

Buat tabel MaxCompute tujuan

Anda perlu membuat tabel MaxCompute terlebih dahulu untuk menyimpan data mentah yang disinkronkan menggunakan Data Integration. Tutorial ini menunjukkan cara cepat membuat tabel yang diperlukan. Untuk informasi lebih lanjut, lihat Buat dan gunakan tabel MaxCompute.

1. Buat tabel.

   Di panel navigasi sebelah kiri, klik kanan node Table di bawah MaxCompute dan pilih Create Table dari menu pintasan.

2. Buat tabel ods_raw_log_d_odps.

   Di kotak dialog Create Table, masukkan nama ods_raw_log_d_odps. Di halaman editor tabel, klik DDL, masukkan pernyataan DDL berikut, klik Generate Table Schema, lalu klik Confirm untuk menimpa konfigurasi saat ini.

   CREATE TABLE IF NOT EXISTS ods_raw_log_d_odps
   (
    col STRING
   ) 
   PARTITIONED BY
   (
    dt STRING
   )
   LIFECYCLE 7;

3. Buat tabel ods_user_info_d_odps.

   Di kotak dialog Create Table, masukkan nama ods_user_info_d_odps. Di halaman editor tabel, klik DDL, masukkan pernyataan DDL berikut, klik Generate Table Schema, lalu klik Confirm untuk menimpa konfigurasi saat ini.

   CREATE TABLE IF NOT EXISTS ods_user_info_d_odps (
    uid STRING COMMENT 'User ID',
    gender STRING COMMENT 'Gender',
    age_range STRING COMMENT 'Age range',
    zodiac STRING COMMENT 'Zodiac sign'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 7;

4. Commit dan deploy tabel.

   Setelah Anda mengonfirmasi informasi tabel, klik Commit to Development Environment dan Commit to Production Environment untuk kedua tabel ods_user_info_d_odps dan ods_raw_log_d_odps. Tindakan ini membuat tabel fisik di proyek mesin komputasi yang sesuai untuk lingkungan pengembangan dan produksi berdasarkan konfigurasi node Anda.

   Catatan

   Anda hanya dapat melihat tabel di proyek mesin komputasi lingkungan yang sesuai setelah commit berhasil.

   • Commit tabel ke lingkungan pengembangan DataWorks membuat tabel di mesin komputasi MaxCompute yang terikat ke lingkungan pengembangan.

   • Commit tabel ke lingkungan produksi DataWorks membuat tabel di mesin komputasi MaxCompute yang terikat ke lingkungan produksi.

Buat sumber data sumber

Tutorial ini menggunakan data uji dari database MySQL dan Object Storage Service (OSS). Anda perlu membuat sumber data MySQL bernama user_behavior_analysis_mysql dan sumber data HttpFile bernama user_behavior_analysis_httpfile di ruang kerja Anda untuk mengakses data uji yang disediakan. Informasi dasar untuk sumber data uji ini telah disediakan.

Konfigurasi pipeline sinkronisasi data pengguna

Bagian ini menjelaskan cara mengonfigurasi node sinkronisasi batch untuk menyinkronkan informasi pengguna dasar dari tabel MySQL ods_user_info_d yang disediakan ke tabel MaxCompute ods_user_info_d_odps.

1. Klik dua kali node sinkronisasi batch ods_user_info_d_odps untuk membuka editor node.

2. Konfigurasi jaringan dan sumber daya.

   Setelah Anda mengonfigurasi Data source, My Resource Group, dan Data going, klik The next Step dan selesaikan pengujian konektivitas sesuai permintaan. Tabel berikut menjelaskan konfigurasi yang diperlukan.

   Parameter	Konfigurasi
   Data source	Data source: MySQL Data Source Name: user_behavior_analysis_mysql
   My Resource Group	Pilih kelompok sumber daya Serverless yang Anda beli pada langkah Prepare the environment.
   Data going	Data going: MaxCompute Data Source Name: user_behavior_analysis_odps

3. Konfigurasi task.

   • Konfigurasi sumber dan tujuan.

     Modul	Parameter	Konfigurasi
     Data source	Table	Pilih tabel MySQL ods_user_info_d.
     	Shard Key	Gunakan primary key atau kolom terindeks sebagai split key. Hanya bidang bertipe integer yang didukung. Untuk tutorial ini, atur split key ke bidang uid.
     Data going	Tunnel Resource Group	Tutorial ini menggunakan common transmission resources secara default. Jika Anda memiliki kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Catatan Untuk informasi selengkapnya mengenai sumber daya transmisi data MaxCompute, lihat Beli dan gunakan kelompok sumber daya eksklusif untuk transmisi data. Jika kuota Tunnel eksklusif tidak tersedia karena Pembayaran tertunda atau kedaluwarsa, Tugas tersebut secara otomatis beralih ke sumber daya transmisi umum.
     	Schema	Tutorial ini menggunakan skema default. Jika Anda memiliki skema lain di proyek MaxCompute Anda, Anda dapat memilih salah satunya dari daftar drop-down.
     	Table	Pilih tabel ods_user_info_d_odps yang telah Anda buat sebelumnya.
     	Partition Information	Untuk tutorial ini, masukkan parameter ${bizdate}.
     	Write Method	Untuk tutorial ini, pilih Clean up existing data before writing (Insert Overwrite). Mode penulisan berikut didukung: insert into: Memasukkan data langsung ke tabel atau partisi statis. insert overwrite: Menghapus data yang ada di tabel atau partisi statis sebelum memasukkan data baru.
     	Write by Converting Empty Strings into Null	Untuk tutorial ini, pilih No.

   • Konfirmasi pemetaan bidang dan pengaturan umum.

     DataWorks memungkinkan Anda memetakan bidang sumber ke bidang tujuan. Hal ini memastikan data dari bidang sumber tertentu ditulis ke bidang tujuan yang benar. DataWorks juga menyediakan fitur untuk mengatur operasi baca/tulis konkuren, pembatasan laju untuk mencegah sinkronisasi memengaruhi kinerja database, menentukan penanganan data kotor, dan menjalankan task terdistribusi. Tutorial ini menggunakan pengaturan default. Untuk informasi lebih lanjut tentang opsi konfigurasi lainnya, lihat Configure a batch synchronization node by using the codeless UI.

4. Konfigurasi properti penjadwalan.

   Di halaman konfigurasi, klik Scheduling settings di panel sebelah kanan untuk membuka panel Scheduling Configuration. Di sini, Anda dapat mengonfigurasi penjadwalan dan informasi node. Untuk detailnya, lihat Configure scheduling properties for a node. Untuk tutorial ini, gunakan konfigurasi berikut:

   Parameter	Konfigurasi
   Scheduling Parameters	Gunakan nilai default $bizdate. Catatan bizdate=$bizdate mengambil tanggal hari sebelumnya dalam format yyyymmdd.
   Time attribute	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Mengizinkan task dijalankan ulang terlepas dari keberhasilan atau kegagalannya sebelumnya. Gunakan nilai default untuk parameter lainnya. Catatan Node hanya berjalan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih kelompok sumber daya Serverless yang Anda buat pada langkah Prepare the environment.
   Scheduling Dependency	Konfirmasi Parent Nodes: Pastikan node workshop_start ditampilkan sebagai parent node dari node saat ini. Dependensi induk yang Anda atur dengan menghubungkan node akan ditampilkan di sini. Jika node workshop_start tidak ditampilkan, pastikan Anda telah merancang alur bisnis untuk tahap sinkronisasi data dengan mengacu pada Design a business flow. Dalam kasus penggunaan ini, node saat ini dipicu setelah node workshop_start berjalan pada waktu yang dijadwalkan dan selesai dengan sukses. Pastikan output node bernama [Name of the MaxCompute production project].ods_user_info_d_odps ada. Jika tidak, Anda harus menambahkannya secara manual dengan output name ini. Catatan DataWorks menggunakan output node untuk mengelola dependensi. Fitur automatic parsing menggunakan lineage tabel untuk membantu node SQL hilir memproses output task sinkronisasi dengan secara otomatis menambahkan dependensi yang diperlukan. Anda harus mengonfirmasi apakah node output ada dengan nama yang sama seperti tabel output sinkronisasi, [Name of the MaxCompute production project].ods_user_info_d_odps.

Konfigurasi pipeline sinkronisasi log pengguna

Bagian ini menjelaskan cara mengonfigurasi node sinkronisasi batch untuk menyinkronkan data akses website pengguna dari file user_log.txt di sumber data HttpFile publik yang disediakan ke tabel MaxCompute ods_raw_log_d_odps.

1. Klik dua kali node sinkronisasi batch ods_raw_log_d_odps untuk membuka editor node.

2. Konfigurasi jaringan dan sumber daya.

   Setelah Anda mengonfigurasi Data source, My Resource Group, dan Data going, klik The next Step dan selesaikan pengujian konektivitas sesuai permintaan. Tabel berikut menjelaskan konfigurasi yang diperlukan.

   Parameter	Konfigurasi
   Data source	Data source: HttpFile Data Source Name: user_behavior_analysis_httpfile
   My Resource Group	Pilih kelompok sumber daya Serverless yang Anda beli pada langkah Prepare the environment.
   Data going	Data going: MaxCompute Data Source Name: user_behavior_analysis_odps

3. Konfigurasi task.

   • Konfigurasi sumber dan tujuan.

     Modul	Parameter		Konfigurasi
     Data source	File Path		Untuk tutorial ini, masukkan /user_log.txt.
     	File Type		Pilih text.
     	Field Delimiter		Untuk tutorial ini, masukkan |.
     	Advanced Configuration	Encoding	Pilih format encoding UTF-8.
     		Compression Format	Pilih None.
     		Skip Header	Pilih No.
     Data going	Tunnel Resource Group		Tutorial ini menggunakan common transmission resources secara default. Jika Anda memiliki kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Catatan Untuk informasi lebih lanjut tentang sumber daya transmisi data MaxCompute, lihat Purchase and use exclusive resource groups for data transmission. Jika kuota Tunnel eksklusif tidak tersedia karena Pembayaran tertunda atau kedaluwarsa, task secara otomatis beralih ke penggunaan common transmission resources.
     	Schema		Tutorial ini menggunakan skema default. Jika Anda memiliki skema lain di proyek DataWorks Anda, Anda dapat memilih salah satunya dari daftar drop-down.
     	Table		Pilih tabel ods_raw_log_d_odps yang telah Anda buat sebelumnya.
     	Partition Information		Untuk tutorial ini, masukkan parameter ${bizdate}.
     	Write Method		Untuk tutorial ini, pilih Clean up existing data before writing (Insert Overwrite). Mode penulisan berikut didukung: insert into: Memasukkan data langsung ke tabel atau partisi statis. insert overwrite: Menghapus data yang ada di tabel atau partisi statis sebelum memasukkan data baru.
     	Write by Converting Empty Strings into Null		Untuk tutorial ini, pilih No.

     Setelah Anda mengonfigurasi sumber, klik Confirm Data Structure untuk memverifikasi bahwa file log dapat dibaca dengan benar.

   • Konfirmasi pemetaan bidang dan pengaturan umum.

     DataWorks memungkinkan Anda memetakan bidang sumber ke bidang tujuan. Hal ini memastikan data dari bidang sumber tertentu ditulis ke bidang tujuan yang benar. DataWorks juga menyediakan fitur untuk mengatur operasi baca/tulis konkuren, pembatasan laju untuk mencegah sinkronisasi memengaruhi kinerja database, menentukan penanganan data kotor, dan menjalankan task terdistribusi. Tutorial ini menggunakan pengaturan default. Untuk informasi lebih lanjut tentang opsi konfigurasi lainnya, lihat Configure a batch synchronization node by using the codeless UI.

4. Konfigurasi properti penjadwalan.

   Di halaman konfigurasi, klik Scheduling settings di panel sebelah kanan untuk membuka panel Scheduling Configuration. Di sini, Anda dapat mengonfigurasi penjadwalan dan informasi node. Untuk detailnya, lihat Configure scheduling properties for a node. Untuk tutorial ini, gunakan konfigurasi berikut:

   Parameter	Konfigurasi
   Scheduling Parameters	Gunakan nilai default $bizdate. Catatan bizdate=$bizdate mengambil tanggal hari sebelumnya dalam format yyyymmdd.
   Time attribute	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Mengizinkan task dijalankan ulang terlepas dari keberhasilan atau kegagalannya sebelumnya. Gunakan nilai default untuk parameter lainnya. Catatan Node hanya berjalan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih kelompok sumber daya Serverless yang Anda buat pada langkah Prepare the environment.
   Scheduling Dependency	Konfirmasi Parent Nodes: Pastikan node workshop_start ditampilkan sebagai parent node dari node saat ini. Node induk yang Anda atur dengan menghubungkan node akan ditampilkan di sini. Jika node workshop_start tidak ditampilkan, pastikan Anda telah merancang alur bisnis untuk fase sinkronisasi data bisnis seperti yang dijelaskan di Design a business flow. Dalam kasus penggunaan ini, node saat ini dipicu setelah node workshop_start berjalan pada waktu yang dijadwalkan dan selesai dengan sukses. Pastikan output node bernama [Name of the MaxCompute production project].ods_raw_log_d_odps ada. Jika tidak, Anda harus menambahkannya secara manual dengan output name ini. Catatan DataWorks menggunakan output node untuk mengelola dependensi. Fitur automatic parsing menggunakan lineage tabel untuk membantu node SQL hilir memproses output task sinkronisasi dengan secara otomatis menambahkan dependensi yang diperlukan. Anda harus mengonfirmasi apakah node output ada dengan nama yang sama seperti tabel output sinkronisasi, [Name of the MaxCompute production project].ods_raw_log_d_odps.

Jalankan alur bisnis

1. Di halaman DataStudio, klik dua kali User Profile Analysis_MaxCompute di bawah Workflow. Setelah panel Business Flow terbuka, klik ikon di bilah alat untuk menjalankan Business Flow berdasarkan dependensi hulu dan hilirnya.

2. Verifikasi eksekusi:

   • Periksa status task berjalan: Node dalam keadaan menunjukkan bahwa proses sinkronisasi selesai dengan sukses.

   • Lihat log eksekusi: Klik kanan node ods_user_info_d_odps dan ods_raw_log_d_odps lalu pilih View Logs. Kehadiran kata kunci berikut dalam log menunjukkan bahwa node berjalan dengan sukses dan menyinkronkan data.

     Kata kunci yang menunjukkan eksekusi sukses termasuk completed successfully, Shell run successfully!, dan Exit with SUCCESS.

Verifikasi hasil sinkronisasi

Setelah Business Flow berjalan, data disinkronkan dari tabel MySQL ods_user_info_d ke partisi hari sebelumnya di workshop2024_01_dev.ods_user_info_d_odps, dan log dari file OSS user_log.txt ke partisi hari sebelumnya di workshop2024_01_dev.ods_raw_log_d_odps. Karena kueri SQL tidak perlu dipublikasikan ke lingkungan produksi, Anda dapat membuat file kueri ad hoc untuk memverifikasi hasilnya.

1. Buat file kueri ad hoc.

   Di panel navigasi sebelah kiri halaman DataStudio, klik ikon untuk membuka panel Ad Hoc Query. Klik kanan Ad Hoc Query dan pilih New Node > ODPS SQL.

2. Kueri tabel tujuan.

   Jalankan pernyataan SQL berikut untuk memastikan data ditulis dengan benar. Periksa jumlah catatan yang diimpor ke tabel ods_raw_log_d_odps dan ods_user_info_d_odps.

   // Ganti 'your_business_date' dengan tanggal bisnis aktual. Misalnya, jika task dijalankan pada 20230621, tanggal bisnisnya adalah 20230620 (hari sebelum tanggal eksekusi).
   select count(*) from ods_user_info_d_odps  where dt='your_business_date'; 
   select count(*) from ods_raw_log_d_odps where dt='your_business_date';

   Jika sinkronisasi berhasil, ods_user_info_d_odps akan mengembalikan jumlah yang tidak nol (misalnya, 6), dan ods_raw_log_d_odps juga akan mengembalikan jumlah yang tidak nol, menunjukkan data berhasil ditulis ke partisi yang sesuai.

   Catatan

   Karena tutorial ini dijalankan di DataStudio (lingkungan pengembangan), data secara default ditulis ke tabel yang ditentukan di proyek MaxCompute workshop2024_01_dev untuk lingkungan pengembangan.