DataWorks:Sinkronkan data

DataStudio

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

Rancang alur kerja

1. Buat alur kerja.

   Di DataWorks, pengembangan data dilakukan menggunakan komponen dalam alur kerja. Sebelum membuat node, Anda harus terlebih dahulu membuat alur kerja. Untuk petunjuknya, lihat Buat alur kerja.

   Beri nama alur kerja user_profile_analysis_MaxCompute.

   

2. Rancang alur kerja.

   Setelah alur kerja dibuat, kanvas-nya akan terbuka secara otomatis. Di kanvas, klik New Node. Rancang alur kerja sinkronisasi data dengan menyeret node ke kanvas dan menghubungkannya untuk menentukan dependensi. Untuk informasi lebih lanjut, lihat Desain alur kerja.

   

3. Dalam tutorial ini, tidak ada alur data antara node zero-load dan node sinkronisasi batch. Oleh karena itu, tentukan dependensinya dengan menggambar garis di kanvas alur kerja. Untuk informasi lebih lanjut tentang cara mengonfigurasi dependensi, lihat Panduan mengonfigurasi dependensi penjadwalan. Tabel berikut menjelaskan jenis, nama, dan fungsi setiap node.

   Kategori	Jenis	Nama (Dinamai sesuai tabel output akhir)	Deskripsi
   Umum	zero-load node	workshop_start_odps	Mengoordinasikan alur kerja analisis profil pengguna, misalnya dengan mengatur waktu mulainya. Ini memperjelas jalur alur data dalam alur kerja kompleks. Node ini merupakan tugas dry-run dan tidak memerlukan pengeditan kode.
   Data integration	batch synchronization	ods_user_info_d_odps	Menyinkronkan informasi dasar pengguna dari MySQL ke tabel MaxCompute ods_user_info_d_odps.
   Data integration	batch synchronization	ods_raw_log_d_odps	Menyinkronkan log akses website pengguna dari OSS ke tabel MaxCompute ods_raw_log_d_odps.

Konfigurasi logika penjadwalan

Dalam tutorial ini, node zero-load workshop_start_odps memicu alur kerja untuk berjalan setiap hari pukul 00.30. Tabel berikut merinci konfigurasi penjadwalan utama untuk node ini. Anda tidak perlu mengubah pengaturan penjadwalan untuk node lainnya. Untuk detail implementasi, lihat Konfigurasi properti waktu lanjutan. Untuk informasi lebih lanjut tentang konfigurasi penjadwalan lainnya, lihat Ikhtisar konfigurasi properti penjadwalan tugas.

Buat tabel MaxCompute

Sebelum memulai, buat tabel MaxCompute tujuan yang akan menyimpan data mentah yang disinkronkan oleh Data Integration. Tutorial ini menjelaskan cara membuatnya dengan cepat. Untuk petunjuk lebih rinci, lihat Kelola tabel MaxCompute.

1. Navigasi ke halaman pembuatan tabel.

   

2. Buat tabel ods_raw_log_d_odps.

   Di kotak dialog Create Table, masukkan ods_raw_log_d_odps di kolom Name. Di halaman editor tabel, klik DDL, masukkan pernyataan berikut, lalu klik Generate Table Schema. Klik Confirm untuk menimpa skema saat ini.

   CREATE TABLE IF NOT EXISTS ods_raw_log_d_odps
   (
    col STRING
   ) 
   PARTITIONED BY
   (
    dt STRING
   )
   LIFECYCLE 7;

3. Buat tabel ods_user_info_d_odps.

   Di kotak dialog Create Table, masukkan ods_user_info_d_odps di kolom Name. Di halaman editor tabel, klik DDL, masukkan pernyataan berikut, lalu klik Generate Table Schema. Klik Confirm untuk menimpa skema saat ini.

   CREATE TABLE IF NOT EXISTS ods_user_info_d_odps (
    uid STRING COMMENT 'User ID',
    gender STRING COMMENT 'Gender',
    age_range STRING COMMENT 'Age range',
    zodiac STRING COMMENT 'Zodiac'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 7;

4. Komit dan publikasikan tabel.

   Setelah memverifikasi bahwa informasi tabel sudah benar, untuk masing-masing tabel ods_user_info_d_odps dan ods_raw_log_d_odps, klik Commit to Development Environment lalu Commit to Production Environment. Operasi ini membuat tabel fisik di proyek mesin komputasi untuk lingkungan pengembangan dan produksi, sesuai definisi dalam konfigurasi node Anda.

   Catatan

   Setelah menetapkan skema tabel, Anda perlu mengirimkannya ke lingkungan pengembangan dan produksi. Setelah pengiriman berhasil, tabel tersebut dapat dilihat di Proyek Mesin komputasi yang sesuai.

   • Komit tabel ke lingkungan pengembangan DataWorks untuk membuat tabel di mesin MaxCompute yang terkait dengan lingkungan pengembangan.

   • Komit tabel ke lingkungan produksi DataWorks untuk membuat tabel di mesin MaxCompute yang terkait dengan lingkungan produksi.

Buat sumber data

Tutorial ini menggunakan data uji dari instans ApsaraDB for RDS (MySQL) dan OSS. Anda harus membuat sumber data MySQL bernama user_behavior_analysis_mysql dan sumber data HttpFile bernama user_behavior_analysis_httpfile di ruang kerja Anda untuk mengakses data uji yang disediakan. Informasi dasar yang diperlukan untuk sumber data telah disediakan.

Konfigurasi sinkronisasi data pengguna

Node sinkronisasi batch ini menyinkronkan data informasi dasar pengguna dari tabel MySQL ods_user_info_d yang disediakan dalam studi kasus ke tabel MaxCompute ods_user_info_d_odps.

1. Klik dua kali node sinkronisasi batch ods_user_info_d_odps untuk membuka halaman pengeditan node.

2. Konfigurasi jaringan dan sumber daya.

   Konfigurasikan Data source, My Resource Group, dan Data going, lalu klik The next Step. Lakukan pengujian konektivitas sesuai permintaan. Tabel berikut menjelaskan pengaturan ini.

   

   Parameter	Deskripsi
   Data source	Data source: MySQL Data Source Name: user_behavior_analysis_mysql
   My Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang Anda beli pada langkah Menyiapkan lingkungan.
   Data going	Data going: MaxCompute Data Source Name: user_behavior_analysis_odps

3. Konfigurasi tugas.

   • Konfigurasikan sumber dan tujuan.

     Modul	Parameter	Deskripsi	Ilustrasi
     Data source	Table	Pilih tabel MySQL ods_user_info_d.
     	Shard Key	Gunakan primary key atau kolom terindeks sebagai split key. Split key harus berupa bidang integer. Di sini, split key diatur ke bidang uid.
     Data going	Tunnel Resource Group	Tutorial ini menggunakan Common transmission resources secara default. Jika Anda memiliki kuota tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Catatan Untuk informasi lebih lanjut tentang sumber daya transmisi data MaxCompute, lihat Beli dan gunakan kelompok sumber daya transmisi data eksklusif. Jika kuota tunnel eksklusif Anda tidak tersedia karena pembayaran tertunda atau kedaluwarsa, tugas secara otomatis beralih ke common transmission resources selama waktu proses.
     	schema	Dalam tutorial ini, pilih default. Jika proyek MaxCompute Anda memiliki skema lain, Anda dapat memilihnya dari daftar drop-down.
     	Table	Pilih tabel ods_user_info_d_odps yang dibuat dalam kueri ad hoc.
     	Partition Information	Tutorial ini menggunakan parameter ${bizdate}.
     	Write Method	Untuk tutorial ini, pilih "Clean up existing data before writing" dari daftar drop-down. Dua mode penulisan tersedia: insert into: Langsung memasukkan data ke tabel atau partisi statis. insert overwrite: Menghapus data yang ada dari tabel atau partisi statis sebelum memasukkan data baru.
     	Write by Converting Empty Strings into Null	Untuk tutorial ini, pilih No.

   • Konfirmasi pemetaan bidang dan pengaturan umum.

     DataWorks memungkinkan Anda memetakan bidang antara sumber dan tujuan. Anda juga dapat mengonfigurasi pengaturan untuk konkurensi baca/tulis, pembatasan laju untuk menghindari dampak pada database, penanganan data kotor, dan eksekusi tugas terdistribusi. Tutorial ini menggunakan pengaturan default. Untuk informasi lebih lanjut tentang opsi konfigurasi lainnya, lihat Konfigurasi Mode Wizard.

4. Properti Penjadwalan.

   Di halaman konfigurasi node, klik Properties di panel navigasi sebelah kanan untuk membuka panel Scheduling Configuration. Di panel ini, konfigurasikan penjadwalan dan informasi node. Untuk informasi lebih lanjut, lihat Konfigurasi Penjadwalan Node. Tabel berikut menjelaskan konfigurasi tersebut.

   Parameter	Description	Illustration
   Scheduling Parameters	Anda dapat membiarkan nilai parameter penjadwalan tetap sebagai default $bizdate. Catatan bizdate=$bizdate mengembalikan tanggal hari sebelumnya dalam format yyyymmdd.
   Time attribute	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Allow Regardless of Running Status. Pertahankan nilai default untuk parameter lainnya. Catatan Waktu mulai harian node ini bergantung pada waktu terjadwal dari node virtual workshop_start. Node ini hanya berjalan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih kelompok sumber daya serverless yang telah Anda buat pada langkah Prepare environment.
   Scheduling Dependency	Konfirmasi Parent Nodes: Pastikan node workshop_start ditampilkan sebagai upstream node dari node saat ini. Dependensi hulu yang Anda konfigurasikan dengan menggambar garis akan ditampilkan di sini. Jika node workshop_start tidak muncul, pastikan Anda telah menyelesaikan desain alur bisnis untuk tahap sinkronisasi data seperti yang dijelaskan dalam Design the business flow. Dalam contoh ini, node saat ini akan dipicu untuk berjalan setelah waktu terjadwal untuk node workshop_start tercapai dan node tersebut menyelesaikan eksekusinya. Konfirmasi this node's output: periksa apakah terdapat output node bernama MaxCompute_production_project_name.ods_user_info_d_odps. Jika output node ini tidak ada, tambahkan secara manual Node Output. Catatan DataWorks menetapkan dependensi antar-node menggunakan output node. Untuk mempermudah tugas SQL hilir dalam memproses tabel output dari tugas sinkronisasi, Anda dapat menggunakan mekanisme automatic parsing guna menambahkan dependensi dengan cepat berdasarkan lineage tabel. Dalam kasus ini, Anda harus memastikan bahwa terdapat node output dengan nama yang sama seperti tabel output sinkronisasi, misalnya MaxCompute_production_project_name.ods_user_info_d_odps.

Konfigurasi pipeline log pengguna

Node sinkronisasi batch ini digunakan untuk mengonfigurasi tugas sinkronisasi guna menyinkronkan informasi akses website pengguna dari objek HttpFile publik user_log.txt ke tabel MaxCompute ods_raw_log_d_odps.

1. Klik dua kali node sinkronisasi batch ods_raw_log_d_odps untuk membuka halaman pengeditan node.

2. Konfigurasi jaringan dan sumber daya.

   Konfigurasikan Data source, My Resource Group, dan Data going. Lalu, klik The next Step dan jalankan pengujian konektivitas sesuai permintaan. Tabel berikut menjelaskan konfigurasi tersebut.

   

   Parameter	Deskripsi
   Data source	Data source: HttpFile Data Source Name: user_behavior_analysis_HttpFile
   My Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang Anda beli pada langkah Menyiapkan lingkungan.
   Data going	Data going: MaxCompute Data Source Name: user_behavior_analysis_odps

3. Konfigurasi tugas.

   • Konfigurasikan sumber dan tujuan.

     Modul	Parameter		Deskripsi	Ilustrasi
     Data source	File Path		Dalam tutorial ini, masukkan /user_log.txt.
     	File Type		Pilih tipe text.
     	Field Delimiter		Dalam tutorial ini, masukkan: |.
     	Advanced Configuration	Encoding	Pilih format encoding UTF-8.
     		Compression Format	Pilih format None.
     		Skip Header	Pilih No untuk tidak melewatkan header tabel.
     Data going	Tunnel Resource Group		Tutorial ini menggunakan common transmission resources secara default. Jika Anda memiliki kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Catatan Untuk informasi tentang memilih sumber daya transmisi data untuk MaxCompute, lihat Beli dan gunakan kelompok sumber daya layanan transmisi data eksklusif. Jika kuota Tunnel eksklusif tidak tersedia karena pembayaran tertunda atau kedaluwarsa, tugas secara otomatis beralih ke common transmission resources selama berjalan.
     	Schema		Untuk tutorial ini, pilih skema default. Jika proyek DataWorks Anda memiliki skema lain, Anda dapat memilihnya dari daftar drop-down.
     	Table		Dari daftar drop-down, pilih tabel ods_raw_log_d_odps yang dibuat dalam kueri ad-hoc.
     	Partition Information		Tutorial ini menggunakan parameter ${bizdate}.
     	Write Method		Untuk tutorial ini, pilih Clean up existing data before writing. Mode penulisan berikut didukung: insert into: Langsung memasukkan data ke tabel atau partisi statis. insert overwrite: Menghapus data yang ada dari tabel atau partisi statis sebelum memasukkan data baru.
     	Write by Converting Empty Strings into Null		Untuk tutorial ini, pilih No.

     Setelah mengonfigurasi sumber, klik Confirm Data Structure untuk memverifikasi bahwa DataWorks dapat membaca file log dengan benar.

   • Konfirmasi pemetaan bidang dan pengaturan umum.

     DataWorks memungkinkan Anda memetakan bidang sumber ke bidang tujuan. Fitur-fitur seperti paralelisme, pembatasan laju (untuk menghindari dampak pada database Anda), penanganan data kotor, dan eksekusi tugas terdistribusi juga tersedia. Untuk tutorial ini, gunakan pengaturan default. Untuk informasi lebih lanjut tentang opsi konfigurasi lainnya, lihat Konfigurasi tugas sinkronisasi batch dalam mode wizard.

4. Konfigurasi properti penjadwalan.

   Di halaman konfigurasi, klik Scheduling configuration di panel sisi kanan. Pada panel Scheduling Configuration, atur penjadwalan dan informasi node. Untuk informasi selengkapnya, lihat Konfigurasikan properti penjadwalan untuk sebuah node. Tabel berikut menjelaskan konfigurasi tersebut.

   Parameter	Deskripsi	Ilustrasi
   Scheduling Parameters	Anda dapat membiarkan nilai parameter penjadwalan sebagai default $bizdate. Catatan bizdate=$bizdate mengembalikan tanggal hari sebelumnya dalam format yyyymmdd.
   Time attribute	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Allow Regardless of Running Status. Pertahankan nilai default untuk parameter lainnya. Catatan Waktu mulai harian node ini bergantung pada waktu terjadwal node virtual workshop_start. Node ini hanya berjalan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang Anda buat pada tahap Menyiapkan lingkungan.
   Scheduling Dependency	Konfirmasi Parent Nodes: Verifikasi bahwa node workshop_start ditampilkan sebagai upstream node dari node saat ini. Dependensi hulu yang dikonfigurasi dengan menghubungkan node akan ditampilkan di bagian ini. Jika node workshop_start tidak ditampilkan, pastikan Anda telah menyelesaikan desain alur bisnis untuk tahap sinkronisasi data bisnis seperti yang dijelaskan dalam Rancang alur bisnis. Dalam contoh ini, ketika waktu terjadwal untuk node workshop_start tercapai dan eksekusinya selesai, node saat ini dipicu untuk berjalan. Konfirmasi the node output: Periksa apakah ada output node bernama YourMaxComputeProjectName.ods_raw_log_d_odps. Jika output node tidak ada, Anda harus menambahkan secara manual Node Output. Catatan DataWorks menggunakan output node untuk menetapkan dependensi node. Saat tugas SQL hilir memproses tabel output dari tugas sinkronisasi, mekanisme penguraian otomatis menggunakan lineage tabel untuk menambahkan tugas sinkronisasi sebagai dependensi untuk node SQL dengan cepat. Agar mekanisme ini berfungsi, Anda harus memastikan bahwa node output ada dengan nama yang sama seperti tabel output sinkronisasi: MaxCompute production project name.ods_raw_log_d_odps.

Jalankan alur bisnis

1. Di halaman DataStudio, klik dua kali user_profile_analysis_MaxCompute di bawah Workflow untuk membuka panel Workflow, lalu klik ikon di bilah alat untuk menjalankan alur kerja sesuai dependensi hulu dan hilirnya.

2. Periksa status eksekusi:

   • Periksa status node: Status menunjukkan bahwa proses eksekusi sinkron tidak memiliki masalah.

   • Untuk melihat log eksekusi tugas, klik kanan node ods_user_info_d_odps atau ods_raw_log_d_odps dan pilih View Logs. Ketika teks berikut muncul di log, itu menunjukkan bahwa node sinkronisasi berhasil dijalankan dan data berhasil disinkronkan.

     

Lihat hasil sinkronisasi

Menjalankan alur kerja bisnis diharapkan dapat menyinkronkan sepenuhnya data dari tabel informasi dasar pengguna ods_user_info_d di MySQL ke partisi kemarin dari tabel workshop2024_01_dev.ods_user_info_d_odps, dan log akses website pengguna dari file user_log.txt di OSS ke partisi kemarin dari tabel workshop2024_01_dev.ods_raw_log_d_odps. Karena kueri SQL tidak perlu dijalankan di lingkungan produksi, Anda dapat membuat file kueri ad hoc untuk memverifikasi hasilnya.

1. Buat file kueri ad hoc.

   Di panel navigasi sebelah kiri halaman DataStudio, klik ikon untuk membuka panel Ad Hoc Query. Klik kanan Ad Hoc Query dan pilih New Node > ODPS SQL.

2. Kueri tabel hasil sinkronisasi.

   Jalankan pernyataan SQL berikut untuk memverifikasi hasil sinkronisasi data. Periksa jumlah catatan yang diimpor ke ods_raw_log_d_odps dan ods_user_info_d_odps.

   // Ganti 'your_data_timestamp' dengan timestamp data aktual, yaitu hari sebelum tanggal eksekusi tugas (misalnya, gunakan 20230620 jika tugas dijalankan pada 20230621).
   select count(*) from ods_user_info_d_odps  where dt='your_data_timestamp'; 
   select count(*) from ods_raw_log_d_odps where dt='your_data_timestamp';

   

   Catatan

   Dalam tutorial ini, Anda menjalankan node di DataStudio, yaitu lingkungan pengembangan. Oleh karena itu, data secara default ditulis ke tabel di proyek workshop2024_01_dev, yaitu proyek mesin komputasi untuk lingkungan ini.