All Products
Search

This Product

    DataWorks:Sinkronisasi data

    Document Center

    DataWorks:Sinkronisasi data

    Last Updated:Jul 03, 2026

    Tutorial ini memberikan contoh penggunaan task sinkronisasi batch Data Integration untuk menyinkronkan informasi dasar pengguna dari tabel ods_user_info_d di MySQL dan data log akses website dari file user_log.txt di OSS ke tabel ods_user_info_d dan ods_raw_log_d di MaxCompute, masing-masing. Tujuannya adalah menunjukkan cara menggunakan DataWorks Data Integration untuk menyinkronkan data antar sumber data heterogen dan mengisi gudang data.

    Prasyarat

    Pastikan lingkungan kerja yang diperlukan telah siap. Untuk langkah-langkah detailnya, lihat Persiapkan lingkungan.

    1. Buat sumber data

    Buat sumber data berikut di ruang kerja DataWorks Anda untuk mendapatkan data mentah dalam tutorial ini.

    • Sumber data MySQL: Dalam tutorial ini, sumber data MySQL bernama user_behavior_analysis_mysql digunakan untuk mendapatkan informasi dasar pengguna (ods_user_info_d) yang disimpan di MySQL.

    • Sumber data HttpFile: Dalam tutorial ini, sumber data HttpFile bernama user_behavior_analysis_httpfile digunakan untuk mendapatkan log akses website pengguna (user_log.txt) yang disimpan di Object Storage Service (OSS).

    Catatan

    Jika Anda telah membuat sumber data MySQL dan HttpFile saat mengerjakan tutorial analisis profil pengguna untuk sumber daya komputasi lainnya, Anda dapat melewati langkah ini.

    Buat sumber data MySQL ( user_behavior_analysis_mysql)

    Buat sumber data MySQL untuk menyinkronkan informasi dasar pengguna (ods_user_info_d) dari database MySQL ke MaxCompute.

    1. Buka halaman Sumber Data.

      1. Masuk ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.

      2. Di panel navigasi sebelah kiri, klik Data Source.

    2. Klik Add Connection, lalu cari dan pilih MySQL sebagai jenis sumber data.

    3. Di halaman Create Mysql Data Source, konfigurasikan parameter. Untuk tutorial ini, gunakan nilai contoh yang sama baik untuk lingkungan pengembangan maupun produksi.

      Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

      Parameter

      Deskripsi

      Data Source Name

      Masukkan nama sumber data. Untuk tutorial ini, masukkan user_behavior_analysis_mysql.

      Description

      Ini adalah sumber data yang didedikasikan untuk pengalaman tutorial DataWorks. Anda dapat membaca data uji yang disediakan oleh platform saat mengonfigurasi task sinkronisasi batch. Sumber data ini hanya mendukung operasi baca dalam skenario Data Integration dan tidak dapat digunakan di modul lain.

      Configuration Mode

      Pilih User-created Data Store with Public IP Addresses.

      Connection Address

      • Alamat IP host: rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com

      • Port: 3306

      Database Name

      Masukkan nama database. Untuk tutorial ini, masukkan workshop.

      Username

      Masukkan username. Untuk tutorial ini, masukkan workshop.

      Password

      Masukkan password. Untuk tutorial ini, masukkan workshop#2017.

      Authentication Method

      Tidak ada otentikasi.

    4. Di bagian Connection Configuration, klik Test Connectivity untuk lingkungan produksi dan pengembangan, dan pastikan status konektivitasnya Connectable.

      Penting

      • Pastikan kelompok sumber daya telah dikaitkan dengan ruang kerja dan memiliki akses jaringan publik yang dikonfigurasi. Jika tidak, kesalahan akan terjadi selama sinkronisasi data berikutnya. Untuk langkah konfigurasinya, lihat Persiapkan lingkungan.

      • Jika tidak tersedia kelompok sumber daya, ikuti petunjuk di bagian konfigurasi koneksi, lalu klik Go to Buy dan Associate Purchased Resource Group.

    5. Klik Complete Creation.

    Buat sumber data HttpFile ( user_behavior_analysis_httpfile)

    Data log akses website pengguna untuk tutorial ini disimpan di OSS. Anda perlu membuat sumber data HttpFile untuk menyinkronkan log akses website pengguna (user_log.txt) dari OSS ke MaxCompute.

    1. Di halaman Management Center, klik Data Source di panel navigasi sebelah kiri.

    2. Klik Add Connection. Di dialog Add Connection, cari dan pilih Httpfile sebagai jenis sumber data.

    3. Di halaman Create Httpfile Data Source, konfigurasikan parameter. Untuk tutorial ini, gunakan nilai contoh yang sama baik untuk lingkungan pengembangan maupun produksi.

      Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

      Parameter

      Deskripsi

      Data Source Name

      Masukkan nama sumber data. Untuk tutorial ini, masukkan user_behavior_analysis_httpfile.

      Description

      Ini adalah sumber data yang didedikasikan untuk pengalaman tutorial DataWorks. Anda dapat membaca data uji yang disediakan oleh platform saat mengonfigurasi task sinkronisasi batch. Sumber data ini hanya mendukung operasi baca dalam skenario Data Integration dan tidak dapat digunakan di modul lain.

      URL

      Atur URL menjadi https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com untuk lingkungan pengembangan dan produksi.

    4. Di bagian Connection Configuration, klik Test Connectivity untuk lingkungan produksi dan pengembangan, dan pastikan status konektivitasnya Connectable.

      Penting

      • Pastikan kelompok sumber daya telah dikaitkan dengan ruang kerja dan memiliki akses jaringan publik yang dikonfigurasi. Jika tidak, kesalahan akan terjadi selama sinkronisasi data berikutnya. Untuk langkah konfigurasinya, lihat Persiapkan lingkungan.

      • Jika tidak tersedia kelompok sumber daya, ikuti petunjuk di bagian konfigurasi koneksi, lalu klik Go to Buy dan Associate Purchased Resource Group.

    5. Klik Complete Creation.

    2. Bangun pipeline sinkronisasi

    Pada langkah ini, Anda membangun pipeline sinkronisasi untuk menyinkronkan informasi dasar pengguna dan data log akses website ke tabel MaxCompute guna pemrosesan data selanjutnya.

    1. Klik ikon Icon di pojok kiri atas, lalu pilih All Products > Data Development and O&M > DataStudio. Lalu alihkan ke ruang kerja yang dibuat untuk tutorial ini di bagian atas halaman.

    2. Di panel navigasi sebelah kiri, klik image untuk membuka halaman pengembangan data. Di bagian Project Directory, klik image dan pilih Create Workflow. Atur nama workflow. Untuk tutorial ini, atur menjadi user_profile_analysis.

    3. Di halaman orkestrasi workflow, klik New Node, lalu seret node Zero-Load Node dan node Data Integration ke kanvas di sebelah kanan. Konfigurasikan node Data Integration sebagai berikut:

      • Data Source Type: MySQL.

      • Data destination type: MaxCompute.

      • Specific Type: Single Table Batch Sync.

      Atur nama node. Tabel berikut mencantumkan contoh nama node dan tujuannya dalam tutorial ini:

      Jenis node

      Nama node

      Tujuan

      imageVirtual node

      workshop_start

      Digunakan untuk mengelola seluruh workflow analisis profil pengguna, sehingga jalur alur data menjadi lebih jelas. Node ini merupakan Dry-Run Node dan tidak memerlukan kode apa pun.

      imageNode sinkronisasi batch

      ods_user_info_d

      Digunakan untuk menyinkronkan informasi dasar pengguna dari MySQL ke tabel ods_user_info_d di MaxCompute.

      imageNode sinkronisasi batch

      ods_raw_log_d

      Digunakan untuk menyinkronkan log akses website pengguna dari OSS ke tabel ods_raw_log_d di MaxCompute.

    4. Secara manual seret koneksi untuk mengatur node workshop_start sebagai node hulu dari dua node sinkronisasi batch tersebut. Hasil akhirnya sebagai berikut:

    5. Konfigurasikan penjadwalan workflow.

      Di sisi kanan halaman orkestrasi workflow, klik Scheduling Configuration dan konfigurasikan parameter. Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

      Parameter pengaturan penjadwalan

      Deskripsi

      Scheduling Parameters

      Tetapkan parameter penjadwalan untuk seluruh Alur kerja. Node internal dalam Alur kerja dapat menggunakannya secara langsung. Untuk tutorial ini, atur menjadi bizdate=$[yyyymmdd-1] untuk mendapatkan tanggal hari sebelumnya.

      Scheduling period

      Untuk tutorial ini, atur nilai ini menjadi Day.

      Scheduling time

      Untuk tutorial ini, atur Scheduling time menjadi 00:30. Alur kerja dijalankan setiap hari pada pukul 00:30.

      Konfigurasi dependensi node

      Alur kerja ini tidak memiliki dependensi hulu, sehingga Anda tidak perlu mengonfigurasinya. Untuk mempermudah management, Anda dapat mengklik Using the Workspace Root Node untuk memasang Alur kerja di bawah node root ruang kerja.

      Node root ruang kerja diberi nama dengan format: nama_ruang_kerja_root.

    3. Konfigurasikan task sinkronisasi

    Konfigurasikan node awal

    1. Di halaman orkestrasi workflow, arahkan kursor ke node workshop_start dan klik Open Node.

    2. Di sisi kanan halaman pengeditan node workshop_start, klik Scheduling Configuration dan konfigurasikan parameter. Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

      Parameter pengaturan penjadwalan

      Deskripsi

      Scheduling Type

      Untuk tutorial ini, atur menjadi Dry Run.

      Resource Group

      Untuk tutorial ini, pilih kelompok sumber daya arsitektur tanpa server yang dibuat dalam langkah Persiapkan lingkungan.

      Konfigurasi dependensi node

      Karena workshop_start adalah node awal dan tidak memiliki dependensi hulu, Anda dapat mengklik Using the Workspace Root Node untuk memicu eksekusi workflow dari node root ruang kerja.

      Node root ruang kerja dinamai: nama ruang kerja_root.

    Konfigurasikan pipeline sinkronisasi data pengguna (ods_user_info_d)

    1. Di halaman orkestrasi workflow, arahkan kursor ke node ods_user_info_d dan klik Open Node.

    2. Konfigurasikan jaringan dan sumber daya pipeline sinkronisasi.

      Parameter

      Deskripsi

      Data source

      • Sumber data: MySQL.

      • Nama sumber data: user_behavior_analysis_mysql.

      My Resource Group

      Pilih kelompok sumber daya arsitektur tanpa server yang dibeli dalam langkah Persiapkan lingkungan.

      Data going

      • Tujuan data: MaxCompute(ODPS).

      • Nama sumber data: Pilih sumber daya komputasi MaxCompute yang dikaitkan dalam langkah Persiapkan lingkungan. Dalam contoh ini, yaitu MaxCompute_Source.

    3. Klik The next Step untuk mengonfigurasi tugas sinkronisasi.

      1. Configure Source and Destination

        Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

        Bagian

        Parameter

        Deskripsi

        Data source

        Table

        Pilih ods_user_info_d.

        Shard Key

        Atur kunci pemisahan ke kolom uid. Kolom uid adalah kunci primer tabel ods_user_info_d di MySQL.

        Data going

        Tunnel Resource Group

        Nilai default untuk tutorial ini adalah Public Transfer Resource. Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi lebih lanjut tentang Kuota Tunnel eksklusif, lihat Tunnel Quota.

        Table

        Klik Generate Destination Table Schema untuk membuat tabel MaxCompute secara cepat. Tempel pernyataan DDL berikut ke bagian Table Creation Statement lalu klik New Table. Tabel ini digunakan untuk menerima data pengguna dari sumber.

        CREATE TABLE IF NOT EXISTS ods_user_info_d (
 uid STRING COMMENT 'User ID',
 gender STRING COMMENT 'Gender',
 age_range STRING COMMENT 'Age range',
 zodiac STRING COMMENT 'Zodiac sign'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 7;

        Partition Information

        Untuk tutorial ini, masukkan ${bizdate}. Ini digunakan untuk memberikan nilai konstan ke parameter bizdate selama debugging, dan untuk memberikan nilai secara dinamis ke parameter bizdate selama eksekusi terjadwal. Untuk informasi lebih lanjut tentang format variabel dan metode konfigurasi yang didukung oleh Data Studio, lihat Scheduling parameters.

      2. Konfirmasi Field Mapping dan Channel.

        DataWorks memetakan kolom antara sumber dan tujuan untuk menulis data dari kolom sumber tertentu ke kolom tujuan tertentu. Fitur ini juga mendukung konfigurasi konkurensi task dan kebijakan penanganan data kotor. Untuk tutorial ini, atur Policy for Dirty Data Records menjadi Disallow Dirty Data Records dan biarkan pengaturan lain pada nilai default-nya. Untuk informasi lebih lanjut, lihat Configure channel control.

    4. Konfigurasikan parameter debug.

      Di sisi kanan halaman konfigurasi task sinkronisasi batch, klik Run Configuration dan konfigurasikan parameter berikut. Parameter ini digunakan untuk debugging di Langkah 4 dengan parameter Run Configuration.

      Parameter

      Deskripsi

      Resource Group

      Pilih kelompok sumber daya arsitektur tanpa server yang dibeli dalam langkah Persiapkan lingkungan.

      Script Parameters

      Tidak perlu konfigurasi. Kode contoh dalam tutorial ini menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. Saat melakukan debugging workflow di Langkah 4, atur This operation value menjadi konstanta tertentu (misalnya, 20250223). Task akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam task selama eksekusi.

    5. (Opsional) Konfigurasikan pengaturan penjadwalan.

      Untuk tutorial ini, biarkan pengaturan penjadwalan pada nilai default-nya. Anda dapat mengklik Scheduling Configuration di sisi kanan halaman konfigurasi task sinkronisasi batch. Untuk deskripsi detail parameter pengaturan penjadwalan, lihat Schedule settings.

      • Scheduling Parameters: Untuk tutorial ini, parameter ini telah dikonfigurasi di tingkat workflow. Node internal dalam workflow tidak perlu mengonfigurasinya secara terpisah dan dapat menggunakannya langsung dalam task atau kode.

      • Scheduling Policy: Anda dapat menentukan parameter Delayed execution time untuk menunda eksekusi node anak setelah workflow dimulai. Untuk tutorial ini, biarkan tidak diatur.

    6. Di bilah alat node, klik Save.

    Konfigurasikan pipeline sinkronisasi log pengguna (ods_raw_log_d)

    1. Di halaman orkestrasi workflow, arahkan kursor ke node ods_raw_log_d dan klik Open Node.

    2. Konfigurasikan jaringan dan sumber daya pipeline sinkronisasi.

      Parameter

      Deskripsi

      Data source

      • Sumber data: HttpFile.

      • Nama sumber data: user_behavior_analysis_httpfile.

      My Resource Group

      Pilih kelompok sumber daya arsitektur tanpa server yang dibeli dalam langkah Persiapkan lingkungan.

      Data going

      • Tujuan data: MaxCompute(ODPS).

      • Nama sumber data: Pilih sumber daya komputasi MaxCompute yang dikaitkan dalam langkah Persiapkan lingkungan. Dalam contoh ini, yaitu MaxCompute_Source.

    3. Klik The next Step untuk mengonfigurasi tugas sinkronisasi.

      • Configure Source and Destination

        Tabel berikut menjelaskan parameter utama yang diperlukan dalam tutorial ini. Biarkan semua parameter lain pada nilai default-nya.

        Bagian

        Parameter

        Deskripsi

        Data source

        File Path

        Untuk tutorial ini, masukkan /user_log.txt.

        File Type

        Untuk tutorial ini, pilih tipe text.

        Field Delimiter

        Untuk tutorial ini, masukkan |.

        Advanced Configuration > Skip Header

        Untuk tutorial ini, pilih No agar header tidak dilewati.

        Penting

        Setelah mengonfigurasi sumber data, klik Confirm Data Structure untuk memverifikasi bahwa file log dapat dibaca dengan benar.

        Data going

        Tunnel Resource Group

        Nilai default untuk tutorial ini adalah Public Transfer Resource. Jika Anda memiliki Kuota Tunnel eksklusif, Anda dapat memilihnya dari daftar drop-down. Untuk informasi lebih lanjut tentang Kuota Tunnel eksklusif, lihat Tunnel Quota.

        Table

        Klik Generate Destination Table Schema untuk membuat tabel MaxCompute secara cepat. Tempel pernyataan DDL berikut ke bagian Table Creation Statement lalu klik New Table. Tabel ini digunakan untuk menerima data log pengguna dari sumber.

        CREATE TABLE IF NOT EXISTS ods_raw_log_d
(
    col STRING
)
PARTITIONED BY
(
    dt STRING
)
LIFECYCLE 7;

        Partition Information

        Untuk tutorial ini, masukkan ${bizdate}. Ini digunakan untuk memberikan nilai konstan ke parameter bizdate selama debugging, dan untuk memberikan nilai secara dinamis ke parameter bizdate selama eksekusi terjadwal. Untuk informasi lebih lanjut tentang format variabel dan metode konfigurasi yang didukung oleh Data Studio, lihat Scheduling parameters.

      • Konfirmasi Field Mapping dan Channel.

        DataWorks memetakan kolom antara sumber dan tujuan untuk menulis data dari kolom sumber tertentu ke kolom tujuan tertentu. Fitur ini juga mendukung konfigurasi konkurensi task dan kebijakan penanganan data kotor. Untuk tutorial ini, atur Policy for Dirty Data Records menjadi Disallow Dirty Data Records dan biarkan pengaturan lain pada nilai default-nya. Untuk informasi lebih lanjut, lihat Configure channel control.

    4. Konfigurasikan parameter debug.

      Di sisi kanan halaman konfigurasi task sinkronisasi batch, klik Run Configuration dan konfigurasikan parameter berikut. Parameter ini digunakan untuk debugging di Langkah 4 dengan parameter Run Configuration.

      Parameter

      Deskripsi

      Resource Group

      Pilih kelompok sumber daya arsitektur tanpa server yang dibeli dalam langkah Persiapkan lingkungan.

      Script Parameters

      Tidak perlu konfigurasi. Kode contoh dalam tutorial ini menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. Saat melakukan debugging workflow di Langkah 4, atur This operation value menjadi konstanta tertentu (misalnya, 20250223). Task akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam task selama eksekusi.

    5. (Opsional) Konfigurasikan pengaturan penjadwalan.

      Untuk tutorial ini, biarkan pengaturan penjadwalan pada nilai default-nya. Anda dapat mengklik Scheduling Configuration di sisi kanan halaman konfigurasi task sinkronisasi batch. Untuk deskripsi detail parameter pengaturan penjadwalan, lihat Schedule settings.

      • Scheduling Parameters: Untuk tutorial ini, parameter ini telah dikonfigurasi di tingkat workflow. Node internal dalam workflow tidak perlu mengonfigurasinya secara terpisah dan dapat menggunakannya langsung dalam task atau kode.

      • Scheduling Policy: Anda dapat menentukan parameter Delayed execution time untuk menunda eksekusi node anak setelah workflow dimulai. Untuk tutorial ini, biarkan tidak diatur.

    6. Di bilah alat node, klik Save.

    Langkah 4: Sinkronisasi data

    1. Sinkronisasi data.

      Di bilah alat workflow, klik Run. Atur nilai variabel parameter yang didefinisikan di setiap node untuk eksekusi ini (tutorial ini menggunakan 20250223; Anda dapat mengubahnya sesuai kebutuhan). Klik OK dan tunggu hingga eksekusi selesai.

    2. Verifikasi hasil sinkronisasi data.

      1. Di panel navigasi sebelah kiri Data Studio, klik image untuk membuka halaman pengembangan data. Di bagian direktori pribadi, klik image untuk membuat file dengan akhiran .sql (Anda dapat menyesuaikan nama file).

      2. Di bagian bawah halaman, verifikasi bahwa mode bahasa diatur ke MaxCompute SQL seperti yang ditunjukkan di bawah.image

      3. Di jendela pengeditan node, masukkan pernyataan SQL berikut untuk memeriksa jumlah catatan yang diimpor ke tabel ods_raw_log_d dan ods_user_info_d, memastikan bahwa data yang disinkronkan telah ditulis ke tujuan.

        -- Anda perlu mengubah kondisi filter partisi ke tanggal bisnis aktual dari operasi Anda saat ini. Dalam tutorial ini, parameter debug bizdate (tanggal bisnis) yang dikonfigurasi di atas adalah 20250223.
SELECT count(*) FROM ods_user_info_d WHERE dt='business date'; 
SELECT count(*) FROM ods_raw_log_d WHERE dt='business date';

        • Jika kueri di atas mengembalikan data, sinkronisasi data telah selesai.

        • Jika tidak ada data yang dikembalikan, pastikan bahwa This operation value yang dikonfigurasi saat menjalankan workflow cocok dengan tanggal bisnis yang ditentukan di dt dalam kueri. Anda dapat mengklik workflow, lalu klik Runtime Logs di sisi kanan, klik View di kolom Operation riwayat eksekusi, lalu periksa nilai tanggal bisnis (partition=[pt=xxx]) di log waktu proses workflow.

    Langkah berikutnya

    Setelah menyelesaikan konfigurasi sinkronisasi data, Anda dapat melanjutkan ke tutorial berikutnya untuk mempelajari cara memproses dan menganalisis data yang telah disinkronkan. Untuk detailnya, lihat Proses data.