All Products
Search

This Product

    DataWorks:Analisis log sinkronisasi batch

    Document Center

    DataWorks:Analisis log sinkronisasi batch

    Last Updated:Aug 21, 2026

    Topik ini menjelaskan cara melihat log untuk tugas sinkronisasi batch.

    Akses halaman detail log

    Anda dapat melihat log eksekusi tugas dari Operation Center atau DataStudio.

    Modul

    Deskripsi

    Operation Center

    Buka halaman Auto Triggered Instances, Test Instance, atau Data Backfill. Filter instans yang ingin Anda periksa, lalu buka halaman detail log-nya. Untuk informasi selengkapnya, lihat View recurring instances, Backfill data and view data backfill instances, dan Run a test and view test instances.

    DataStudio

    Di halaman Operation History, Anda dapat melihat log eksekusi untuk tugas yang dijalankan dalam tiga hari terakhir.

    Baca log sinkronisasi batch

    Berikut ini adalah contoh ringkasan log untuk suatu tugas. Anda juga dapat mengklik tautan di Area ① atau Area ⑤ untuk melihat log detail setiap tahap.

    
errorLimit=[{"record":""}              ]
            locale=[zh_CN                    ]
            speed=[{"throttle":false,"concurrent":2}]
End instance loop.
2022-05-15 00:26:34 : Start Job[749320617], traceId [2837894xxx                              32488744735#70000xxx
]
2022-05-15 00:26:34 : The Job[749xxx517] will run in PhysicsPipeline [basecommon              xxx 5_ecs] with requestIdxxx
2022-05-15 00:26:34 : Detail log url: https://di-cn-shanghai.data.aliyun.xxx                                    ouxxx
2022-05-15 00:26:34 : State: 1(SUBMIT) |  Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:27:04 : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:27:xxx : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:27:19 : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:27:34 : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:27:50 : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:28:05 : State: 2(WAIT) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:28:xxx : State: 3(RUN) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:28:xxx : State: 3(RUN) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:28:50 : State: 3(RUN) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:29:05 : State: 3(RUN) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:29:20 : State: 3(RUN) | Total: 0R 0B | Speed: 0R/s 0B/s | Stage: 0.0%
2022-05-15 00:2xxx : State: 0(SUCCESS) | Total: 570386R 148.5MB | Speed: 37671R/s 9.8MB/s | Dirty data: 1R 28B | Stage: 100.0%
2022-05-15 00:29:36 : DI Job[749320617] completed successfully.
2022-05-15 00:29:36 : ---
DI Submit at          : 2022-05-15 00:26:34
DI Start at           : 2022-05-15 00:28:10
DI Finish at          : 2022-05-15 00:29:23
2022-05-15 00:29:36 : Use "cdp job -log 749320617 [-p basecomxxx              xxx6]" for more detail.
2022-05-15 00:2xxx : Detail log url: https://di-cn-shaxxx                                          xxx Group
Exit with SUCCESS.
2022-05-15 00:29:36 [INFO] Sandbox context cleanup temp file success.
2022-05-15 00:29:36 [INFO] Data synchronization ended with return code: [0].
2022-05-15 00:29:36 INFO =========================================================================
2022-05-15 00:29:36 INFO Exit code of the Shell command 0
2022-05-15 00:29:36 INFO --- Invocation of Shell command completed ---
2022-05-15 00:29:36 INFO Shell run successfully!

    Area

    Parameter

    Deskripsi

    Submit instance (Area ①)

    SUBMIT: Sistem penjadwalan telah mengirimkan tugas sinkronisasi ke kelompok sumber daya untuk Data Integration, menunjukkan bahwa sistem telah memproses definisi tugas.

    Sistem penjadwalan mengalokasikan tugas ke kelompok sumber daya untuk dieksekusi. Area ① menampilkan kelompok sumber daya Data Integration yang digunakan oleh tugas tersebut. Output log bervariasi tergantung pada jenis kelompok sumber daya:

    • Jika tugas dijalankan pada kelompok sumber daya default, log menampilkan pesan berikut:

      running in Pipeline[basecommon_ group_xxxxxxxxx]

    • Jika tugas dijalankan pada grup sumber daya eksklusif untuk Data Integration, log menampilkan pesan berikut:

      running in Pipeline[basecommon_S_res_group_xxx]

    • Jika tugas dijalankan pada kelompok sumber daya arsitektur tanpa server, log menampilkan pesan berikut:

      running in Pipeline[basecommon_Serverless_res_group_xxx]

    Catatan

    Anda juga dapat mengklik Detail log url di area ini untuk melihat log detail setiap tahap eksekusi.

    Request resources (Area ②)

    WAIT: Tugas sinkronisasi sedang menunggu ketersediaan sumber daya eksekusi Data Integration.

    Jika tugas tetap berada dalam status WAIT dalam waktu lama, kemungkinan tugas lain sedang menggunakan sumber daya kelompok sumber daya tersebut. Anda dapat mengatasi masalah ini dengan cara berikut:

    • Tunggu hingga tugas yang sedang berjalan selesai dan melepaskan sumber daya, lalu jalankan tugas Anda. Untuk mengidentifikasi tugas yang menggunakan banyak sumber daya, lihat Scenarios and solutions for slow data synchronization.

    • Identifikasi tugas yang sedang menggunakan sumber daya dan koordinasikan dengan pemiliknya untuk mengurangi konkurensi.

    • Kurangi tingkat konkurensi tugas sinkronisasi saat ini dan kirim ulang tugas tersebut.

    • Lakukan scale-out pada kelompok sumber daya. Untuk informasi selengkapnya, lihat Scale-out and scale-in operations.

    Start synchronization (Area ③)

    RUN: Tugas sinkronisasi sedang berjalan.

    Tugas sinkronisasi batch memiliki empat tahap eksekusi:

    1. Eksekusi Pre-SQL

      Berdasarkan konfigurasi Anda, sistem mengirimkan pernyataan SQL awal ke database. Tidak semua tugas mencakup tahap ini.

      • Sebagai contoh, untuk writer MySQL, jika Anda telah mengonfigurasi pernyataan PreSQL yang dijalankan sebelum tugas sinkronisasi data, pernyataan SQL tersebut akan dieksekusi pada tahap ini.

      • Sebagai contoh, untuk reader MySQL, jika Anda telah mengonfigurasi pernyataan querySql atau klausa where untuk penyaringan data, pernyataan SQL tersebut akan dieksekusi pada tahap ini.

      • Sebagai contoh, saat menulis data ke MaxCompute, Anda dapat mengaktifkan Delete Existing Data Before Writing.

      Catatan

      Kami merekomendasikan penggunaan bidang indeks dalam kondisi filter untuk mencegah kueri SQL berdurasi panjang, yang dapat meningkatkan waktu sinkronisasi secara keseluruhan atau menyebabkan timeout database yang mengganggu tugas.

    2. Pemisahan tugas

      Pada tahap ini, sistem membagi data sumber menjadi beberapa sub-tugas untuk dibaca secara konkuren dan batch. Aturan pemisahan sebagai berikut:

      • Database relasional: Sistem membagi data menjadi beberapa tugas berdasarkan kunci shard (splitPk) yang ditentukan. Tugas-tugas tersebut kemudian dibaca secara konkuren dalam batch. Jika tidak ada kunci shard yang ditetapkan, tugas menggunakan satu saluran untuk sinkronisasi.

      • LogHub, DataHub, dan MongoDB: Data dibagi berdasarkan jumlah shard. Tingkat konkurensi maksimum tugas tidak boleh melebihi jumlah shard.

      • Penyimpanan semi-terstruktur: Data dibagi berdasarkan jumlah file atau volume data. Sebagai contoh, untuk tugas OSS, tingkat konkurensi maksimum tidak boleh melebihi jumlah file.

    3. Sinkronisasi data

      Pada tahap ini, sistem melakukan sinkronisasi tugas yang telah dibagi secara batch sesuai dengan tingkat konkurensi yang dikonfigurasi. Untuk database relasional, kunci shard digunakan untuk menghasilkan beberapa pernyataan SQL pengambilan data yang meminta data dari database secara paralel. Untuk informasi selengkapnya, lihat Relationship between batch synchronization concurrency and rate limiting.

      Catatan

      • Tingkat konkurensi aktual selama eksekusi dapat berbeda dari nilai yang Anda tetapkan.

      • Konfigurasi kunci shard yang tidak tepat dapat menyebabkan kueri SQL berdurasi panjang, yang dapat meningkatkan waktu sinkronisasi secara keseluruhan atau menyebabkan timeout database yang mengganggu tugas.

      • Beban database yang tinggi juga dapat memperlambat eksekusi tugas.

    4. Eksekusi Post-SQL

      Berdasarkan konfigurasi Anda, sistem mengirimkan pernyataan SQL akhir ke database. Tidak semua tugas mencakup tahap ini.

      • Sebagai contoh, untuk MySQL Writer, jika Anda telah mengonfigurasi pernyataan PostSQL yang akan dijalankan setelah sinkronisasi data, pernyataan SQL tersebut dieksekusi pada tahap ini.

      • Waktu eksekusi pernyataan PostSQL turut berkontribusi terhadap total waktu eksekusi tugas.

    Execution completed (Area ④)

    Terdapat dua status penyelesaian:

    • FAIL: Tugas sinkronisasi gagal.

    • SUCCESS: Tugas sinkronisasi berhasil.

    • Jika tugas gagal, log menampilkan pesan error utama. Anda dapat mengklik tautan di Area ⑤ untuk melihat proses eksekusi detail setiap tahap.

    • Jika tugas berhasil, log menampilkan ringkasan, termasuk jumlah total catatan yang disinkronkan dan kecepatan sinkronisasi rata-rata.

    Catatan

    • Jika data kotor dihasilkan selama sinkronisasi, log menampilkan pesan seperti Dirty data: xxR. Data kotor tidak ditulis ke tujuan.

    • Jumlah data kotor yang besar dapat memengaruhi kecepatan sinkronisasi. Jika kecepatan sinkronisasi menjadi perhatian utama, selesaikan terlebih dahulu masalah data kotor tersebut. Untuk informasi selengkapnya tentang data kotor, lihat Features of batch synchronization task configuration.

    • Anda dapat mengonfigurasi jumlah toleransi data kotor untuk mengontrol apakah data kotor memengaruhi eksekusi tugas. Secara default, tugas sinkronisasi batch mentoleransi data kotor. Anda dapat mengubah pengaturan ini dalam konfigurasi tugas. Untuk mengonfigurasi tugas, lihat Configure a task in the codeless UI atau Configure a task in the code editor.

    Detailed log link (Area ⑤)

    Tautan ke log detail.

    Klik tautan tersebut untuk melihat log detail setiap tahap eksekusi.

    Lampiran: Konfigurasi kunci shard

    • Kami merekomendasikan agar Anda menggunakan primary key tabel sebagai nilai splitPk. Primary key umumnya terdistribusi merata, sehingga membantu mencegah hot spot data pada shard yang dihasilkan.

    • Parameter splitPk hanya mendukung tipe data integer. Parameter ini tidak mendukung string, bilangan titik mengambang, atau tanggal. Jika Anda mengonfigurasi splitPk dengan tipe data yang tidak didukung, DataWorks akan mengabaikan pengaturan tersebut dan menggunakan satu saluran untuk sinkronisasi data.

    • Jika Anda tidak menentukan splitPk, artinya Anda tidak memberikan splitPk atau nilai splitPk kosong, data tabel akan disinkronkan menggunakan satu saluran.