DataWorks：Node pemeriksaan objek OSS

Pengenalan Node

Node pemeriksaan objek OSS biasanya digunakan dalam skenario berikut: Tugas dalam sistem penjadwalan DataWorks perlu mengakses database eksternal dalam sistem penjadwalan eksternal, tetapi tugas penulisan data ke database tidak dilakukan oleh DataWorks. Dalam hal ini, waktu selesainya tugas penulisan data dan ketersediaan database tidak diketahui oleh DataWorks. Jika tugas mencoba mengakses database sebelum penulisan data selesai, data yang dibaca mungkin tidak lengkap atau pembacaan gagal. Untuk memastikan bahwa tugas dapat membaca data dengan sukses, Anda dapat mengaktifkan sistem penjadwalan eksternal untuk menghasilkan tanda yang menunjukkan bahwa tugas penulisan data telah selesai. Misalnya, sistem penjadwalan eksternal dapat menghasilkan file penanda dengan akhiran .done dalam sistem file. Kemudian, Anda dapat membuat node pemeriksaan objek OSS di sistem penjadwalan DataWorks untuk secara berkala mendeteksi keberadaan file penanda dengan akhiran .done. Jika file tersebut ada, node yang perlu mengakses database eksternal dapat dijalankan.

1. Setelah tugas penulisan data untuk database eksternal dalam sistem penjadwalan eksternal selesai dan database dapat diakses, sistem penjadwalan menghasilkan file penanda seperti XXXX2024-09-29.done dalam sistem file yang ditentukan. Dalam contoh ini, file penanda dengan akhiran .done digunakan. Anda dapat menyesuaikan informasi file penanda sesuai dengan kebutuhan bisnis Anda.

2. Sumber data OSS membaca file penanda dalam sistem file.

3. Node pemeriksaan objek OSS secara berkala mendeteksi keberadaan file penanda dalam sumber data OSS berdasarkan kebijakan deteksi yang telah dikonfigurasi.

   • Jika node mendeteksi bahwa file penanda ada, tugas penulisan data untuk database eksternal telah selesai, dan database dapat diakses. Kemudian, node pemeriksaan objek OSS mengembalikan hasil deteksi ke node turunannya.

   • Jika node mendeteksi bahwa file penanda tidak ada, tugas penulisan data belum selesai, dan database tidak dapat diakses. Dalam hal ini, node pemeriksaan objek OSS gagal dalam pemeriksaan dan tidak mengembalikan hasil deteksi ke node turunan. Node kemudian melanjutkan deteksi berdasarkan kebijakan yang telah dikonfigurasi hingga kondisi penghentian tercapai.

4. Node turunan dari node pemeriksaan objek OSS menentukan apakah akan mengakses database eksternal berdasarkan hasil deteksi yang dikembalikan oleh node pemeriksaan objek OSS.

   • Jika node mendeteksi bahwa file penanda ada, node turunan mengakses database eksternal.

   • Jika node mendeteksi bahwa file penanda tidak ada, node turunan tidak mengakses database eksternal.

5. Node turunan mengakses database eksternal.

Prasyarat

• Pengguna Resource Access Management (RAM) yang ingin digunakan telah ditambahkan ke ruang kerja Anda.

  Jika Anda ingin menggunakan pengguna RAM untuk mengembangkan tugas, tambahkan pengguna RAM sebagai anggota ruang kerja dan tetapkan peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat menetapkan peran ini. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan menetapkan peran, lihat Tambahkan anggota ruang kerja dan tetapkan peran kepada mereka.

• Grup sumber daya serverless telah terhubung dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat topik-topik dalam direktori Gunakan grup sumber daya serverless.

• Sebuah node pemeriksaan objek OSS telah dibuat sebelum Anda mengembangkan tugas pada node tersebut. Untuk informasi lebih lanjut, lihat Buat node tugas.

Tindakan Pencegahan

• Saat tugas sedang berjalan, tugas memantau objek OSS menggunakan Resource Access Management (RAM) dan Security Token Service (STS) untuk memberi otorisasi MaxCompute mengakses OSS. Pastikan bahwa MaxCompute memiliki izin yang diperlukan pada Bucket OSS. Untuk informasi lebih lanjut, lihat Otorisasi STS.

• Dalam lingkungan pengembangan atau produksi, tugas memantau objek OSS berdasarkan tanggung jawab administrator ruang kerja. Pastikan bahwa administrator ruang kerja memiliki izin yang diperlukan pada Bucket OSS. Untuk informasi lebih lanjut, lihat Tanggung Jawab Administrator Ruang Kerja.

Langkah 1: Kembangkan tugas berdasarkan node pemeriksaan objek OSS

Di tab konfigurasi node pemeriksaan objek OSS, konfigurasikan parameter sesuai petunjuk.

1. Konfigurasikan objek deteksi dan kebijakan deteksi.

   • OSS Object: Masukkan jalur objek OSS. Parameter seperti ${bizdate} dan ${cyctime} didukung.

   • Timeout: Tentukan periode waktu habis untuk node memeriksa file objek.

2. Setelah mengonfigurasi kebijakan deteksi untuk objek OSS, konfigurasikan properti penjadwalan untuk node pemeriksaan objek OSS. Untuk informasi lebih lanjut, lihat Konfigurasi Penjadwalan.

Langkah 2: Terapkan node pemeriksaan objek OSS dan lakukan operasi O&M

1. Setelah kode node dan properti penjadwalan dikonfigurasi, terapkan node pemeriksaan objek OSS ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node.

2. Setelah penyebaran selesai, buka halaman Auto Triggered Nodes di Operation Center untuk melihat node yang telah diterapkan dan melakukan operasi O&M pada node tersebut. Sistem secara berkala menjalankan node berdasarkan properti penjadwalan yang telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Memulai dengan Pusat Operasi.