DataWorks：Gunakan paket pihak ketiga dan skrip Python kustom di node PyODPS

Deskripsi konsep

1. Tipe node: PyODPS 2 vs. PyODPS 3

   • PyODPS 2: Berbasis lingkungan Python 2.7.

   • PyODPS 3: Berbasis lingkungan Python 3.7+.

   • Rekomendasi: Kami sangat menyarankan Anda menggunakan PyODPS 3 karena dukungan resmi untuk Python 2 telah dihentikan. Topik ini menggunakan PyODPS 3 sebagai contoh utama.

2. Tipe kelompok sumber daya: Serverless resource groups vs. exclusive resource groups for scheduling

   • Serverless resource group: Direkomendasikan. Jenis kelompok sumber daya ini elastis dan bebas perawatan. Anda dapat menggunakan custom images untuk mengelola dependensi pihak ketiga. Solusi ini andal dan fleksibel.

   • Exclusive resource group for scheduling: Solusi lama. Tidak direkomendasikan. Anda harus membeli dan memelihara server ECS terlebih dahulu. Sumber daya tidak dapat diskalakan secara elastis. Menginstal dependensi menggunakan O&M Assistant memiliki banyak batasan dan berpotensi mencemari lingkungan.

Menentukan tipe kelompok sumber daya

Di Konsol DataWorks, buka halaman Resource Group di panel Workspace Details untuk melihat tipe kelompok sumber daya yang terhubung ke ruang kerja Anda.

• Jika tipenya adalah General-purpose Type, Anda menggunakan serverless resource group.

• Jika tipenya adalah Data Scheduling, Anda menggunakan exclusive resource group for scheduling.

Langkah 1: Buat custom image yang berisi pendulum

Custom image digunakan untuk menyiapkan lingkungan runtime untuk serverless resource groups.

1. Masuk ke Konsol DataWorks. Di panel navigasi sebelah kiri, klik Image Management.

2. Klik tab Custom Images.

3. Di pojok kiri atas, klik Create Image. Pada halaman yang muncul, konfigurasikan parameter utama berikut.

   Parameter	Description
   Image Name	Nama custom image. Misalnya, pyodps3_with_pendulum.
   Reference Type	Pilih DataWorks Official Image.
   Image Name/ID	Dari daftar drop-down, pilih image resmi DataWorks dataworks_pyodps_task_pod.
   Supported Task Types	Pilih tipe task PyODPS 3.
   Installation Package	Pilih Python3, lalu pilih paket pendulum dari daftar drop-down. Untuk menginstal paket open source non-bawaan, Anda dapat menginstalnya secara manual dalam mode Script. Untuk informasi lebih lanjut tentang metode konfigurasi, lihat Create custom image parameters. Penting Jika Anda menginstal paket open source dari Internet, VPC yang terhubung ke serverless resource group harus have public network access enabled.

4. Klik OK untuk membuat custom image.

5. Di halaman Custom Images, uji lalu publikasikan image target. Anda hanya dapat memublikasikan image setelah lulus pengujian.

6. Di kolom Actions image target, klik > Change Workspace untuk mengaitkan custom image ke ruang kerja.

   

Langkah 2: Buat dan konfigurasikan node PyODPS 3

1. Di panel navigasi sebelah kiri, klik Data Development And O&M > Data Development. Dari daftar drop-down, pilih workspace target dan klik Go to Data Development.

2. Di bawah business flow yang sudah ada, buat node PyODPS 3. Misalnya, Anda dapat memberi nama node tersebut pyodps3_pendulum_test.

3. Di editor kode untuk node pyodps_pendulum_test, masukkan kode Python 3 berikut:

   # Karena pendulum telah diinstal di custom image, Anda dapat langsung mengimpornya. Sintaksis Python 3
   import pendulum
   print("Start testing the third-party package pendulum...")
   try:
       # Gunakan pendulum untuk mendapatkan waktu saat ini di zona waktu "Asia/Shanghai".
       shanghai_time = pendulum.now('Asia/Shanghai')
   
       # Cetak waktu yang diformat dan informasi zona waktu.
       print(f"Successfully imported the 'pendulum' package.")
       print(f"The current time in Shanghai is: {shanghai_time.to_datetime_string()}")
       print(f"The corresponding time zone is: {shanghai_time.timezone_name}")
   
       print("\nTest passed! The PyODPS node successfully called the third-party package.")
   except Exception as e:
       print(f"Test failed. An error occurred: {e}")

Langkah 3: Uji dan verifikasi hasilnya

1. Di bilah alat, klik ikon untuk menjalankan kode. Di kotak dialog Parameters, pilih image pyodps3_with_pendulum yang telah Anda buat.

   Penting

   Jika Anda tidak menemukan image target, pastikan image tersebut telah dikaitkan ke ruang kerja saat ini. Untuk informasi lebih lanjut, lihat Langkah 6 di Langkah 1.

2. Lihat log eksekusi di bagian bawah halaman. Output berikut menunjukkan bahwa paket pendulum berhasil dipanggil.

   Start testing the third-party package pendulum...
   Successfully imported the 'pendulum' package.
   The current time in Shanghai is: 2025-09-27 15:45:00
   The corresponding time zone is: Asia/Shanghai
   Test passed! The PyODPS node successfully called the third-party package.

Langkah 4: Publikasikan node PyODPS 3

Setelah pengujian selesai, buka Properties > Resource Group di sisi kanan editor node. Pilih serverless resource group yang telah disiapkan dan ubah image menjadi image kustom pyodps3_with_pendulum. Lalu, publikasikan node ke Operation Center.