DataWorks:Gunakan paket pihak ketiga di node PyODPS

Konsep utama

1. Jenis node: PyODPS 2 vs. PyODPS 3

   • PyODPS 2: Berbasis lingkungan Python 2.7.

   • PyODPS 3: Berbasis lingkungan Python 3.7+.

   • Rekomendasi: Kami sangat menyarankan Anda menggunakan PyODPS 3 karena dukungan resmi untuk Python 2 telah dihentikan. Topik ini menggunakan PyODPS 3 sebagai contoh utama.

2. Jenis kelompok sumber daya: serverless resource group vs. exclusive resource group for scheduling

   • Serverless resource group (Direkomendasikan): Kelompok sumber daya ini elastis dan bebas perawatan. Anda dapat menggunakan custom image untuk mengelola paket pihak ketiga.

   • Exclusive resource group for scheduling (Tidak direkomendasikan): Ini adalah solusi lama. Anda harus membeli dan memelihara server ECS, serta sumber dayanya tidak dapat diskalakan secara elastis. Menggunakan O&M Assistant untuk menginstal dependensi memiliki banyak keterbatasan dan dapat merusak lingkungan.

Tentukan jenis kelompok sumber daya

Di Konsol DataWorks, buka halaman Detail Ruang Kerja untuk ruang kerja Anda. Di halaman Resource Group, periksa jenis kelompok sumber daya yang terkait dengan ruang kerja tersebut.

• Jika jenisnya adalah General-purpose, Anda menggunakan serverless resource group.

• Jika jenisnya adalah Data Scheduling, Anda menggunakan exclusive resource group for scheduling.

Langkah 1: Buat custom image yang berisi library pendulum

Custom image mendefinisikan lingkungan runtime untuk serverless resource group.

1. Masuk ke konsol DataWorks, lalu klik Image Management di panel navigasi sebelah kiri.

2. Buka tab Custom Image.

3. Klik Create Image di pojok kiri atas. Di halaman Create, konfigurasikan parameter utama berikut:

   Parameter	Deskripsi
   Image Name	Masukkan nama untuk custom image, misalnya, pyodps3_with_pendulum.
   Reference Type	Pilih DataWorks Official Image.
   Image Name/ID	Dari daftar drop-down, pilih image resmi DataWorks dataworks_pyodps_task_pod.
   Supported Task Types	Pilih tipe task PyODPS 3.
   Installation Package	Pilih Python3, lalu pilih paket pendulum yang disediakan sistem dari daftar drop-down. Untuk menginstal paket open-source yang tidak tersedia secara bawaan, Anda dapat menggunakan mode Script untuk instalasi manual. Untuk informasi lebih lanjut tentang metode konfigurasi, lihat Parameter untuk membuat custom image. Penting Untuk menginstal paket open-source dari internet publik, VPC yang terkait dengan serverless resource group harus memiliki akses jaringan publik.

4. Klik OK untuk membuat custom image.

5. Di halaman Custom Images, uji lalu deploy image tersebut. Image harus lolos pengujian sebelum dapat dideploy.

6. Di kolom Operation image target, klik > Modify Owning Workspace untuk mengasosiasikan ruang kerja pemilik dengan custom image tersebut.

   Setelah image berhasil dideploy, Deployment Status-nya berubah menjadi Deployed, dan tombol Disable muncul di kolom Actions. Menu drop-down Actions juga mencakup opsi seperti Modify, Build, View Versions, dan Delete Image.

Langkah 2: Buat dan konfigurasikan node PyODPS 3

1. Di bilah navigasi kiri, klik Data Development and O&M > Data Studio, pilih ruang kerja target dari daftar drop-down, lalu klik Go to DataStudio.

2. Di alur bisnis yang sudah ada, buat node PyODPS 3 bernama pyodps3_pendulum_test.

3. Di editor kode untuk node pyodps_pendulum_test, masukkan kode Python 3 berikut:

   # Paket pendulum telah diinstal di custom image, sehingga Anda dapat langsung mengimpornya.
   import pendulum
   print("Mulai menguji paket pihak ketiga pendulum...")
   try:
       # Gunakan pendulum untuk mendapatkan waktu saat ini di zona waktu "Asia/Shanghai".
       shanghai_time = pendulum.now('Asia/Shanghai')
       # Cetak informasi waktu dan zona waktu yang telah diformat.
       print(f"Paket 'pendulum' berhasil diimpor.")
       print(f"Waktu saat ini di Shanghai adalah: {shanghai_time.to_datetime_string()}")
       print(f"Zona waktu yang sesuai adalah: {shanghai_time.timezone_name}")
       print("\nUji coba berhasil! Node PyODPS berhasil memanggil paket pihak ketiga.")
   except Exception as e:
       print(f"Uji coba gagal. Terjadi kesalahan: {e}")

Langkah 3: Uji dan verifikasi hasilnya

1. Klik ikon di bilah alat untuk menjalankan kode, lalu di kotak dialog Parameter, pilih image pyodps3_with_pendulum yang telah Anda buat.

   Penting

   Jika Anda tidak menemukan image target, pastikan image tersebut telah diasosiasikan dengan ruang kerja saat ini. Untuk informasi lebih lanjut, lihat Langkah 6 di "Langkah 1: Buat custom image".

2. Lihat log jalannya di bagian bawah halaman. Output berikut menunjukkan bahwa paket pendulum berhasil dipanggil.

   Mulai menguji paket pihak ketiga pendulum...
   Paket 'pendulum' berhasil diimpor.
   Waktu saat ini di Shanghai adalah: 2025-09-27 15:45:00
   Zona waktu yang sesuai adalah: Asia/Shanghai
   Uji coba berhasil! Node PyODPS berhasil memanggil paket pihak ketiga.

Langkah 4: Deploy node PyODPS 3

Setelah pengujian selesai, buka Scheduling > Resource Group di panel kanan. Pilih serverless resource group Anda dan atur imagenya ke custom image pyodps3_with_pendulum yang telah Anda buat. Anda kemudian dapat mendeploy node tersebut ke Operation Center.