Jalankan skrip Python pada node shell

DataWorks memungkinkan Anda menjalankan skrip Python pada node shell. Topik ini menjelaskan cara menjalankan skrip Python 2 dan Python 3 pada node shell umum maupun node EMR Shell.

Latar Belakang

DataWorks memungkinkan Anda mengunggah skrip Python sebagai resource. Anda kemudian dapat menentukan path interpreter untuk Python 2 atau Python 3 pada node shell umum atau node EMR Shell, lalu menjalankan skrip tersebut dengan mereferensikan resource yang telah diunggah.

Prasyarat

Penuhi prasyarat untuk menggunakan node EMR Shell. Untuk informasi selengkapnya, lihat Prasyarat untuk menggunakan node EMR Shell.
Penuhi prasyarat untuk menggunakan node shell umum. Untuk informasi selengkapnya, lihat Prasyarat untuk menggunakan node shell umum.
Jika skrip Python Anda memerlukan paket pihak ketiga, Anda harus menyiapkan lingkungan pada kelompok sumber daya. Metode yang digunakan bergantung pada jenis kelompok sumber daya:
- kelompok sumber daya serverless (Direkomendasikan): Instal paket pihak ketiga menggunakan image management. Untuk informasi selengkapnya, lihat Custom images.
- grup sumber daya eksklusif untuk penjadwalan: Instal paket pihak ketiga menggunakan O&M Assistant. Untuk informasi selengkapnya, lihat O&M Assistant.
Catatan
Saat membuat paket pihak ketiga, pastikan tipe paket mendukung Python 2 dan Python 3.

Batasan

Untuk batasan pada node EMR Shell, lihat Batasan pada node EMR Shell.
Untuk batasan pada node shell umum, lihat Batasan pada node shell umum.

DataWorks memungkinkan Anda menjalankan skrip Python dengan mereferensikan resource dari node shell umum atau node EMR Shell. Path interpreter berbeda tergantung versi Python. Contohnya:

Python 2: python xx.py
Python 3: /home/tops/bin/python3 xx.py

Node shell umum

Buat resource.
1. Buka halaman DataStudio.
  
  Login ke Konsol DataWorks. Alihkan ke wilayah target, lalu klik Data Modeling and Development > Data Studio di panel navigasi kiri. Dari daftar drop-down, pilih ruang kerja target dan klik Go to DataStudio.
2. Buat resource Python MaxCompute.
  
  Di halaman DataStudio, klik kanan alur kerja target dan pilih Create Resource. Di direktori MaxCompute, pilih tipe resource Python dan buat resource bernama mc.py.
  
  Catatan
  Nama resource mc.py hanya contoh. Anda dapat menentukan nama sesuai kebutuhan bisnis Anda.
3. Edit resource Python MaxCompute.
  
  Di halaman konfigurasi resource, edit kode tersebut. Contoh kode:
  Python 3
```
# Cetak teks uji
print('This is a test text')
```
  Python 2
```
# Cetak teks uji
print "This is a test text"
```
4. Klik dan untuk menyimpan dan commit resource.
Referensikan resource tersebut.
1. Buat node shell umum.
  
  Di halaman DataStudio, klik kanan alur kerja target dan pilih Create Node. Di direktori General, pilih Shell.
2. Referensikan resource tersebut.
  
  Pada halaman edit node shell umum, di bawah node MaxCompute > Resources, temukan Insert Resource Path mc.py yang tertunda, lalu klik kanan untuk memilih Insert Resource Path.
  
  Resource tersebut kini telah direferensikan di editor kode:
```
##@resource_reference{"mc.py"}
mc.py
```

Verifikasi hasilnya.

Python 3

Edit shell node umum.

Di node shell umum, tambahkan path interpreter Python 3:
```
##@resource_reference{"mc.py"}
/home/tops/bin/python3 mc.py
```

Klik ikon , pilih kelompok sumber daya dan custom image, lalu jalankan task.

################################# End run custom-script. ##################################
This is a test text
2024-10-21 17:33:18 INFO ======================================================================
2024-10-21 17:33:18 INFO Exit code of the Shell command 0
2024-10-21 17:33:18 INFO --- Invocation of Shell command completed ---
2024-10-21 17:33:18 INFO Shell run successfully!
2024-10-21 17:33:18 INFO Current task status: FINISH
2024-10-21 17:33:18 INFO Cost time is: 2.628s

Python 2

Edit node shell umum.

Di node shell umum, tambahkan path interpreter Python 2:
```
##@resource_reference{"mc.py"}
python mc.py
```
Klik ikon , pilih kelompok sumber daya dan custom image, lalu jalankan task.

Node EMR shell

Buat resource.
1. Buka halaman DataStudio.
  
  Login ke Konsol DataWorks. Alihkan ke wilayah target, lalu klik Data Modeling and Development > Data Studio di panel navigasi kiri. Dari daftar drop-down, pilih ruang kerja target dan klik Go to DataStudio.
2. Buat resource File EMR.
  
  Di halaman DataStudio, klik kanan alur kerja target dan pilih Create Resource. Di direktori EMR, pilih File. Pilih Storage path dan klik Click Upload untuk mengunggah skrip lokal emr.py Anda. Contoh isi skrip:
  Python 3
```
# Cetak teks uji
print('This is a test text')
```
  Python 2
```
# Cetak teks uji
print "This is a test text"
```
  Catatan
  Nama resource emr.py hanya contoh. Anda dapat menentukan nama sesuai kebutuhan bisnis Anda.
3. Klik untuk commit resource.
Referensikan resource tersebut.
1. Buat node EMR Shell.
  
  Di halaman DataStudio, klik kanan alur kerja target dan pilih Create Node. Di direktori EMR, pilih EMR Shell.
2. Referensikan resource File EMR.
  
  Di halaman konfigurasi node EMR Shell, temukan resource emr.py di bawah EMR > Resources. Klik kanan resource tersebut dan pilih Insert Resource Path.
  
  Resource tersebut kini telah direferensikan di editor kode:
```
##@resource_reference{"emr.py"}
emr.py
```

Verifikasi hasilnya.

Python 3

Edit node EMR Shell.

Di node EMR Shell, tambahkan path eksekusi perintah Python 3 /home/tops/bin/python3.
```
##@resource_reference{"emr.py"}
/home/tops/bin/python3 emr.py
```

Klik ikon , pilih kelompok sumber daya dan custom image, lalu jalankan task.

>>> [2024-10-21 17:51:29][INFO    ][CommandExecutor        ]: Process start to execute...
Process Output>>> This is a test text
>>> [2024-10-21 17:51:29][INFO    ][CommandExecutor        ]: Process is exited with exit value 0
>>> [2024-10-21 17:51:29][INFO    ][CommandExecutor        ]: Command state update to COMPLETED
>>> [2024-10-21 17:51:29][INFO    ][CommandExecutor        ]: Process execute finished
>>> [2024-10-21 17:51:29][INFO    ][EmrDccJobSubmitter     ]: Job Completed, status=0

2024-10-21 17:51:29  INFO ============================================================
2024-10-21 17:51:29 INFO Exit code of the Shell command 0
2024-10-21 17:51:29 INFO --- Invocation of Shell command completed ---
2024-10-21 17:51:29 INFO Shell run successfully!
2024-10-21 17:51:29 INFO Current task status: FINISH
2024-10-21 17:51:29 INFO Cost time is: 17.667s

Python 2

Edit node EMR Shell.

Di node EMR Shell, tambahkan path eksekusi perintah Python 2 python.
```
##@resource_reference{"emr.py"}
python emr.py
```
Klik ikon , pilih kelompok sumber daya dan custom image, lalu jalankan task.