Gunakan node Shell untuk menjalankan skrip Python

DataWorks menyediakan node Shell yang dapat digunakan untuk menjalankan skrip Python. Topik ini menjelaskan cara menggunakan node Shell umum atau node Shell E-MapReduce (EMR) untuk menjalankan skrip Python 2 atau Python 3.

Informasi latar belakang

DataWorks memungkinkan Anda mengunggah skrip Python sebagai sumber daya. Jalur eksekusi skrip Python 2 atau Python 3 dapat ditentukan dalam node Shell umum atau node Shell EMR untuk merujuk sumber daya yang diunggah dan menjalankan skrip Python.

Prasyarat

Untuk informasi tentang prasyarat menggunakan node Shell EMR, lihat Buat node Shell EMR.
Untuk informasi tentang prasyarat menggunakan node Shell umum, lihat Buat node Shell.
Paket pihak ketiga harus diinstal berdasarkan grup sumber daya yang digunakan. Saat menjalankan skrip Python pada grup sumber daya DataWorks, paket tersebut harus dirujuk.
- Jika menggunakan grup sumber daya serverless (disarankan), gunakan fitur manajemen gambar untuk menginstal paket pihak ketiga. Untuk informasi lebih lanjut, lihat Gambar Kustom.
- Jika menggunakan grup sumber daya eksklusif untuk penjadwalan, gunakan fitur Asisten O&M untuk menginstal paket pihak ketiga. Untuk informasi lebih lanjut, lihat Gunakan fitur Asisten O&M.
Catatan
Paket pihak ketiga yang ingin diinstal harus mendukung Python 2 dan Python 3.

Batasan

Untuk informasi tentang batasan saat menggunakan node Shell EMR, lihat Buat node Shell EMR.
Untuk informasi tentang batasan saat menggunakan node Shell umum, lihat Buat node Shell.

DataWorks memungkinkan Anda menggunakan node Shell umum atau node Shell EMR untuk menjalankan skrip Python dengan merujuk sumber daya. Jalur akses ke skrip Python bervariasi berdasarkan versi Python.

Python 2: python xx.py
Python 3: /home/tops/bin/python3 xx.py

Berikut ini menjelaskan secara rinci penggunaan dua jalur akses tersebut. Pilih metode yang sesuai dengan kebutuhan bisnis Anda.

Gunakan node Shell umum untuk menjalankan skrip Python

Buat sumber daya.
1. Buka halaman DataStudio.
  Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
2. Buat sumber daya MaxCompute Python.
  Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih Create Resource > MaxCompute > Python. Dalam kotak dialog Buat Sumber Daya, atur parameter Nama menjadi mc.py dan klik Buat.
  Catatan
  mc.py adalah nama sumber daya contoh. Anda dapat menyesuaikan nama berdasarkan kebutuhan bisnis Anda.
3. Edit sumber daya MaxCompute Python.
  Di tab konfigurasi sumber daya MaxCompute Python, tambahkan kode node. Contoh kode:
  Python 3
```
print('Ini adalah teks uji')
```
  Python 2
```
print "Ini adalah teks uji"
```
4. Klik ikon dan di bilah alat atas tab konfigurasi sumber daya untuk menyimpan dan mengirimkan sumber daya.
Rujuk sumber daya.
1. Buat node Shell umum.
  Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih Create Node > General > Shell. Dalam kotak dialog Buat Node, konfigurasikan parameter Nama dan klik Konfirmasi.
2. Rujuk sumber daya.
  Di tab konfigurasi node Shell umum, temukan sumber daya mc.py yang you want to reference di bawah Resource dalam folder MaxCompute. Klik kanan nama sumber daya, lalu pilih Insert Resource Path.
  Jika informasi seperti pada gambar berikut muncul di tab konfigurasi node Shell umum, sumber daya telah berhasil dirujuk oleh node Shell umum.
Verifikasi hasilnya.
Gunakan Python 3 untuk menjalankan sumber daya yang dirujuk dalam node Shell umum
1. Konfigurasikan node Shell umum.
  Tambahkan jalur eksekusi perintah Python 3 berikut ke tab konfigurasi node Shell umum:
```
##@resource_reference{"mc.py"}
/home/tops/bin/python3 mc.py
```
2. Klik ikon . Dalam pesan Peringatan, klik Lanjutkan untuk Menjalankan. Dalam kotak dialog Parameter Runtime, pilih grup sumber daya, tentukan gambar kustom, lalu klik OK. Informasi berikut akan dikembalikan.
Gunakan Python 2 untuk menjalankan sumber daya yang dirujuk dalam node Shell umum
1. Konfigurasikan node Shell umum.
  Tambahkan jalur eksekusi perintah Python 2 berikut ke tab konfigurasi node Shell umum:
```
##@resource_reference{"mc.py"}
python mc.py
```
2. Klik ikon . Dalam pesan Peringatan, klik Lanjutkan untuk Menjalankan. Dalam kotak dialog Parameter Runtime, pilih grup sumber daya, tentukan gambar kustom, lalu klik OK. Informasi berikut akan dikembalikan.

Gunakan node Shell EMR untuk menjalankan skrip Python

Buat sumber daya.
1. Buka halaman DataStudio.
  Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
2. Buat sumber daya file EMR.
  Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih Create Resource > EMR > EMR File. Dalam kotak dialog Buat Sumber Daya, pilih Lokal untuk parameter File Source dan klik Upload untuk mengunggah skrip emr.py. Lalu, klik Buat. Contoh isi skrip:
  Python 3
```
print('Ini adalah teks uji')
```
  Python 2
```
print "Ini adalah teks uji"
```
  Catatan
  emr.py adalah nama sumber daya contoh. Anda dapat menyesuaikan nama berdasarkan kebutuhan bisnis Anda.
3. Klik ikon di bilah alat atas tab konfigurasi sumber daya untuk mengirimkan sumber daya.
Rujuk sumber daya.
1. Buat node Shell EMR.
  Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, lalu pilih Create Node > EMR > EMR Shell. Dalam kotak dialog Buat Node, konfigurasikan parameter Nama dan klik Konfirmasi.
2. Rujuk sumber daya file EMR.
  Temukan sumber daya emr.py di bawah Resource dalam folder EMR, klik kanan nama sumber daya, lalu pilih Insert Resource Path.
  Jika informasi seperti pada gambar berikut muncul di tab konfigurasi node Shell EMR, sumber daya telah berhasil dirujuk oleh node Shell EMR.
Verifikasi hasilnya.
Gunakan Python 3 untuk menjalankan sumber daya yang dirujuk dalam node Shell EMR
1. Konfigurasikan node Shell EMR.
  Tambahkan jalur eksekusi perintah Python 3 /home/tops/bin/python3 ke tab konfigurasi node Shell EMR.
```
##@resource_reference{"emr.py"}
/home/tops/bin/python3 emr.py
```
2. Klik ikon . Dalam kotak dialog Parameter, pilih grup sumber daya, tentukan gambar kustom, lalu klik Jalankan. Informasi berikut akan dikembalikan.
Gunakan Python 2 untuk menjalankan sumber daya yang dirujuk dalam node Shell EMR
1. Konfigurasikan node Shell EMR.
  Tambahkan jalur eksekusi perintah Python 2 python ke tab konfigurasi node Shell EMR.
```
##@resource_reference{"emr.py"}
python emr.py
```
2. Klik ikon . Dalam kotak dialog Parameter, pilih grup sumber daya, tentukan gambar kustom, lalu klik Jalankan. Informasi berikut akan dikembalikan.

Informasi latar belakang

Prasyarat

Batasan