DataWorks：Buat node Shell

Batasan

• Node Shell mendukung sintaks shell standar, namun tidak mendukung sintaks interaktif.

• Tugas pada node Shell dapat dijalankan pada grup sumber daya tanpa server atau grup sumber daya eksklusif versi lama untuk penjadwalan. Kami menyarankan Anda menjalankan tugas pada grup sumber daya tanpa server. Untuk informasi lebih lanjut tentang cara membeli grup sumber daya tanpa server, lihat Buat dan gunakan grup sumber daya tanpa server.

  Catatan

  Saat menjalankan tugas pada grup sumber daya tanpa server, satu tugas dapat dikonfigurasi hingga 64 CU. Namun, disarankan untuk menjaga pengaturan dalam 16 CU untuk menghindari kekurangan sumber daya potensial yang dapat memengaruhi startup tugas.

• Node Shell yang dijalankan pada grup sumber daya tanpa server mungkin perlu mengakses sumber data yang memiliki daftar putih dikonfigurasi. Dalam hal ini, Anda harus menambahkan alamat IP elastis (EIP) atau blok CIDR yang diperlukan ke daftar putih sumber data.

• Jangan memulai sejumlah besar subproses dalam node Shell. Jika Anda memulai sejumlah besar subproses dalam node Shell yang dijalankan pada grup sumber daya eksklusif untuk penjadwalan, node lain yang dijalankan pada grup sumber daya tersebut mungkin terpengaruh karena DataWorks tidak memberlakukan batasan pada penggunaan sumber daya untuk menjalankan node Shell.

• Kode tugas pada node Shell tidak boleh melebihi ukuran 128 KB.

Prasyarat

Sebuah alur kerja dibuat. Operasi pengembangan di berbagai jenis mesin komputasi dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum Anda membuat node, Anda harus membuat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.

Buat node Shell umum

1. Pergi ke halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi di sebelah kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Geser pointer di atas ikon dan pilih Create Node > General > Shell. Di kotak dialog Create Node, konfigurasikan parameter Nama dan Jalur.

3. Klik Confirm untuk membuat node.

Aktifkan node Shell untuk menggunakan sumber daya

Sebelum sebuah node dapat menggunakan sumber daya di DataWorks, Anda harus mengunggah sumber daya ke DataWorks dan mereferensikan sumber daya dalam lingkungan runtime node. Bagian ini menjelaskan prosedurnya.

Unggah sumber daya

DataWorks memungkinkan Anda membuat sumber daya atau mengunggah sumber daya yang ada. Anda dapat memilih metode berdasarkan antarmuka pengguna setiap jenis sumber daya.

Anda dapat membuat sumber daya MaxCompute dan EMR di konsol DataWorks. Untuk informasi lebih lanjut, lihat Buat dan gunakan sumber daya MaxCompute dan Buat dan gunakan sumber daya EMR.

Referensikan sumber daya dalam node

Untuk mengaktifkan node agar dapat menggunakan sumber daya, Anda harus mereferensikan sumber daya dalam node. Setelah sumber daya direferensikan, komentar @resource_reference{"Nama Sumber Daya"} ditampilkan di bagian atas kode node.

Prosedur:

1. Buka node Shell yang Anda buat dan pergi ke halaman pengeditan node.

2. Di panel Alur Kerja Terjadwal halaman DataStudio, temukan sumber daya yang Anda unggah.

3. Klik kanan sumber daya dan pilih Insert Resource Path untuk mereferensikan sumber daya dalam node saat ini.

   Di halaman pengeditan node, Anda dapat menulis kode untuk menjalankan sumber daya.

Parameter penjadwalan yang digunakan oleh node Shell

Anda tidak diizinkan menyesuaikan nama variabel untuk node Shell umum. Variabel harus diberi nama berdasarkan nomor urutnya, seperti $1, $2, dan $3. Jika jumlah parameter mencapai atau melebihi 10, gunakan ${Nomor} untuk mendeklarasikan variabel tambahan. Misalnya, gunakan ${10} untuk mendeklarasikan variabel kesepuluh. Untuk informasi lebih lanjut tentang cara mengonfigurasi dan menggunakan parameter penjadwalan, lihat Konfigurasi dan penggunaan parameter penjadwalan. Untuk informasi lebih lanjut tentang metode untuk menetapkan nilai ke parameter penjadwalan, lihat Format yang didukung untuk parameter penjadwalan.

Dalam gambar sebelumnya, parameter kustom ditetapkan ke variabel kustom $1, $2, dan $3 di bagian Parameter, dan variabel kustom dirujuk di editor kode. Contoh:

• $1: Tentukan $bizdate sebagai $1. Variabel ini digunakan untuk mendapatkan timestamp data. $bizdate adalah parameter bawaan.

• $2: Tentukan ${yyyymmdd} sebagai $2. Variabel ini digunakan untuk mendapatkan timestamp data.

• $3: Tentukan $[yyyymmdd] sebagai $3. Variabel ini digunakan untuk mendapatkan timestamp data.

Bagaimana cara menentukan apakah skrip Shell kustom berhasil dijalankan?

Kode keluar dari skrip Shell kustom menentukan apakah skrip berhasil dijalankan. Kode keluar:

• 0: menunjukkan bahwa skrip Shell kustom berhasil dijalankan.

• -1: menunjukkan bahwa skrip Shell kustom dihentikan.

• 2: menunjukkan bahwa skrip Shell kustom perlu dijalankan ulang secara otomatis.

• Kode keluar lainnya: menunjukkan bahwa skrip Shell kustom gagal dijalankan.

#!  /bin/bash
curl http://xxxxx/asdasd
echo "nihao"

Skrip Shell berhasil dijalankan karena skrip keluar seperti yang diharapkan.

#!  /bin/bash
curl http://xxxxx/asdasd
if [[ $?  == 0 ]];then  
    echo "curl success"
else  
    echo "failed"  
    exit 1
fi
echo "nihao"

Dalam hal ini, skrip gagal dijalankan.

Gunakan skrip Shell untuk mengakses ossutil

[Credentials]
        language = CH
        endpoint = oss.aliyuncs.com
        accessKeyID = your_accesskey_id
        accessKeySecret = your_accesskey_secret
        stsToken = your_sts_token
        outputDir = your_output_dir
        ramRoleArn = your_ram_role_arn

#!  /bin/bash
/home/admin/usertools/tools/ossutil64 --config-file  /home/admin/usertools/tools/myconfig  cp oss://bucket/object object
if [[ $?  == 0 ]];then
    echo "akses oss berhasil"
else
    echo "gagal"
    exit 1
fi
echo "selesai"

Operasi selanjutnya

Jika node Shell perlu dijadwalkan secara berkala, Anda perlu menentukan properti penjadwalan untuk node Shell dan menerapkan node ke lingkungan produksi. Untuk informasi tentang cara mengonfigurasi properti penjadwalan untuk node, lihat Langkah 6: Konfigurasikan properti penjadwalan untuk tugas sinkronisasi batch. Untuk informasi tentang cara menerapkan node ke lingkungan produksi, lihat Terapkan node.

Referensi

Untuk informasi tentang cara menjalankan skrip Python pada node Shell menggunakan perintah Python 2 atau Python 3, lihat Gunakan node Shell untuk menjalankan skrip Python.