Gunakan O&M Assistant untuk menginstal paket pihak ketiga untuk tugas penjadwalan - DataWorks

Jika tugas yang berjalan pada exclusive resource group for scheduling bergantung pada paket pihak ketiga, Anda harus menggunakan O&M Assistant dari grup sumber daya tersebut untuk menginstal paket yang diperlukan agar tugas dapat berjalan dengan lancar. DataWorks mendukung instalasi satu-klik untuk berbagai paket pihak ketiga bawaan. Jika paket bawaan tidak memenuhi kebutuhan bisnis Anda, Anda juga dapat menginstal paket pihak ketiga lainnya menggunakan perintah shell.

Applicability

Batasan grup sumber daya: Fitur ini hanya berlaku untuk Grup sumber daya eksklusif untuk penjadwalan. Jenis grup sumber daya lainnya—seperti grup sumber daya eksklusif untuk integrasi data dan grup sumber daya serverless—tidak didukung.
Izin: Anda harus memiliki kebijakan RAM AliyunDataWorksFullAccess atau ModifyResourceGroup.
Untuk informasi lebih lanjut tentang cara memberikan izin, lihat Product and console access control: RAM policies.

Considerations

Setelah paket pihak ketiga diinstal pada exclusive resource group for scheduling, paket tersebut berlaku untuk semua tugas yang berjalan pada Resource Group tersebut. Konflik versi atau masalah kompatibilitas dapat memengaruhi semua tugas. Oleh karena itu, kami menyarankan agar Anda memilih dan menguji paket secara cermat sebelum menginstalnya.

Quotas and limits

Manajemen perintah: Perintah instalasi yang telah dibuat tidak dapat diubah. Anda hanya dapat membuat perintah baru atau menghapus yang sudah ada.
Jenis tugas yang berlaku: Paket pihak ketiga Python yang diinstal dengan metode ini hanya berlaku untuk node tugas Python, seperti node PyODPS 2 dan PyODPS 3, yang berjalan pada Resource Group ini.
Untuk menggunakan paket pihak ketiga dalam user-defined function (UDF) Python MaxCompute, lihat UDF example: Use third-party packages in a Python user-defined function (UDF).
Dukungan perintah: Metode input manual tidak mendukung perintah pip.

Access O&M Assistant

Masuk ke DataWorks console. Di wilayah target, klik Resource Group di panel navigasi kiri untuk membuka daftar grup sumber daya.
Pada tab Exclusive Resource Group, temukan grup sumber daya yang digunakan untuk Data Scheduling, klik ikon di samping Resource Group, lalu pilih O&M Assistant untuk membuka halaman yang sesuai.

Install a third-party package

Create an installation command

Pada halaman O&M Assistant, klik Create Command dan pilih metode instalasi.

Quick installation

Gunakan metode ini untuk menginstal paket pihak ketiga umum yang telah terintegrasi di DataWorks.

Tabel berikut menjelaskan parameter utama.

Parameter	Description
Command Name	Nama kustom untuk perintah tersebut.
Command Type	Pilih Quick Installation. DataWorks secara otomatis menghasilkan perintah instalasi shell berdasarkan paket yang Anda pilih.
Built-in third-party package	Pilih paket dan versi yang akan diinstal. DataWorks mendukung berbagai paket umum Python 2, Python 3, dan Yum. Contoh: Aliyun-python-sdk-core: Pustaka inti Alibaba Cloud Python SDK. Menyediakan fungsionalitas dasar untuk berinteraksi dengan Layanan Alibaba Cloud, seperti panggilan API dan autentikasi. NumPy: Pustaka dasar untuk komputasi ilmiah dan analisis data. Menyediakan array multidimensi berkinerja tinggi serta fitur komputasi numerik. Pandas: Menyediakan struktur data dan alat analisis data berkinerja tinggi yang mudah digunakan untuk memproses dan menganalisis data terstruktur. Untuk daftar lengkap, lihat antarmuka pengguna.
Generated Shell Script	DataWorks secara otomatis menghasilkan perintah instalasi berdasarkan pilihan Anda. Sebagai contoh, jika Anda memilih aliyun-python-sdk-core, sistem akan menghasilkan perintah berikut: `pip install aliyun-python-sdk-core`
Timeout	Waktu eksekusi maksimum perintah, dalam detik. Jika periode ini terlampaui, perintah akan dihentikan.

Manual input

Jika paket bawaan tidak memenuhi kebutuhan Anda, Anda dapat menginstal paket pihak ketiga menggunakan perintah.

Parameter	Description
Command Name	Nama kustom untuk perintah tersebut.
Command Type	Pilih Manually enter.
Command Content	Masukkan perintah yang ingin Anda jalankan. Contoh: `yum install -y git`. Penting Metode input manual tidak mendukung penggunaan perintah pip untuk menginstal paket pihak ketiga. Keberhasilan perintah yang dimasukkan secara manual tidak dijamin. Kami menyarankan agar Anda memvalidasi skrip terlebih dahulu. Setelah paket pihak ketiga diinstal, Anda harus menggunakan jalur mutlak untuk mereferensikan paket tersebut di node Data Studio.
Installation Directories	Tentukan jalur direktori yang dapat diakses oleh perintah. Pisahkan beberapa jalur dengan titik koma (;). DataWorks menambahkan direktori yang ditentukan ke daftar putih untuk memastikan aksesibilitasnya. Anda dapat menginstal paket ke direktori /home/ atau direktori non-/home/. Jika Anda menginstal paket ke direktori /home/, paket tersebut harus disimpan di jalur /home/admin/usertools/tools/. Jika Anda tidak menentukan direktori, jalur default /home/admin/usertools/tools/ akan digunakan.
Timeout	Waktu eksekusi maksimum perintah, dalam detik. Jika periode timeout terlampaui, perintah akan dihentikan.

Klik Confirm untuk menyelesaikan konfigurasi perintah.

Run the installation command

Pada halaman O&M Assistant, temukan perintah yang telah Anda buat dan klik Run command di kolom Operation. Sistem secara otomatis menghasilkan catatan eksekusi untuk perintah tersebut.

View the run result

Pada catatan eksekusi perintah, lihat informasi dasar seperti Run Status dan Command Content. Klik View Result di kolom Operation pada catatan yang sesuai untuk menganalisis log guna mengetahui penyebab kegagalan dan melakukan pemecahan masalah. Setelah paket berhasil diinstal, Anda dapat menggunakannya dalam tugas penjadwalan pada Resource Group saat ini.

View the environment configuration

Pada halaman O&M Assistant, klik View Detailed Environment Configuration di pojok kiri atas untuk melihat konfigurasi lingkungan keseluruhan Resource Group, seperti paket pihak ketiga yang telah diinstal, versinya, dan statusnya.

Use the third-party package in a task

Data Studio (new version)

Go to Data Studio: Buka halaman ruang kerja DataWorks. Di bilah navigasi atas, pilih wilayah target. Temukan ruang kerja target dan pilih Shortcuts > Data Studio di kolom Operation.
Configure the resource group: Di Data Studio, temukan node tugas yang ingin Anda uji dengan paket pihak ketiga. Di panel kanan, klik Scheduling Settings.
- Resource Group: Pilih exclusive resource group for scheduling.
  Jika Resource Group target tidak ditampilkan, periksa apakah Resource Group tersebut telah dikaitkan dengan ruang kerja saat ini. Anda dapat membuka halaman Resource Group, temukan Resource Group target, lalu klik Associate Workspace di kolom Operation.
Debug the node: Di panel Run Configuration di sebelah kanan, konfigurasikan Computing Resources, Resource Group, dan Script Parameters. Lalu, klik Run di bilah alat atas.
Publish the node: Di bilah alat atas, klik Publish untuk men-deploy node ke lingkungan produksi.

Data Development (old version)

Go to Data Development: Masuk ke DataWorks console. Setelah beralih ke wilayah target, pilih Data Development and O&M > DataStudio di panel navigasi kiri. Dari daftar drop-down, pilih ruang kerja yang diinginkan dan klik Data Analytics.
Configure the resource group: Di Data Development, temukan node tugas yang ingin Anda uji dengan paket pihak ketiga. Di panel kanan, klik Scheduling Settings.
- Resource Group for Scheduling: Pilih exclusive resource group for scheduling.
  Jika Resource Group target tidak ditampilkan, periksa apakah Resource Group tersebut telah dikaitkan dengan ruang kerja saat ini. Anda dapat membuka halaman Resource Group, temukan Resource Group target, lalu klik Associate Workspace di kolom Operation.
Debug the node: Di bilah alat atas, klik Run with Parameters (). Konfigurasikan Resource Group Name, lalu klik Run.
Publish the node: Di bilah alat atas, klik Save dan Submit untuk men-deploy node ke lingkungan produksi.

DataWorks:O&M Assistant