Cara menggunakan image resmi - DataWorks - Alibaba Cloud Documentation Center

Image resmi DataWorks menyediakan lingkungan runtime umum untuk berbagai jenis node di DataStudio guna memenuhi kebutuhan lingkungan eksekusi berbagai tugas. Anda dapat langsung menggunakan image resmi ini di DataStudio atau membuat custom image berdasarkan image tersebut. Topik ini menjelaskan image resmi tersebut.

Ikhtisar

Di DataStudio, jika Anda tidak mengonfigurasi image lingkungan runtime untuk suatu node, sistem akan menggunakan image standar Default. Image standar ini hanya menyediakan lingkungan runtime dasar yang mungkin tidak memadai untuk kebutuhan tugas tertentu. Sebagai gantinya, Anda dapat menggunakan base image yang telah dikonfigurasi dalam image resmi untuk menyediakan lingkungan terstandarisasi bagi berbagai jenis tugas di DataStudio. Image resmi merupakan base image yang telah dikonfigurasi sebelumnya. Anda dapat membuat custom image berdasarkan image tersebut dan menambahkan konfigurasi tambahan guna mendukung lebih banyak skenario serta memenuhi kebutuhan berbagai jenis tugas.

Daftar gambar

Penting

Versi dan Wilayah yang didukung mengacu pada Konsol DataWorks. Image mungkin memiliki beberapa versi. Tabel berikut hanya menjelaskan kemampuan versi image terbaru.

DataWorks menyediakan image berikut:

Image Name	Deskripsi image	Tugas yang berlaku
dataworks_pyodps_py311_task_pod	Image resmi untuk node PyODPS DataWorks. Image ini menggunakan Python 3.11.	PyODPS 3
dataworks_pairec_task_pod	Image PAI-Rec resmi DataWorks. Digunakan untuk menjalankan algoritma yang dihasilkan oleh PAI-Rec. Untuk informasi versi SDK feature_store dan pyfg, lihat Konsol.	PyODPS 3
dataworks_pyodps_task_pod	Image resmi untuk node PyODPS DataWorks. Image ini menggunakan Python 3.7.	PyODPS 2 PyODPS 3
dataworks_emr_base_task_pod	Base image untuk kluster EMR. Mendukung tipe kluster EMR Serverless Spark, EMR on ECS DataLake, dan EMR on ECS Custom. Image ini hanya mencakup komponen dasar untuk mengirimkan tugas EMR dari DataWorks, tetapi tidak mencakup lingkungan eksekusi untuk komponen dasar EMR. Untuk kluster semi-managed seperti DataLake dan Custom, Anda harus menginstal komponen yang sesuai dengan versi kluster EMR melalui Custom images. Saat menggunakan tipe kluster CUSTOM dan DATALAKE, Anda harus terlebih dahulu menginisialisasi lingkungan EMR Gateway dengan memasukkan tipe kluster dan nomor versi. `sh /home/admin/init_emr_component.sh DATALAKE EMR-版本号` Catatan Jika inisialisasi lingkungan EMR Gateway gagal, umumnya disebabkan karena beberapa versi kluster tidak tersedia di Repository image. Kirimkan tiket untuk menghubungi platform demi mendapatkan bantuan.	EMR Spark EMR Spark SQL EMR Shell Serverless Spark Batch Serverless Spark SQL Serverless Kyuubi
dataworks_shell_jdk17_task_pod	Image resmi untuk node Shell DataWorks. Image ini menggunakan JDK 17.	Shell
dataworks_shell_task_pod	Image resmi untuk node Shell DataWorks. Image ini menggunakan JDK 7. Jika Anda perlu menyesuaikan lingkungan runtime dan memerlukan pass parameter Subprocess, Anda dapat membuat Custom images berdasarkan image ini.	Shell
dataworks_python_task_pod	Image resmi untuk node Python DataWorks. Info sistem: py3.11-ubuntu22.04.	Python
dataworks_cdh_custom_task_pod	Base image untuk kluster CDH DataWorks. Tidak dapat digunakan secara langsung. Anda harus menginstal `CDH parcel` melalui Custom images sebelum menggunakannya di Data Studio.	CDH
dataworks_controller_task_pod	Image resmi untuk node assignment DataWorks. Jika Anda perlu menyesuaikan lingkungan runtime dan menggunakan node assignment atau parameter assignment untuk pass parameter ke node downstream, buatlah Custom images berdasarkan image ini.	Node assignment
dataworks-mcp	Digunakan untuk pengembangan tugas DataWorks Agent dengan klien pihak ketiga. Info sistem: py3.11-ubuntu22.04.	Lingkungan pengembangan pribadi
dataworks-notebook	Digunakan untuk pengembangan tugas Pengembangan Notebook. Info sistem: py3.11-ubuntu22.04.
dataworks_notebook_task_pod	Image resmi untuk node Notebook DataWorks. Info sistem: py3.11-ubuntu22.04. Image dataworks-notebook dan dataworks-mcp untuk lingkungan Python dan lingkungan pengembangan pribadi identik.
dataworks-maxcompute	Digunakan untuk Membuat image MaxCompute di lingkungan pribadi. Info sistem: py3.11-ubuntu20.04.

Menggunakan gambar

Di DataStudio, selain menggunakan image resmi, Anda juga dapat menggunakan custom image yang terkait dengan ruang kerja.

Menggunakan image di DataStudio baru: Di bagian Run Configuration dan Scheduling Settings di sisi kanan halaman pengembangan node, konfigurasikan resource group dan image untuk test run dan post-deployment run.
Menggunakan image di DataStudio lama: Di dialog yang muncul setelah Anda mengklik Run with Parameters di halaman pengembangan node, atau di panel Scheduling Settings di sisi kanan halaman pengembangan node, konfigurasikan resource group dan image untuk test run dan post-deployment run node tersebut.
Menggunakan image di lingkungan pengembangan pribadi: Saat membuat instans lingkungan pengembangan pribadi, Anda dapat memilih image resmi yang berbeda dari daftar drop-down Image Configuration.

Catatan

Saat mengonfigurasi resource group dan image, perhatikan hal berikut:

Resource Group for Scheduling: Pilih resource group serverless.
Image: Pilih image resmi atau custom image yang telah diterapkan.