Gunakan image resmi - DataWorks

DataWorks menyediakan image resmi untuk mendukung berbagai jenis task dalam Pengembangan Data. Setiap image telah dilengkapi lingkungan runtime yang dikonfigurasi sebelumnya untuk node tertentu. Anda dapat langsung menggunakan image resmi ini atau menjadikannya sebagai dasar untuk membuat custom image sendiri. Topik ini menjelaskan image resmi yang tersedia di DataWorks.

Ikhtisar image

Dalam Pengembangan Data, jika Anda tidak menentukan image lingkungan runtime untuk suatu node, sistem akan menggunakan image standar default. Image default menyediakan lingkungan runtime dasar yang mungkin tidak memenuhi kebutuhan task tertentu. Sebaliknya, image resmi menyediakan lingkungan terstandarisasi yang telah dikonfigurasi sebelumnya untuk berbagai jenis task. Anda dapat menggunakannya secara langsung atau menjadikannya sebagai dasar untuk custom image dengan konfigurasi tambahan guna mendukung berbagai kasus penggunaan yang lebih luas.

Image yang tersedia

Penting

Untuk informasi versi dan wilayah yang didukung, lihat Konsol DataWorks. Image mungkin memiliki beberapa versi. Tabel berikut hanya mencantumkan kemampuan dari versi image terbaru.

DataWorks menyediakan citra-citra berikut:

Nama citra	Deskripsi	Jenis tugas
dataworks_pyodps_py311_task_pod	Citra resmi untuk node PyODPS DataWorks. Citra ini menggunakan Python 3.11.	PyODPS 3
dataworks_pairec_task_pod	Image resmi untuk PAI-Rec DataWorks, digunakan untuk menjalankan algoritma yang dihasilkan oleh PAI-Rec. Versi spesifik SDK feature_store dan pyfg ditentukan di Konsol.	PyODPS 3
dataworks_pyodps_task_pod	Citra resmi untuk node PyODPS DataWorks. Citra ini menggunakan Python 3.7.	PyODPS 2 PyODPS 3
dataworks_emr_base_task_pod	Image dasar untuk kluster EMR. Mendukung tipe kluster EMR Serverless Spark, EMR on ECS DataLake, dan EMR on ECS Custom. Image ini hanya mencakup komponen dasar yang diperlukan agar DataWorks dapat mengirimkan task EMR dan tidak berisi lingkungan eksekusi untuk komponen dasar EMR. Untuk kluster semi-managed seperti DataLake dan Custom, Anda harus menginstal komponen yang sesuai dengan versi kluster EMRCustom images. Saat menggunakan tipe kluster CUSTOM atau DATALAKE, Anda harus terlebih dahulu menginisialisasi lingkungan EMR Gateway dengan menentukan tipe kluster dan nomor versinya. `sh /home/admin/init_emr_component.sh DATALAKE EMR-<Version>` Catatan Jika inisialisasi lingkungan EMR Gateway gagal, biasanya karena versi kluster tidak tersedia di Repository image. Dalam hal ini, harap kirimkan Tiket untuk menghubungi dukungan teknis.	EMR Spark EMR Spark SQL EMR Shell Serverless Spark Batch Serverless Spark SQL Serverless Kyuubi
dataworks_shell_jdk17_task_pod	Image resmi untuk node Shell DataWorks. Image ini menggunakan JDK 17.	Shell
dataworks_shell_task_pod	Image resmi untuk node Shell DataWorks, yang menggunakan JDK 7. Jika Anda memerlukan lingkungan runtime kustom yang mendukung pass parameter Subprocess, Anda dapat membuat Custom images berdasarkan image ini.	Shell
dataworks_python_task_pod	Image resmi untuk node Python DataWorks. Informasi sistem: py3.11-ubuntu22.04.	Python
dataworks_cdh_custom_task_pod	Image dasar untuk kluster CDH DataWorks. Image ini tidak dapat digunakan secara langsung. Anda harus terlebih dahulu menginstal Custom images dengan mengikuti petunjuk dalam `CDH parcel` sebelum menggunakannya dalam Pengembangan Data.	CDH
dataworks_controller_task_pod	Image resmi untuk node assignment DataWorks. Jika Anda memerlukan lingkungan runtime kustom dan perlu menggunakan node assignment atau parameter assignment untuk pass parameter ke node downstream, buatlah Custom images berdasarkan image ini.	Node penugasan
dataworks-mcp	Berlaku untuk pengembangan task DataWorks Agent for third-party clients. Informasi sistem: py3.11-ubuntu22.04.	Lingkungan pengembangan pribadi
dataworks-notebook	Berlaku untuk pengembangan task Pengembangan Notebook. Informasi sistem: py3.11-ubuntu22.04.
dataworks_notebook_task_pod	Image resmi untuk node Notebook DataWorks. Informasi sistem: py3.11-ubuntu22.04. Lingkungan Python konsisten dengan image `dataworks-notebook` dan `dataworks-mcp` di lingkungan pengembangan pribadi.
dataworks-maxcompute	Berlaku untuk Membuat custom image MaxCompute di lingkungan pengembangan pribadi. Informasi sistem: py3.11-ubuntu20.04.

Menggunakan gambar

Dalam Pengembangan Data, Anda dapat menggunakan image resmi atau custom image yang terikat ke ruang kerja Anda.

Gunakan image di DataStudio baru: Konfigurasikan Run Configuration dan Scheduling Configuration di panel Properties dan Scheduling Configuration di sisi kanan halaman pengembangan node.
Gunakan image di DataStudio lama: Di halaman pengembangan node, konfigurasikan Resource Group dan Image untuk Trial Run dan Post-deployment Run node melalui kotak dialog yang muncul setelah Anda mengklik Run with Parameters atau pada halaman Scheduling Configuration di sisi kanan.
Menggunakan image di Lingkungan Pengembangan Pribadi: Saat membuat instance untuk lingkungan pengembangan pribadi, Anda dapat memilih berbagai image resmi pada bagian Image Configuration.

Catatan

Perhatikan hal berikut saat mengonfigurasi resource group dan image:

Scheduling Resource Group: Pilih kelompok sumber daya serverless.
Image: Pilih Official Image atau Published Custom Image.