Cara membuat gambar lingkungan pengembangan pribadi - DataWorks

Dalam versi terbaru Data Studio, Anda dapat membuat custom image dari lingkungan pengembangan pribadi Anda. Gambar ini dapat digunakan di Data Studio pada lingkungan pengembangan pribadi lainnya. Topik ini menjelaskan cara membuat gambar dari instans lingkungan pengembangan pribadi.

Latar Belakang

Saat mengembangkan dan menguji di lingkungan pengembangan pribadi, Anda mungkin perlu menggunakan berbagai dependensi pihak ketiga. Anda dapat menginstal dan mengonfigurasi dependensi tersebut di lingkungan saat ini, lalu membuat custom image dari lingkungan tersebut untuk berbagi dependensi dengan lingkungan pengembangan pribadi dan ruang kerja lainnya.

Gambar yang dibuat dari lingkungan pengembangan pribadi mendukung tipe task Notebook, Python, dan Shell. Setelah gambar dibuat, Anda tidak dapat mengubah tipe task atau konfigurasi lainnya.

Prasyarat

virtual private cloud (VPC) telah dibuat.
Instans lingkungan pengembangan pribadi telah dibuat dan disambungkan ke VPC.
Layanan Alibaba Cloud Container Registry (ACR) telah diaktifkan:
- Instans Perusahaan, namespace, dan Repository image telah dibuat, serta kontrol akses untuk VPC telah dikonfigurasi.
- Cloud DNS PrivateZone telah diaktifkan. Untuk detail penagihan, lihat Penagihan Produk.

Penting

VPC yang disambungkan ke instans lingkungan pengembangan pribadi, VPC yang disambungkan ke Alibaba Cloud Container Registry, dan VPC yang disambungkan ke kelompok sumber daya uji saat Anda memublikasikan gambar harus sama.
Jika program di lingkungan pengembangan pribadi Anda perlu mengambil dependensi pihak ketiga dari Internet, Anda harus mengonfigurasi akses Internet untuk VPC tersebut. Untuk informasi selengkapnya, lihat Gunakan fitur SNAT dari Gateway NAT Internet untuk mengakses Internet.

Langkah 1: Akses lingkungan pengembangan pribadi

Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.
Di bagian atas halaman, klik Personal development environment untuk memilih instans lingkungan pengembangan pribadi yang sudah ada.

Langkah 2: Buat gambar dari instans lingkungan pengembangan pribadi

Sebelum membuat gambar dari instans lingkungan pengembangan pribadi, Anda harus meningkatkan lingkungan pengembangan pribadi.
Penting
Saat Anda meningkatkan lingkungan pengembangan pribadi Anda, Anda dapat menginstal dependensi open-source atau menginstal dependensi pihak ketiga untuk memenuhi kebutuhan bisnis Anda.
Setelah mengonfigurasi lingkungan pengembangan pribadi Anda, klik daftar drop-down Personal development environment di bagian atas halaman. Pilih Management Environment untuk membuka panel daftar instans lingkungan pengembangan pribadi Anda.

Buat custom image.

Temukan instans target dalam daftar instans lingkungan pengembangan pribadi dan klik Create Image di kolom Actions. Konfigurasikan parameter Image Instance, Namespace, Image Repository, Image Version, dan Task Type sesuai yang ditentukan di bagian Prasyarat.

Parameter	Deskripsi
Image Name	Nama kustom untuk gambar DataWorks.
Image Instance	Pilih instans ACR. Untuk informasi selengkapnya tentang cara membuat instans ACR, lihat Buat Instans Perusahaan.
Namespace	Pilih namespace untuk instans ACR. Untuk informasi selengkapnya tentang cara membuat namespace, lihat Buat namespace.
Image Repository	Pilih repository image untuk instans ACR. Untuk informasi selengkapnya tentang cara membuat repository image, lihat Buat repository image.
Image Version	Versi kustom untuk gambar.
Sync To MaxCompute	Nilai default adalah No. Catatan Opsi ini bergantung pada Image Instance yang Anda pilih. Opsi ini tersedia untuk instans image ACR dengan Edisi Standar atau yang lebih baru. Untuk tipe instans lainnya, opsi ini tidak tersedia secara default. Jika Anda memilih Yes, gambar kustom DataWorks akan dibuat secara default. Saat gambar DataWorks dipublikasikan, gambar tersebut juga dibuat sebagai gambar MaxCompute. Untuk informasi selengkapnya, lihat Buat gambar MaxCompute dari lingkungan pengembangan pribadi. Jika Anda memilih No, hanya gambar kustom DataWorks yang dibuat. Gambar tersebut tidak dibuat sebagai gambar MaxCompute.
Task Type	Pilih tipe task yang dapat menggunakan gambar DataWorks yang sedang Anda buat. Notebook Python Shell

Setelah menyelesaikan konfigurasi, klik Confirm untuk membuat gambar.
Penting
- Saat membuat gambar, pastikan VPC yang disambungkan ke instans lingkungan pengembangan pribadi dan VPC yang disambungkan ke Alibaba Cloud Container Registry sama.
- Proses pembuatan gambar mungkin memerlukan waktu 1 hingga 5 menit, tergantung pada ukuran gambar dan kondisi jaringan.
- Setelah gambar dibuat, Anda tidak dapat mengubah gambar di Image Management.
Tunggu hingga gambar selesai dibuat.

Langkah 3: Publikasikan custom image

Setelah custom image dibuat, buka Konsol DataWorks. Navigasikan ke tab Image Management > Custom Images. Kemudian, Test dan Publish gambar target. Perhatikan hal-hal berikut selama pengujian dan penerbitan:

Saat menguji custom image, pilih kelompok sumber daya Serverless.
VPC yang disambungkan ke kelompok sumber daya Serverless yang Anda pilih untuk pengujian dan penerbitan harus sama dengan VPC yang dikonfigurasi di Alibaba Cloud Container Registry (ACR).
Hanya gambar yang lolos uji yang dapat dipublikasikan.
Jika custom image Anda tidak dapat mengunduh paket pihak ketiga dari Internet dan pengujian timeout, verifikasi bahwa VPC yang disambungkan ke Test Resource Group memiliki akses Internet. Untuk informasi selengkapnya tentang cara mengaktifkan akses Internet untuk VPC, lihat Gunakan fitur SNAT dari Gateway NAT Internet untuk mengakses Internet.

Langkah 4: Ubah ruang kerja tempat gambar tersebut berada

Anda dapat mengubah ruang kerja tempat gambar tersebut berada.

Di tab Image Management > Custom Images di Konsol DataWorks, temukan custom image yang telah dipublikasikan.
Klik > Change Workspace di kolom Actions untuk mengikat custom image ke ruang kerja.

Langkah 5: Gunakan custom image

Setelah mengubah ruang kerja tempat gambar tersebut berada, Anda dapat menavigasi ke ruang kerja tersebut. Saat mengembangkan node Notebook, Python, atau Shell di ruang kerja tersebut, Anda dapat mengonfigurasi custom image untuk node tersebut. Langkah-langkah berikut menggunakan node Python sebagai contoh.

Di panel Workspace Directories di sebelah kiri halaman Data Studio, klik ikon dan pilih Create Node > General > Python.
Setelah mengembangkan node, klik Run Configuration di sebelah kanan. Konfigurasikan Resource Group dan pilih lingkungan tool Image yang diperlukan untuk kode Python Anda.
Klik ikon untuk menguji kode Python.
Setelah pengujian berhasil, klik Scheduling. Di tab Scheduling Strategy, konfigurasikan Image untuk jadwal berulang node Python tersebut.
Catatan
- Gambar yang ditentukan di Scheduling harus sesuai dengan yang ada di Run Configuration.
- Anda hanya dapat mengonfigurasi gambar untuk node Notebook di Scheduling.
Setelah menyelesaikan konfigurasi penjadwalan, Save dan Publish node Python tersebut.

Langkah Selanjutnya

Persistent image: DataWorks memungkinkan Anda membangun custom image sebagai persistent image. Hal ini menghilangkan kebutuhan untuk menerapkan ulang lingkungan gambar setiap kali dijalankan. Lingkungan gambar yang sama digunakan setiap kali node task dijalankan. Ini memastikan lingkungan runtime yang konsisten serta mengurangi waktu eksekusi task, biaya komputasi, dan biaya traffic. Untuk informasi selengkapnya, lihat 5. Bangun persistent image.

Lampiran: Tingkatkan lingkungan pengembangan pribadi

Dependensi di lingkungan pengembangan pribadi default yang dibuat oleh DataWorks mungkin tidak memenuhi kebutuhan pengembangan kode Anda. Anda dapat menginstal dependensi untuk meningkatkan lingkungan pengembangan pribadi Anda.

Instal dependensi open-source

Anda dapat menginstal dependensi open-source yang diperlukan di instans lingkungan pengembangan pribadi Anda. Langkah-langkah berikut menggunakan dependensi jieba sebagai contoh.

Klik ikon di pojok kiri bawah halaman Data Studio untuk membuka tab TERMINAL.
Di terminal, jalankan perintah berikut untuk menginstal library jieba.
```
pip install jieba
```

Setelah library jieba diinstal, Anda dapat membuat file .py di direktori Personal Directory > workspace, tambahkan kode berikut ke file tersebut, lalu simpan.

import sys
import jieba
'''Dapatkan parameter input sistem arg'''
for arg in sys.argv:
    print(f"argv: {arg}")
'''Panggil kelas jieba untuk melakukan tokenisasi data masukan dan cetak output'''    
seg_list = jieba.cut(sys.argv[1], cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))
print('finish')

Klik untuk menyimpan kode Python setelah selesai mengedit.

Di terminal, jalankan perintah berikut untuk menjalankan file Python.
```
python file_name.py "I am the big data governance platform document"
```

Keberhasilan eksekusi menunjukkan bahwa library jieba telah diinstal di lingkungan pengembangan pribadi.

Instal dependensi pihak ketiga

Instal dengan mengkloning proyek Python menggunakan Git

Untuk mengkloning proyek Python menggunakan perintah git clone, Anda harus mengonfigurasi akses Internet untuk VPC Anda. Untuk informasi selengkapnya, lihat Konfigurasi Gateway NAT Internet.

Klik ikon di pojok kiri bawah halaman Data Studio untuk membuka tab TERMINAL.
Di terminal, jalankan perintah berikut untuk menuju folder workspace.
```
cd /mnt/workspace
```

Gunakan perintah `git clone` untuk mengkloning proyek Python dari Git ke folder workspace.

# Saat mengkloning kode Git, ganti URL dengan milik Anda sendiri.
git clone https://github.com/example/Example-Python.git

Instal proyek Python yang telah dikloning.
1. Navigasi ke direktori Python yang telah dikloning.
```
cd Example-Python
```
2. Instal proyek Python tersebut.
```
pip install .
```

Instal dengan mengunggah proyek Python dari komputer Anda

Unggah proyek Python dari komputer Anda ke direktori Personal Directory > workspace. Kemudian, navigasi ke folder proyek Python tersebut di terminal.
```
cd /mnt/workspace/"Python_code_folder"
```
Jalankan perintah berikut untuk menginstal proyek Python tersebut.
```
pip install .
```

Instal program Python dengan mengunggahnya dari komputer Anda

Untuk menginstal program Python di lingkungan pengembangan pribadi Anda, lakukan langkah-langkah berikut.

Anda dapat mengunggah paket program Python terkompresi dari komputer Anda ke direktori Personal Directory > workspace, lalu gunakan terminal untuk mengekstrak paket tersebut dan melihat path kompilasi Python.
```
cat 'decompressed_python_project_name' /bin/pip
```

Buat path kompilasi Python.

#Buat path kompilasi Python yang Anda temukan.
mkdir -p 'The Python compile path that you found'

Pindahkan folder yang telah diekstrak ke path kompilasi Python.

mv 'decompressed_python_project_name' /'python_compile_path_found'

Anda dapat mengganti paket Python dengan program Python Anda.

for src in idle3 pydoc3 python3 python3-config pip3; do \
    dst="$(echo "$src" | tr -d 3)"; \
    [ -s "/usr/local/bin/$src" ]; \
    [ ! -e "/usr/local/bin/$dst" ]; \
    mv /usr/local/bin/$dst /usr/local/bin/${dst}_bak
    ln -svT "your_python_compilation_path/bin/$src" "/usr/local/bin/$dst"; \
done

Setelah instalasi selesai, uji dan jalankan dependensi pihak ketiga di lingkungan pengembangan pribadi untuk memverifikasi instalasi.