Container Service for Kubernetes：Gunakan suite AI cloud-native untuk membuat dan menggunakan notebook

Pengenalan notebook

• Menyediakan lingkungan eksperimen pembelajaran mesin yang terintegrasi mendalam ke dalam platform cloud. Lingkungan ini memungkinkan Anda mengembangkan, menguji, dan melakukan pra-pemrosesan model pembelajaran mesin pada mesin lokal Anda.

• Menyediakan alat pemrosesan dataset bawaan yang dapat Anda gunakan untuk menyalin, membersihkan, dan memproses data. Ini memungkinkan Anda mengirimkan data yang telah diproses ke penyimpanan persisten. Anda juga dapat memproses dataset menggunakan alat data besar.

• Menyediakan lingkungan untuk proses pembelajaran mesin seperti pengujian model dan pra-pemrosesan data. Di dalam lingkungan ini, Anda dapat menulis dan men-debug kode pekerjaan pembelajaran mesin, mengemas kode menjadi Docker images, dan mendorong gambar-gambar tersebut ke kluster Anda atau repositori Container Registry jarak jauh untuk penyebaran dan penggunaan selanjutnya.

Langkah 1: Buat notebook

1. Masuk ke Konsol Pengembang AI. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Pengembang AI.

2. Di panel navigasi sisi kiri Konsol Pengembang AI, klik Notebook.

3. Di halaman Notebook, klik Create notebook.

4. Di bagian Notebook message, Notebook configure, dan Advanced Configuration, atur parameter-parameter dan klik Create notebook.

   

   • Di bagian Notebook message:

     1. Atur Notebook Name, Notebook Image, dan Namespace. Namespace yang dipilih haruslah yang dibuat oleh administrator kluster untuk pengembangan AI. Anda dapat memilih gambar notebook default atau gambar notebook kustom. Konfigurasikan parameter lainnya sesuai kebutuhan Anda.

        Catatan

        • Saat menentukan Notebook Image, pilih gambar notebook yang memenuhi kebutuhan Anda. Anda perlu memilih gambar notebook Jupyter untuk notebook Jupyter dan memilih gambar notebook VS Code untuk notebook VS Code. Jika tidak, notebook Anda tidak akan berfungsi dengan normal.

        • Gambar notebook kustom hanya tersedia di kluster saat ini. Anda tidak dapat berbagi gambar notebook kustom ke kluster atau pengguna lain.

     2. Aktifkan Workspace PVC. Pilih persistent volume claim (PVC) yang terkait dengan workspace dari daftar drop-down Target PVC.

     3. Aktifkan saklar Token untuk menyuntikkan token kustom ke dalam notebook guna meningkatkan keamanannya. Hanya notebook Jupyter yang mendukung fitur ini.

     4. Tentukan Notebook Type untuk memilih metode peluncuran gambar. Jenis notebook yang berbeda memerlukan lingkungan yang berbeda. Misalnya, jika Notebook Type diatur ke Jupyter, sebuah notebook Jupyter akan dibuat.

   • Di bagian Notebook configure, atur CPU (Cores), Memory (GB), dan GPU (Card Numbers).

   • Di bagian Advance Configuration, Anda dapat mengonfigurasi Label, Annotation, NodeSelector, dan Toleration untuk notebook Anda.

5. Setelah notebook dibuat, buka halaman Notebook dan klik notebook yang telah dibuat untuk melihat informasi detailnya.

Langkah 2: Gunakan notebook Jupyter

Buat gambar notebook kustom

Sebelum Anda membuat gambar notebook kustom, Anda perlu menginstal versi komponen Arena terbaru di notebook Jupyter atau VS Code notebook Anda. Ini memungkinkan Anda menjalankan demo kami di notebook. Untuk informasi lebih lanjut tentang cara menginstal komponen Arena, lihat Konfigurasikan Klien Arena.

FROM tensorflow/tensorflow:1.15.5-gpu
USER root
RUN pip install jupyter && \
    pip install ipywidgets && \
    jupyter nbextension enable --py widgetsnbextension && \
    pip install jupyterlab && jupyter serverextension enable --py jupyterlab
# Unduh dan instal SDK Arena untuk Python.
RUN pip install arenasdk
# Jika Anda menggunakan metode lain untuk menginstal JupyterLab, Anda perlu mengekspos Layanan melalui port 8888.
EXPOSE 8888
USER jovyan

FROM ubuntu:18.04
USER root

RUN apt update && \
  	apt install -y curl

RUN cd /opt && \
  	wget https://aliacs-k8s-cn-hongkong.oss-cn-hongkong.aliyuncs.com/arena/install.sh && \
    /opt/install.sh

Simpan notebook sebagai gambar

Komponen ack-ai-dev-console versi 1.0.22 atau lebih baru memungkinkan Anda menyimpan notebook sebagai gambar. Ini memungkinkan Anda menyimpan lingkungan pengembangan notebook.

Untuk menyimpan notebook sebagai gambar, lakukan langkah-langkah berikut:

1. Unduh alat biner klien untuk komponen ack-commit-agent di Notebook. Klik di sini untuk mengunduh alat tersebut.

2. Jalankan perintah berikut di Notebook untuk membuat klien dapat dieksekusi secara global:

   chmod +x ack-commit-ctl
   mv ack-commit-ctl /usr/bin/

3. Gunakan alat ini untuk mengirimkan dan menyimpan notebook sebagai gambar. Contoh berikut menunjukkan cara mengirimkan gambar.

   ack-commit-ctl commit image-commit-sample:v0.1.0-test
   INFO[0000] container id: xxx
   INFO[0002] Container save success, image: image-commit-sample:v0.1.0-test

   Jika keluaran sebelumnya muncul setelah notebook dikirimkan, notebook disimpan sebagai gambar.

4. Jalankan perintah berikut untuk menentukan nama pengguna dan kata sandi repositori gambar dan dorong gambar ke repositori gambar:

   ack-commit-ctl push image-commit-sample:v0.1.0-test --username=username --password=password
   INFO[0000] Start pushing the image:  image-commit-sample:v0.1.0-test 
   INFO[0000] Waiting...                                   
   INFO[0003] Image pushed successfully: image-commit-sample:v0.1.0-test

   Jika keluaran sebelumnya muncul, gambar didorong ke repositori gambar.