Topik ini menjelaskan cara menggunakan Docker untuk membuat image yang berisi OSS Connector untuk lingkungan AI/ML.
Prasyarat
-
Docker telah diinstal.
-
File konfigurasi kredensial akses dan file konfigurasi OSS connector telah dibuat. Untuk informasi selengkapnya, lihat Konfigurasikan OSS Connector untuk AI/ML.
Contoh
Contoh berikut menjelaskan cara membuat image Docker yang berisi OSS Connector untuk AI/ML Python 3.12.
-
Buat file teks bernama Dockerfile di Linux untuk membuat image Docker.
touch Dockerfile -
Tambahkan konfigurasi berikut ke file Dockerfile dan simpan file tersebut.
# Tentukan base image. Anda dapat mengganti base image dengan image pengguna. FROM python:3.12.4 # Tentukan working directory. WORKDIR /app # Copy file-file di direktori saat ini ke direktori /app dalam kontainer. Umumnya, perintah COPY digunakan untuk menyalin file proyek dan file konfigurasi yang diperlukan. COPY . /app # Instal OSS Connector untuk AI/ML. RUN pip install osstorchconnector -
Jalankan perintah berikut untuk membuat image Docker.
your_image_namedalam perintah tersebut menentukan nama image yang ingin Anda buat. Sesuaikan parameter ini sesuai kebutuhan bisnis Anda.docker build -t your_image_name . -
Jalankan perintah berikut untuk memulai kontainer dan memasang (mount) file konfigurasi kredensial akses serta file konfigurasi OSS connector dari host:
docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name bashSetelah kontainer dimulai, Anda memiliki lingkungan terkontainerisasi dengan OSS Connector untuk AI/ML. Lingkungan tersebut juga berisi file konfigurasi OSS connector dan file konfigurasi kredensial akses yang telah dimount, seperti yang ditunjukkan di bawah ini.
root@iZbp18kvqojqg0iy5uo8teZ:~# docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name root@a70d7f0e6695:/app# ls Dockerfile config.json credentials root@a70d7f0e6695:/app#
Referensi
Saat menggunakan lingkungan terkontainerisasi yang telah terinstal OSS Connector untuk AI/ML dalam tugas pelatihan, Anda dapat melakukan operasi berikut:
-
Gunakan OssMapDataset untuk membuat map dataset yang sesuai untuk operasi baca acak. Untuk informasi selengkapnya, lihat Gunakan data di OSS untuk membuat map dataset yang sesuai untuk pembacaan acak.
-
Gunakan OssIterableDataset untuk membuat iterable dataset untuk akses sekuensial streaming. Untuk informasi selengkapnya, lihat Gunakan data di OSS untuk membuat iterative dataset yang sesuai untuk pembacaan streaming sekuensial.
-
Gunakan OssCheckpoint untuk mengimplementasikan operasi baca dan tulis pada checkpoint di OSS. Untuk informasi selengkapnya, lihat Simpan dan akses checkpoint di OSS.