Platform For AI：Menyebarkan layanan model menggunakan gambar kustom

Container Registry (ACR)

• Anda dapat menarik gambar menggunakan titik akhir VPC.

  Penting

  Menarik gambar melalui internet lambat dan menimbulkan risiko keamanan. Metode ini tidak direkomendasikan. Secara default, EAS tidak dapat mengakses internet. Untuk menarik gambar dari repositori melalui internet, lihat Izinkan layanan EAS mengakses internet.

  • ACR Edisi Personal: Anda dapat mengaktifkan dan menggunakan edisi ini hanya di satu wilayah. Untuk menarik gambar lintas wilayah, Anda harus menggunakan titik akhir publik. Gunakan ACR Edisi Personal hanya untuk pengujian, dan pastikan berada di wilayah yang sama dengan layanan EAS Anda.

  • ACR Edisi Perusahaan:

    • Untuk menggunakan titik akhir VPC, Anda harus mengonfigurasi VPC untuk EAS dan mengonfigurasi kontrol akses untuk ACR melalui VPC. Jika Anda bekerja lintas wilayah, Anda harus menghubungkan VPC melalui CEN. Untuk informasi lebih lanjut, lihat Akses instans ACR Edisi Perusahaan dari wilayah lain atau IDC.

    • Untuk menggunakan titik akhir publik, Anda harus mengonfigurasi VPC dengan akses internet untuk EAS dan aktifkan akses publik untuk ACR.

• Ketika Anda menyebarkan layanan menggunakan repositori gambar ACR di bawah akun yang sama, Anda tidak perlu memasukkan nama pengguna atau kata sandi. EAS dapat menarik gambar lintas layanan tanpa otentikasi.

Repositori gambar mandiri

• Jika Anda menggunakan repositori gambar Harbor mandiri di Alibaba Cloud VPC, repositori tersebut hanya dapat diakses dari dalam VPC tersebut. Mirip dengan proses untuk ACR Edisi Perusahaan, Anda harus menghubungkan EAS ke jaringan VPC Anda. Untuk informasi lebih lanjut, lihat Izinkan layanan EAS mengakses sumber daya di VPC.

• Jika repositori mandiri Anda memerlukan nama pengguna dan kata sandi untuk akses, Anda harus memberikan informasi ini selama penyebaran layanan. Dalam file konfigurasi JSON, Anda harus mengkodekan Base64 string username:password. Untuk informasi lebih lanjut, lihat deskripsi parameter dockerAuth di bagian Sebarkan layanan model.

1. Siapkan kode dan file model

Contoh berikut menunjukkan layanan web Flask sederhana. Kodenya ada di file app.py.

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    # Di sinilah inferensi model atau logika bisnis lainnya berada
    return 'Hello World'


if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Logika pemrosesan model dihilangkan di sini. Untuk meningkatkan efisiensi dan fleksibilitas penyebaran, kami sarankan Anda menyimpan file model besar, seperti yang lebih besar dari 1 GB, di Layanan Penyimpanan Objek (OSS). Jangan masukkan mereka langsung ke dalam gambar. Selama penyebaran, EAS dapat memuat model dengan memasang jalur OSS. Untuk informasi lebih lanjut, lihat Konfigurasi penyimpanan.

Sebagai contoh: Anda dapat menyimpan model my_model.pth di direktori oss://my-bucket/models/ dan memasang direktori ini ke direktori kontainer /mnt/data. Dalam kode Anda, Anda dapat langsung mengaksesnya menggunakan jalur mutlak /mnt/data/my_model.pth.

2. Bangun gambar

Berikut ini menjelaskan cara menginstal Docker secara lokal dan membangun gambar. Anda juga dapat menggunakan layanan seperti Alibaba Cloud Container Registry (ACR) untuk membangun gambar.

1. Tulis Dockerfile.

   Dockerfile adalah file teks yang berisi instruksi dan spesifikasi yang diperlukan untuk membangun gambar. Buat Dockerfile di direktori yang sama dengan file app.py. Struktur direktori file adalah sebagai berikut:

   flask_app
     ├── app.py
     └── Dockerfile    

   Dalam contoh Dockerfile berikut, file kode app.py dikemas dalam gambar yang akan diterapkan. Anda juga dapat menyimpannya di OSS, NAS, atau repositori Git dan memasangnya ke instans layanan pada waktu proses menggunakan pemasangan penyimpanan.

   # Tentukan gambar dasar.
   FROM alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/python
   # Perintah untuk dijalankan di dalam kontainer.
   RUN yum -y install python3-pip
   RUN pip3 install flask 
   # Buat folder aplikasi.
   RUN mkdir -p /app
   # Pergi ke direktori aplikasi.
   RUN cd /app
   # Salin app.py dari direktori saat ini ke direktori /app di kontainer. 
   COPY app.py /app/
   # Paparkan port 8000.
   EXPOSE 8000
   # Tetapkan folder aplikasi sebagai direktori kerja.
   WORKDIR /app
   
   # Perintah untuk dijalankan saat kontainer dimulai: flask run
   CMD ["flask", "run", "--host", "0.0.0.0"]

2. Bangun gambar secara lokal. Di baris perintah, pergi ke direktori flask_app dan jalankan perintah berikut untuk membangun gambar Docker bernama flask-app.

   docker build -t flask-app . 

3. Dorong gambar ke repositori

1. Jalankan perintah docker images untuk mendapatkan ID gambar yang dibangun.

2. Contoh ini mengasumsikan bahwa Anda menggunakan ACR Edisi Personal. Alamatnya adalah crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***.

3. Jalankan perintah berikut untuk mendorong gambar ke repositori gambar ACR.

   docker login --username=<username>  crpi-***.cn-hangzhou.personal.cr.aliyuncs.com
   docker tag <Image ID> crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-app
   docker push crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-app

   Alamat gambar adalah: crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-app.