Deploy Layanan Inferensi EAS untuk Penyajian Model Satu Klik - Platform for AI

Anda dapat mengatur konfigurasi penyebaran layanan saat mendaftarkan model. Konfigurasi ini akan diterapkan secara otomatis ketika Anda menggunakan penyebaran satu klik untuk model tersebut, sehingga meningkatkan efisiensi karena tidak perlu mengedit konfigurasi secara manual. Topik ini menjelaskan cara mengatur konfigurasi penyebaran layanan dan menggunakan penyebaran satu klik untuk layanan model.

Konfigurasi penyebaran layanan

Saat mendaftarkan model baru, Anda dapat menyesuaikan konfigurasi penyebaran layanan di bagian Model Service Deployment Configuration. 08ac986b062b90053e728608909d791c..png

Pilih Custom Configuration dan masukkan konfigurasi penyebaran di kotak teks.

Berikut contoh konfigurasi penyebaran layanan untuk model yang diterapkan menggunakan custom image:

{
  "containers": [
    {
      "image": "registry-vpc.cn-shanghai.aliyuncs.com/xxx/yyy:zzz",
      "env": [
        {
          "name": "var_name",
          "value": "var_value"
        }
      ],
      "command": "/data/eas/ENV/bin/python /data/eas/app.py",
      "port": 8000
    }
  ],
  "storage": [
    {
      "oss": {
        "readOnly": false
      },
      "properties": {
        "resource_type": "model"
      }
    }
  ]
}

Untuk informasi lebih lanjut tentang pengaturan parameter, lihat Custom images. Untuk informasi lebih lanjut tentang konfigurasi lengkap dan metode penyebaran Elastic Algorithm Service (EAS), lihat Service deployment.

Berikut contoh konfigurasi penyebaran layanan untuk model yang menggunakan preset processor:
```
{
  "processor": "tensorflow_gpu_1.12"
}
```

Berikut contoh konfigurasi penyebaran layanan untuk model yang menggunakan custom processor:

{
  "processor_entry": "./service.py",
  "processor_type": "python",
  "processor_path": "http://eas-data.oss-cn-shanghai.aliyuncs.com/demo/service.py",
  "data_image": "registry.cn-shanghai.aliyuncs.com/eas-service/develop:latest"
}

Penyebaran layanan satu klik

Anda dapat langsung menyebarkan model yang telah didaftarkan ke EAS. Selama proses penyebaran, Model Service Deployment Configuration diteruskan langsung ke konfigurasi penyebaran EAS. Prosedurnya sebagai berikut:

Di halaman Model Management, klik Deploy to EAS pada kolom Operation untuk model tersebut, lalu ikuti petunjuk di layar. Anda akan diarahkan secara otomatis ke halaman penyebaran layanan EAS.

Catatan
Saat ini, hanya model dari Model Gallery yang mendukung penyebaran satu klik.

Untuk model yang didaftarkan dari OSS atau pelatihan kustom, gunakan custom deployment sebagai gantinya. Dalam alur kerja custom deployment, mount path model OSS Anda ke dalam container dan konfigurasikan layanan secara manual.
Di halaman penyebaran layanan, parameter utama di area informasi layanan model telah diisi sebelumnya berdasarkan konfigurasi penyebaran layanan model. Konfigurasikan parameter lain yang diperlukan untuk memulai penyebaran. Untuk informasi lebih lanjut tentang konfigurasi tersebut, lihat Custom deployment.