Rilis Canary - Platform For AI

Kelompok layanan digunakan untuk mengelola sub-layanan yang menangani lalu lintas bisnis dan menyediakan titik masuk lalu lintas terpadu. Sistem mendistribusikan lalu lintas ke layanan individu berdasarkan kebijakan alokasi, mendukung skenario seperti rilis canary, skalabilitas elastis, dan penjadwalan sumber daya heterogen. Dokumen ini menjelaskan cara membuat kelompok layanan, melihat titik masuk lalu lintas, serta memodifikasi kebijakan alokasi lalu lintas.

Skenario

Rilis Canary
Dalam rilis canary, layanan produksi dan layanan canary ditambahkan ke dalam kelompok yang sama, dengan layanan canary menerima sebagian kecil lalu lintas. Versi baru diterapkan pada layanan canary untuk pengamatan. Jika terjadi masalah, rollback atau hentikan layanan canary dan alihkan kembali lalu lintas ke layanan produksi. Jika semuanya lancar, perbarui seluruh layanan produksi, lalu turunkan layanan canary menjadi nol atau pertahankan sejumlah kecil lalu lintas.
Penyesuaian Otomatis Kelompok Sumber Daya Bayar Sesuai Penggunaan dan Langganan
Dalam kelompok yang sama, layanan langganan diterapkan di kelompok sumber daya khusus dengan jumlah instans tetap untuk mendukung kebutuhan dasar. Layanan bayar sesuai penggunaan diterapkan di kelompok sumber daya publik, menawarkan penyesuaian sesuai permintaan untuk mengurangi biaya.
Penggunaan Sumber Daya Perangkat Keras Heterogen
Dalam skenario akselerasi GPU, beberapa jenis GPU mungkin mengalami downtime atau persediaan tidak mencukupi di beberapa wilayah, mencegah penskalaan normal layanan. Anda dapat secara dinamis membuat layanan dengan berbagai jenis GPU dalam kelompok layanan yang sama, menyesuaikan dengan lingkungan CUDA. Ini memungkinkan beberapa layanan menggunakan sumber daya heterogen untuk mendukung skenario bisnis yang sama. Karena titik masuk lalu lintas untuk kelompok layanan tetap tidak berubah, antarmuka depan tidak menyadari perubahan ini.

Buat kelompok layanan

Saat membuat layanan, Anda dapat menentukan kelompok layanan tempat layanan tersebut termasuk.

Catatan

Jika kelompok layanan yang ditentukan tidak ada, sistem akan otomatis membuatnya. Jika kelompok layanan sudah ada, sistem akan menambahkan layanan baru ke dalamnya. Setelah semua layanan dalam kelompok layanan dihapus, kelompok layanan akan dihapus secara otomatis.

Contoh berikut menunjukkan cara membuat kelompok layanan bernama pmml dan menambahkan layanan pmml_prod dan pmml_grey ke dalamnya.

Konsol PAI

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, pilih ruang kerja yang diinginkan, dan klik Elastic Algorithm Service (EAS).
Di halaman Elastic Algorithm Service (EAS), klik tab Canary Release. Di tab yang muncul, klik Create Group and Service.
Di halaman Custom Deployment, konfigurasikan parameter dan klik Deploy.
Parameter:
- Service Name: Tentukan nama layanan yang valid sesuai petunjuk di layar. Contoh: pmml_prod.
- Group: Kelompok layanan tempat layanan tersebut termasuk. Dalam contoh ini, gunakan New Group dan atur nama kelompok baru menjadi pmml.
Untuk informasi tentang parameter lainnya, lihat Menyebarkan Layanan Model di Konsol PAI.

Ulangi Langkah 2 dan 3 untuk membuat layanan bernama pmml_grey yang termasuk dalam kelompok layanan pmml.

Setelah membuat layanan, klik pmml di tab Canary Release untuk pergi ke halaman detail kelompok dan melihat layanan yang termasuk dalam kelompok.

Penting

Layanan yang baru ditambahkan tidak menerima lalu lintas secara default. Lihat Kebijakan Distribusi Lalu Lintas untuk menyesuaikan.

Klien EASCMD

Siapkan file konfigurasi layanan bernama service.json.

Klik untuk melihat file konfigurasi untuk layanan pmml_prod

{
  "name":"pmml_prod",
  "model_path":"http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr_xxxx.pmml",
  "processor":"pmml",
  "metadata":{
    "cpu":1,
    "instance":4,
    "group":"pmml"
  }
}

Klik untuk melihat file konfigurasi untuk layanan pmml_grey

{
  "name":"pmml_grey",
  "model_path":"http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr_xxxx.pmml",
  "processor":"pmml",
  "metadata":{
    "cpu":1,
    "instance":1,
    "group":"pmml"
  }
}

Parameter group menentukan kelompok layanan tempat layanan tersebut termasuk, yaitu nama kelompok layanan yang dibuat. Untuk parameter lainnya, lihat Detail Parameter Lainnya.

Buat dua layanan dan kelompok layanan.
Masuk ke klien EASCMD dan jalankan perintah create untuk membuat dua layanan dan kelompok layanan, lihat Unduh Klien EASCMD dan Lengkapi Otentikasi Identitas. Contoh kode:
```
$ eascmd create service.json
```

Lihat informasi tentang layanan dan kelompok layanan.

Jalankan perintah ls berikut untuk melihat informasi tentang layanan dan kelompok layanan:

$ eascmd ls

Informasi berikut dikembalikan:

[RequestId]: 716BEBFC-E8A4-51FD-A3F7-56376B167923
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
|        NAMALAYANAN        | INSTANSI | CPU | MEMORI |      WAKTUBUAT       |     WAKTUUPDATE      | STATUS  | BOBOT  | KEADAANTRAFFIC|       KELOMPOKLAYANAN     |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
| pmml_prod                 |        4 |   1 | 1000M  | 2022-06-05T14:30:49Z | 2022-06-05T14:30:49Z | Berjalan|     80 | grouping     | pmml                      |
| pmml_grey                 |        1 |   1 | 1000M  | 2022-06-05T14:31:38Z | 2022-06-05T14:31:38Z | Berjalan|     20 | grouping     | pmml                      |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+

Parameter:

pmml ditampilkan di kolom KELOMPOKLAYANAN. Ini menunjukkan bahwa kedua layanan tersebut termasuk dalam kelompok layanan pmml.
grouping ditampilkan di kolom KEADAANTRAFFIC. Ini menunjukkan bahwa kedua layanan tersebut menerima lalu lintas. Distribusi lalu lintas antara layanan adalah 80% dan 20%, yang dihitung berdasarkan jumlah instans layanan.

Lihat data masuk

Kelompok layanan memiliki titik masuk data terpusat. Setiap layanan dalam kelompok layanan memiliki titik masuk data terpisah. Format titik masuk data adalah sebagai berikut:

Data masuk kelompok layanan

<endpoint>/api/predict/<nama_kelompok>

Contoh:

http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml

Di tab Canary Release, lihat titik masuk lalu lintas kelompok layanan. Lalu lintas ke titik masuk ini akan dialokasikan ke layanan berbeda berdasarkan kebijakan. Layanan dalam kelompok layanan dapat dibuat atau dihapus, tetapi alamat entri tetap tidak berubah, memungkinkan debugging online.

Data masuk layanan

<endpoint>/api/predict/<nama_kelompok>.<nama_layanan>

Contoh:

http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml.pmml_prod

Di tab Layanan Inferensi, lihat titik masuk lalu lintas untuk layanan tunggal. Titik masuk ini terkait dengan siklus hidup spesifik layanan, memastikan bahwa lalu lintas selalu mengalir ke layanan yang ditentukan. Setelah layanan dihapus, titik masuk akan dihapus. Setelah menyelesaikan pengalihan lalu lintas dalam kelompok, Anda masih perlu menggunakan alamat titik masuk ini untuk mengakses layanan dan melakukan debugging online.

Modifikasi kebijakan distribusi lalu lintas

Elastic Algorithm Service (EAS) saat ini mendukung dua metode alokasi lalu lintas:

Alokasi Berbasis Instans: Lalu lintas didistribusikan secara dinamis berdasarkan jumlah instans inferensi untuk setiap layanan. Contoh: Jika Layanan A memiliki 1 instans dan Layanan B memiliki 3 instans, maka Layanan A menerima 25% lalu lintas dan Layanan B menerima 75%.
Alokasi Berbasis Bobot Kustom: Lalu lintas dialokasikan berdasarkan bobot yang ditetapkan untuk setiap layanan. Contoh: Jika Layanan A memiliki bobot 100 dan Layanan B memiliki bobot 400, maka Layanan A menerima 20% lalu lintas dan Layanan B menerima 80%.

Penting

Saat layanan menonaktifkan fitur alokasi lalu lintas, layanan tersebut tidak lagi berpartisipasi dalam distribusi lalu lintas berbasis kelompok tetapi masih dapat diakses dan dipanggil secara individual. Ini berlaku untuk kedua metode alokasi.

Metode modifikasi spesifik adalah sebagai berikut:

Catatan

Anda dapat menyesuaikan bobot lalu lintas layanan dan status lalu lintas melalui API. Untuk detailnya, silakan lihat ReleaseService - ReleaseService - Sesuaikan Bobot Lalu Lintas Layanan dan Status Lalu Lintas

Alokasi berbasis instans

Menggunakan Konsol

Nyalakan saklar alokasi lalu lintas di kolom yang sesuai untuk mengaktifkan layanan agar dapat menangani lalu lintas. Matikan untuk menonaktifkan lalu lintas untuk layanan tersebut.

Menggunakan EASCMD

Metode 2: Menggunakan EASCMD

Jalankan perintah release berikut untuk memodifikasi kebijakan distribusi lalu lintas: Untuk informasi tentang cara masuk ke klien EASCMD, lihat Unduh Klien EASCMD dan Lengkapi Otentikasi Identitas.

$ eascmd release <nama_layanan> -s grouping|standalone

Parameter:

<nama_layanan>: Nama layanan. Ubah nilainya menjadi nama layanan yang ingin Anda modifikasi kebijakan distribusi lalu lintasnya.
grouping|standalone: Status setelah modifikasi. Nilai valid: grouping(menerima lalu lintas) dan standalone (tidak menerima lalu lintas).

Contoh:

Jalankan perintah berikut untuk mengubah status layanan pmml_grey menjadi standalone. Dengan cara ini, layanan pmml_grey tidak menerima lalu lintas.

$ eascmd release pmml_grey -s standalone

Output berikut dikembalikan:

Konfirmasi untuk melepaskan layanan [pmml_grey] ke lalu lintas kelompok [Y/n]ya
[RequestId]: 40C787DF-8900-5F7A-8A01-30F7D5A8BF3B
[OK] Layanan [pmml_grey] telah memasuki status lalu lintas: standalone

Jalankan perintah eascmd ls untuk melihat status layanan. Output berikut dikembalikan:

[RequestId]: 83BE3FBB-8CE2-5008-B435-1938A20B13AA
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
|        NAMALAYANAN        | INSTANSI | CPU | MEMORI |      WAKTUBUAT       |     WAKTUUPDATE      | STATUS  | BOBOT  | KEADAANTRAFFIC|       KELOMPOKLAYANAN     |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
| pmml_prod                 |        4 |   1 | 1000M  | 2022-06-05T14:30:49Z | 2022-06-05T14:30:49Z | Berjalan|    100 | grouping     | pmml                      |
| pmml_grey                 |        1 |   1 | 1000M  | 2022-06-05T14:42:41Z | 2022-06-05T14:42:41Z | Berjalan|     0  | standalone   | pmml                      |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+

KEADAANTRAFFIC dari layanan pmml_grey berubah menjadi standalone. Nilai parameter BOBOT adalah 0, yang menunjukkan bahwa semua lalu lintas diterima oleh layanan pmml_prod.

Jalankan perintah berikut untuk mengubah status layanan pmml_grey menjadi grouping. Ini memungkinkan layanan pmml_grey menerima lalu lintas.

$ eascmd release pmml_grey -s grouping

Output berikut dikembalikan:

Konfirmasi untuk melepaskan layanan [pmml_grey] ke lalu lintas kelompok [Y/n]ya
[RequestId]: 40C787DF-8900-5F7A-8A01-30F7D5A8BF3B
[OK] Layanan [pmml_grey] telah memasuki status lalu lintas: grouping

Jalankan perintah eascmd ls untuk melihat status layanan. Output berikut dikembalikan:

[RequestId]: 83BE3FBB-8CE2-5008-B435-1938A20B13AA
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
|        NAMALAYANAN        | INSTANSI | CPU | MEMORI |      WAKTUBUAT       |     WAKTUUPDATE      | STATUS  | BOBOT  | KEADAANTRAFFIC|       KELOMPOKLAYANAN     |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+
| pmml_prod                 |        4 |   1 | 1000M  | 2022-06-05T14:30:49Z | 2022-06-05T14:30:49Z | Berjalan|     80 | grouping     | pmml                      |
| pmml_grey                 |        1 |   1 | 1000M  | 2022-06-05T14:42:41Z | 2022-06-05T14:42:41Z | Berjalan|     20 | grouping     | pmml                      |
+---------------------------+----------+-----+--------+----------------------+----------------------+---------+--------+--------------+---------------------------+

KEADAANTRAFFIC dari layanan pmml_grey berubah menjadi grouping. Persentase lalu lintas yang diterima oleh layanan tersebut adalah 20%.

Alokasi berbasis bobot kustom

Edit langsung di kolom Bobot Lalu Lintas.