Parameter penerapan JSON - Platform For AI - Alibaba Cloud Documentation Center

Di EAS, Anda dapat menggunakan file konfigurasi JSON untuk menentukan dan menerapkan layanan online.

Quick start

1. Siapkan file JSON

Penerapan layanan memerlukan file JSON yang berisi seluruh konfigurasi yang diperlukan. Untuk pengguna baru, kami merekomendasikan membuat file ini secara otomatis dengan mengonfigurasi parameter di bawah Custom Model Deployment > Custom Deployment. Anda kemudian dapat memodifikasi dan memperluas konten JSON yang dihasilkan.

Berikut adalah contoh file service.json. Untuk daftar lengkap parameter, lihat Lampiran: Referensi Parameter JSON.

{
    "metadata": {
        "name": "demo",
        "instance": 1,
        "workspace_id": "your-workspace-id"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c7a.large"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

2. Terapkan layanan

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Pada tab Inference Service, klik Deploy Service. Di bagian Custom Model Deployment, pilih JSON Deployment.
Tempel konten JSON Anda dan klik Deploy. Penerapan berhasil jika status layanan berubah menjadi running.

Lampiran: Parameter JSON

Parameter	Wajib	Deskripsi
metadata	Ya	Metadata layanan. Untuk detailnya, lihat deskripsi parameter metadata.
cloud	Tidak	Konfigurasi untuk sumber daya komputasi dan VPC. Untuk detailnya, lihat deskripsi parameter cloud.
containers	Tidak	Konfigurasi image. Untuk detailnya, lihat deskripsi parameter containers.
dockerAuth	Tidak	Parameter ini harus dikonfigurasi untuk mengakses repositori pribadi yang memerlukan autentikasi. Nilainya adalah string Base64 dari `username:password`.
networking	Tidak	Konfigurasi pemanggilan layanan. Untuk detailnya, lihat deskripsi parameter networking.
storage	Tidak	Memasang data dari sumber seperti OSS atau NAS ke dalam kontainer. Untuk konfigurasi terperinci, lihat pemasangan storage.
token	Tidak	Token akses untuk autentikasi layanan. Jika tidak ditentukan, sistem akan menghasilkan token tersebut secara otomatis.
aimaster	Tidak	Mengaktifkan pemeriksaan daya komputasi dan toleransi kesalahan untuk inferensi terdistribusi multi-node.
model_path	Ya	Diperlukan saat Anda menerapkan layanan menggunakan prosesor. Parameter model_path dan processor_path menentukan path sumber data untuk model dan prosesor, masing-masing. Kedua parameter mendukung format path berikut: Path OSS: Path dapat mengarah ke file atau direktori tertentu. URL HTTP: File harus berupa arsip terkompresi, seperti TAR.GZ, TAR, BZ2, atau ZIP. Path lokal: Anda dapat menggunakan path lokal jika menggunakan perintah `test` untuk debugging lokal.
oss_endpoint	Tidak	Titik akhir OSS. Contoh: oss-cn-beijing.aliyuncs.com. Untuk nilai valid lainnya, lihat Wilayah dan titik akhir. Catatan Secara default, Anda tidak perlu menentukan parameter ini. Sistem menggunakan titik akhir OSS internal di wilayah saat ini untuk mengunduh file model atau prosesor. Anda harus menentukan parameter ini saat mengakses OSS lintas wilayah. Misalnya, jika Anda menerapkan layanan di wilayah Tiongkok (Hangzhou) dan parameter model_path menentukan path OSS di wilayah Tiongkok (Beijing), Anda harus mengatur parameter ini ke titik akhir OSS publik wilayah Tiongkok (Beijing).
model_entry	Tidak	File entri untuk model, yang bisa berupa file apa saja. Jika tidak ditentukan, nama file dalam model_path yang digunakan. Path file entri diteruskan ke fungsi initialize() di Processor.
model_config	Tidak	Menentukan konfigurasi model dan mendukung teks apa saja. Nilai parameter ini diteruskan ke parameter kedua fungsi initialize() di Processor.
processor	Tidak	Jika Anda menggunakan prosesor bawaan, tentukan kodenya. Untuk kode yang digunakan di `eascmd`, lihat prosesor bawaan. Jika Anda menggunakan prosesor kustom, abaikan parameter ini dan konfigurasikan parameter processor_path, processor_entry, processor_mainclass, dan processor_type sebagai gantinya.
processor_path	Tidak	Path ke paket prosesor. Untuk informasi lebih lanjut, lihat deskripsi parameter model_path.
processor_entry	Tidak	File utama Processor, seperti libprocessor.so atau app.py, yang berisi implementasi fungsi `initialize()` dan `process()` yang diperlukan untuk prediksi. Parameter ini wajib jika processor_type diatur ke cpp atau python.
processor_mainclass	Tidak	Kelas utama prosesor dalam paket JAR, misalnya com.aliyun.TestProcessor. Parameter ini wajib jika processor_type diatur ke java.
processor_type	Tidak	Bahasa pemrograman tempat processor diimplementasikan. Nilai yang valid adalah sebagai berikut: cpp java python
warm_up_data_path	Tidak	Path ke file permintaan yang digunakan untuk pra-ambil model. Untuk informasi lebih lanjut tentang fitur ini, lihat pra-ambil model.
runtime.enable_crash_block	Tidak	Menentukan apakah instans layanan secara otomatis restart setelah crash karena pengecualian dalam kode prosesor. Nilai yang valid: true: Instans layanan tidak secara otomatis restart. Hal ini memungkinkan Anda mempertahankan lingkungan runtime untuk troubleshooting. false: Instans layanan secara otomatis restart. Ini adalah nilai default.
autoscaler	Tidak	Konfigurasi untuk auto scaling horizontal untuk layanan model. Untuk detailnya, lihat auto scaling horizontal.
labels	Tidak	Konfigurasikan label untuk EAS. Formatnya adalah `key:value`.
unit.size	Tidak	Jumlah mesin per instans layanan dalam penerapan inferensi terdistribusi. Nilai default adalah 2.
sinker	Tidak	Mempertahankan semua permintaan dan respons layanan ke MaxCompute atau Simple Log Service (SLS). Untuk detailnya, lihat deskripsi parameter sinker.
confidential	Tidak	Dengan mengonfigurasi layanan manajemen kepercayaan sistem, Anda dapat mengaktifkan layanan inferensi yang aman dan terenkripsi. Hal ini memastikan bahwa informasi seperti data, model, dan kode diamankan selama penerapan dan pemanggilan layanan. Formatnya sebagai berikut: Catatan Fitur enkripsi aman ini berlaku untuk file pada storage yang Anda pasang. Pastikan Anda telah memasang file storage yang diperlukan sebelum mengaktifkan fitur ini. `"confidential": { "trustee_endpoint": "xxxx", "decryption_key": "xxxx" }` Parameter-parameter tersebut adalah sebagai berikut. trustee_endpoint: URI layanan manajemen kepercayaan sistem, Trustee. decryption_key: URI KBS dari kunci dekripsi. Contohnya, `kbs:///default/key/test-key`.

Parameter metadata

Parameter umum

Parameter	Wajib	Deskripsi
name	Ya	Nama layanan, yang harus unik dalam satu wilayah.
instance	Ya	Jumlah instans layanan yang akan diluncurkan.
workspace_id	Tidak	ID ruang kerja PAI. Jika diatur, layanan dibatasi hanya untuk ruang kerja PAI yang ditentukan. Contoh: `1405**`.
cpu	Tidak	Jumlah core CPU yang dibutuhkan oleh setiap instans.
memory	Tidak	Memori untuk setiap instans, dalam megabyte (MB). Contohnya, `"memory": 4096` berarti setiap instans membutuhkan memori 4 GB.
gpu	Tidak	Jumlah GPU yang dibutuhkan oleh setiap instans.
gpu_memory	Tidak	Digunakan untuk GPU slicing, yang memungkinkan beberapa instans berbagi satu GPU. Fitur ini tersedia hanya dengan kelompok sumber daya EAS atau kuota sumber daya.
gpu_core_percentage	Tidak
qos	Tidak	Menentukan kualitas layanan (QoS) untuk instans. Nilai yang valid adalah nilai kosong atau BestEffort. Mengatur qos ke BestEffort mengaktifkan mode berbagi CPU. Dalam mode ini, instans dijadwalkan berdasarkan memori dan memori GPU, dan tidak lagi dibatasi oleh jumlah core CPU pada node. Semua instans pada node berbagi sumber daya CPU. Parameter cpu kemudian menentukan kuota CPU maksimum yang dapat digunakan oleh satu instans dalam mode ini.
resource	Tidak	ID kelompok sumber daya. Jika layanan diterapkan di kelompok sumber daya publik, Anda dapat mengabaikan parameter ini. Layanan kemudian ditagih berdasarkan skema pay-as-you-go. Jika layanan diterapkan di kelompok sumber daya khusus, atur parameter ini ke ID kelompok sumber daya tersebut. Contoh: eas-r-6dbzve8ip0xnzt****.
cuda	Tidak	Versi CUDA yang dibutuhkan oleh layanan. Saat runtime, EAS secara otomatis memasang versi CUDA yang ditentukan ke direktori `/usr/local/cuda` dari instans. Versi yang didukung: 8.0, 9.0, 10.0, 10.1, 10.2, 11.0, 11.1, dan 11.2. Contoh: `"cuda":"11.2"`.
rdma	Tidak	Atur ke `1` untuk mengaktifkan jaringan Remote Direct Memory Access (RDMA) untuk inferensi terdistribusi. Jika diabaikan, RDMA dinonaktifkan. Catatan Saat ini, jaringan RDMA hanya tersedia untuk layanan yang diterapkan dengan sumber daya komputasi cerdas Lingjun.
enable_grpc	Tidak	Mengaktifkan atau menonaktifkan koneksi gRPC untuk gateway layanan. Nilai yang valid: false: Nilai default. Koneksi gRPC dinonaktifkan, dan gateway mendukung permintaan HTTP secara default. true: Koneksi gRPC diaktifkan untuk gateway. Catatan Untuk menerapkan layanan menggunakan custom image dengan implementasi sisi server gRPC, atur parameter ini ke `true` untuk mengganti protokol gateway ke gRPC.
enable_webservice	Tidak	Menentukan apakah akan mengaktifkan server web untuk menerapkan layanan sebagai aplikasi AI-Web. false: Nilai default. Server web tidak diaktifkan. true: Server web diaktifkan.
type	Tidak	Atur parameter ini ke LLMGatewayService untuk menerapkan router cerdas LLM. Untuk informasi tentang cara mengonfigurasi file JSON, lihat Langkah 1: Menerapkan router cerdas LLM.

Parameter lanjutan

Penting

Sesuaikan parameter ini dengan hati-hati.

Parameter		Wajib	Deskripsi
rpc	batching	Tidak	Menentukan apakah akan mengaktifkan batching sisi server untuk mempercepat inferensi model GPU. Fitur ini hanya didukung dalam mode prosesor bawaan. Nilai yang valid: false: Nilai default. Batching sisi server dinonaktifkan. true: Batching sisi server diaktifkan.
	keepalive	Tidak	Waktu pemrosesan maksimum untuk satu permintaan, dalam milidetik. Jika permintaan melebihi waktu pemrosesan ini, server mengembalikan error timeout 408 dan menutup koneksi. Nilai default adalah 600.000 untuk gateway khusus. Parameter ini tidak didukung untuk gateway khusus yang menggunakan Application Load Balancer (ALB).
	io_threads	Tidak	Jumlah thread I/O jaringan per instans. Nilai default adalah 4.
	max_batch_size	Tidak	Ukuran maksimum setiap batch. Nilai default adalah 16. Parameter ini hanya didukung dalam mode prosesor bawaan dan hanya berlaku jika rpc.batching diatur ke true.
	max_batch_timeout	Tidak	Timeout maksimum untuk setiap batch, dalam milidetik. Nilai default adalah 50. Parameter ini hanya didukung dalam mode prosesor bawaan dan hanya berlaku jika rpc.batching diatur ke true.
	max_queue_size	Tidak	Untuk layanan inferensi asinkron, parameter ini menentukan panjang antrian maksimum. Nilai default adalah 64. Jika antrian penuh, server mengembalikan error 450 dan menutup koneksi. Untuk mencegah overload server, antrian dapat memberi tahu klien secara proaktif untuk mencoba ulang permintaan di instans lain. Untuk layanan dengan waktu respons lama, pertimbangkan untuk mengurangi panjang antrian guna menghindari penumpukan permintaan dan timeout.
	worker_threads	Tidak	Jumlah thread pekerja per instans untuk pemrosesan permintaan konkuren. Nilai default adalah 5. Parameter ini hanya didukung dalam mode prosesor bawaan.
	rate_limit	Tidak	Mengaktifkan pembatasan laju QPS dan menetapkan QPS maksimum per instans. Nilai default adalah 0, yang menonaktifkan pembatasan laju QPS. Contohnya, jika Anda mengatur parameter ini ke 2000, permintaan akan ditolak dengan error 429 (Too Many Requests) ketika QPS melebihi 2000.
	enable_sigterm	Tidak	Nilai yang valid: false: Nilai default. Sistem tidak mengirim sinyal SIGTERM saat instans memasuki status terminating. true: Saat instans layanan memasuki status terminating, sistem segera mengirim sinyal SIGTERM ke proses utama. Proses dalam layanan Anda harus menangani sinyal ini untuk melakukan terminasi graceful kustom. Jika sinyal tidak ditangani, proses utama mungkin langsung keluar, sehingga menyebabkan kegagalan terminasi graceful.
rolling_strategy	max_surge	Tidak	Selama pembaruan rolling, parameter ini menentukan jumlah maksimum instans tambahan yang dibuat di atas jumlah yang diinginkan. Nilai ini dapat berupa bilangan bulat positif atau persentase, seperti 2%. Nilai default adalah 2%. Meningkatkan nilai ini dapat mempercepat pembaruan layanan. Contohnya, jika layanan memiliki 100 instans dan parameter ini diatur ke 20, sistem segera membuat 20 instans baru saat pembaruan dimulai.
rolling_strategy	max_unavailable	Tidak	Selama pembaruan rolling, parameter ini menentukan jumlah maksimum instans yang dapat tidak tersedia. Parameter ini memungkinkan sistem membebaskan sumber daya untuk instans baru dan mencegah pembaruan terhenti karena kurangnya sumber daya idle. Nilai default adalah 1 di kelompok sumber daya khusus dan 0 di kelompok sumber daya publik. Contohnya, jika parameter ini diatur ke N, sistem akan menghentikan N instans saat pembaruan dimulai. Catatan Jika Anda memiliki sumber daya idle yang cukup, atur parameter ini ke 0. Nilai tinggi dapat memengaruhi stabilitas layanan dengan mengurangi jumlah instans yang tersedia selama pembaruan, sehingga meningkatkan beban trafik pada setiap instans yang tersisa. Anda harus menyeimbangkan stabilitas layanan dengan ketersediaan sumber daya saat mengonfigurasi parameter ini.
eas.termination_grace_period		Tidak	Menentukan periode terminasi graceful untuk instans, dalam detik. Nilai default adalah 30. Layanan EAS menggunakan strategi pembaruan rolling. Sebuah instans pertama-tama memasuki status Terminating, di mana trafik dialihkan darinya. Instans tersebut kemudian menunggu periode yang ditentukan untuk menyelesaikan permintaan yang sedang diproses sebelum dimatikan. Jika permintaan Anda membutuhkan waktu lama untuk diproses, Anda dapat meningkatkan nilai ini untuk memastikan semua permintaan yang sedang diproses selesai selama pembaruan. Penting Mengurangi nilai ini dapat memengaruhi stabilitas layanan. Mengatur nilai terlalu tinggi dapat memperlambat proses pembaruan. Jangan ubah parameter ini kecuali Anda memiliki kebutuhan khusus.
scheduling	spread.policy	Tidak	Kebijakan distribusi untuk menjadwalkan instans layanan. Kebijakan yang didukung: host: Menyebar instans di berbagai node. zone: Menyebar instans di berbagai zona ketersediaan. default: Menggunakan kebijakan penjadwalan default tanpa strategi distribusi aktif. Contoh konfigurasi: `{ "metadata": { "scheduling": { "spread": { "policy": "host" } } }`
resource_rebalancing		Tidak	Nilai yang valid: false: Nilai default. Fitur ini dinonaktifkan. true: EAS secara berkala membuat instans probe pada sumber daya prioritas tinggi. Jika instans probe dijadwalkan berhasil, EAS membuat lebih banyak instans probe secara eksponensial hingga penjadwalan gagal. Saat instans probe yang dijadwalkan berhasil siap, instans tersebut menggantikan instans yang berjalan pada sumber daya prioritas lebih rendah. Fitur ini membantu menyelesaikan masalah berikut: Selama pembaruan rolling, instans yang dihentikan dapat menempati sumber daya, memaksa instans baru dijadwalkan di kelompok sumber daya publik. Instans ini kemudian dijadwalkan ulang ke kelompok sumber daya khusus. Saat Anda menggunakan instans spot dan instans reguler, EAS secara berkala memeriksa ketersediaan instans spot. Jika tersedia, EAS memigrasikan instans reguler ke instans spot.
workload_type		Tidak	Untuk menerapkan layanan EAS sebagai pekerjaan, atur parameter ini ke elasticjob. Untuk informasi lebih lanjut tentang layanan Elastic Job, lihat Layanan Elastic Job.
resource_burstable		Tidak	Mengaktifkan fitur kolam sumber daya elastis untuk layanan EAS yang diterapkan di kelompok sumber daya khusus: true: Mengaktifkan fitur. false: Menonaktifkan fitur.
shm_size		Tidak	Menentukan ukuran memori bersama untuk instans, dalam GB. Memori bersama memungkinkan operasi baca dan tulis langsung tanpa memerlukan replikasi atau transfer data.

Parameter cloud

Parameter		Wajib	Deskripsi
computing	instances	Tidak	Menentukan tipe instans yang akan digunakan saat menerapkan layanan di kelompok sumber daya publik. Jika penawaran untuk instans spot gagal atau tipe instans memiliki inventaris yang tidak mencukupi, sistem akan mencoba membuat layanan menggunakan tipe instans berikutnya sesuai urutan yang dikonfigurasi. type: tipe instans spot_price_limit: Opsional. Jika diatur, instans menjadi instans spot dengan nilai ini sebagai batas harga maksimum dalam USD. Jika diabaikan, instans yang sesuai adalah instans pay-as-you-go reguler. capacity: Jumlah maksimum instans untuk tipe instans ini. Anda dapat menentukan angka, seperti "500", atau persentase dalam bentuk string, seperti "20%". Jika batas ini tercapai, sistem berhenti membuat instans jenis ini, meskipun masih ada inventaris yang tersedia. Contohnya, jika layanan memiliki total 200 instans dan Anda mengatur kapasitas untuk tipe instans A ke "20%", layanan menggunakan maksimal 40 instans tipe A. Sistem menggunakan tipe instans lain untuk instans sisanya.
computing	disable_spot_protection_period	Tidak	Parameter ini berlaku untuk instans spot. Nilai yang valid: false (default): Setelah instans spot dibuat, instans tersebut memiliki periode perlindungan default selama 1 jam. Selama periode ini, instans tidak ditarik kembali meskipun harga pasar melebihi penawaran Anda. true: Menonaktifkan periode perlindungan. Instans tanpa periode perlindungan biasanya sekitar 10% lebih murah.
networking	vpc_id	Tidak	ID VPC.
	vswitch_id	Tidak	ID VSwitch.
	security_group_id	Tidak	ID grup keamanan.
	destination_cidrs	Tidak	Jika Blok CIDR VSwitch yang Anda konfigurasi bertentangan dengan Blok CIDR manajemen EAS (10.224.0.0/16 atau 10.240.0.0/12), Anda harus secara eksplisit mengatur field ini ke Blok CIDR VSwitch Anda. Contoh: `"cloud": { "networking": { "destination_cidrs": "10.241.28.0/22" } }` Ganti `10.241.28.0/22` dengan Blok CIDR aktual VSwitch Anda.

Contoh:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge",
                    "capacity": "20%"
                }
            ],
            "disable_spot_protection_period": false
        },
        "networking": {
            "vpc_id": "vpc-bp1oll7xawovg9*****",
            "vswitch_id": "vsw-bp1jjgkw51nsca1e****",
            "security_group_id": "sg-bp1ej061cnyfn0b*****"
        }
    }
}

Parameter `containers`

Untuk menerapkan layanan dengan custom image, lihat Custom Images.

Parameter		Wajib	Deskripsi
image		Ya	Alamat image untuk layanan model.
env	name	Tidak	Nama variabel lingkungan.
env	value	Tidak	Nilai variabel lingkungan.
command		Salah satu dari `command` atau `script` wajib diisi.	Perintah entry point untuk kontainer. Hanya perintah tunggal yang didukung. Untuk skrip kompleks, seperti `cd xxx && python app.py`, gunakan parameter `script` sebagai gantinya. Gunakan parameter `command` jika image tidak berisi perintah `/bin/sh`.
script		Salah satu dari `command` atau `script` wajib diisi.	Skrip entry point yang dijalankan di dalam kontainer. Parameter ini mendukung skrip kompleks. Gunakan `\n` atau titik koma (`;`) untuk memisahkan beberapa perintah.
port		Tidak	Port kontainer. Penting Hindari port 8080 dan 9090, yang dicadangkan untuk mesin EAS. Port ini harus sesuai dengan port yang dikonfigurasi di file xxx.py dalam command.
prepare	pythonRequirements	Tidak	Daftar paket Python yang akan diinstal sebelum instans layanan dimulai. Perintah `python` dan `pip` harus ada di path sistem image. Contohnya: `"prepare": { "pythonRequirements": [ "numpy==1.16.4", "absl-py==0.11.0" ] }`
prepare	pythonRequirementsPath	Tidak	Path ke file `requirements.txt`. Paket dalam file ini diinstal sebelum instans layanan dimulai. Perintah `python` dan `pip` harus ada di path sistem image. File `requirements.txt` dapat dibangun ke dalam image atau dipasang ke instans layanan dari penyimpanan eksternal. Contohnya: `"prepare": { "pythonRequirementsPath": "/data_oss/requirements.txt" }`

Parameter jaringan

Parameter

Wajib

Deskripsi

gateway

Tidak

Gateway khusus yang dikonfigurasi untuk layanan EAS.

gateway_policy