Parameter penerapan JSON - Platform For AI - Alibaba Cloud Documentation Center

Di EAS, Anda dapat mendefinisikan dan menerapkan layanan inferensi online menggunakan berkas konfigurasi JSON.

Mulai cepat

1. Siapkan berkas konfigurasi JSON

Untuk menerapkan layanan, Anda memerlukan berkas JSON yang mendefinisikan konfigurasi yang diperlukan. Untuk pengguna baru, kami menyarankan membuka Custom Model Deployment > Custom Deployment untuk mengonfigurasi parameter. Sistem akan secara otomatis menghasilkan konfigurasi JSON yang dapat Anda gunakan sebagai templat.

Kode berikut merupakan contoh berkas service.json. Untuk daftar lengkap parameter, lihat Lampiran: Referensi Parameter JSON.

{
    "metadata": {
        "name": "demo",
        "instance": 1,
        "workspace_id": "your-workspace-id"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c7a.large"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

2. Terapkan layanan dengan JSON

Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Pada tab Inference Service, klik Deploy Service. Kemudian, pada bagian Custom Model Deployment, pilih JSON Deployment.
Tempel konfigurasi JSON Anda dan klik Deploy. Status layanan Berjalan menunjukkan bahwa penerapan berhasil.

Lampiran: Parameter JSON

Parameter	Wajib	Deskripsi
metadata	Ya	Metadata layanan. Untuk informasi selengkapnya, lihat parameter metadata.
cloud	Tidak	Konfigurasi sumber daya komputasi dan VPC. Untuk informasi selengkapnya, lihat parameter cloud.
containers	Tidak	Konfigurasi image. Untuk informasi selengkapnya, lihat parameter containers.
dockerAuth	Tidak	Parameter ini diperlukan untuk mengakses repositori pribadi yang memerlukan otentikasi. Nilainya adalah string Base64 dari `username:password`.
networking	Tidak	Konfigurasi pemanggilan layanan. Untuk informasi selengkapnya, lihat parameter networking.
storage	Tidak	Memasang data dari layanan penyimpanan seperti OSS atau NAS ke dalam kontainer. Untuk detail konfigurasi, lihat pemasangan storage.
token	Tidak	Token akses untuk otentikasi layanan. Jika tidak ditentukan, sistem akan menghasilkan token tersebut secara otomatis.
aimaster	Tidak	Mengaktifkan pemeriksaan daya komputasi dan toleransi kesalahan untuk layanan inferensi terdistribusi multi-node.
model_path	Ya	Diperlukan saat menerapkan layanan dengan prosesor. Parameter model_path dan processor_path menentukan lokasi sumber data input untuk model dan prosesor, masing-masing. Format berikut didukung: Jalur OSS: URL dapat menunjuk ke file tertentu atau direktori. URL HTTP: URL harus menunjuk ke arsip terkompresi, seperti file TAR.GZ, TAR, BZ2, atau ZIP. jalur lokal: Jalur lokal dapat digunakan untuk debugging lokal dengan perintah `test`.
oss_endpoint	Tidak	Titik akhir OSS, misalnya, oss-cn-beijing.aliyuncs.com. Untuk nilai valid lainnya, lihat Wilayah dan titik akhir. Catatan Secara default, Anda tidak perlu menentukan parameter ini. Layanan menggunakan titik akhir OSS internal wilayah saat ini untuk mengunduh file model atau file Processor. Anda harus menentukan parameter ini saat mengakses OSS lintas wilayah. Misalnya, jika Anda menerapkan layanan di wilayah Hangzhou dan menentukan alamat OSS di wilayah Beijing untuk model_path, Anda harus menggunakan parameter ini untuk menentukan titik akhir OSS publik wilayah Beijing.
model_entry	Tidak	Berkas entri model, yang dapat berupa file apa pun dalam paket model. Jika tidak ditentukan, nilai default-nya adalah nama file dari model_path. Jalur ke berkas entri ini diteruskan ke fungsi initialize() prosesor.
model_config	Tidak	Konfigurasi untuk model, yang dapat berupa teks apa pun. Nilai ini diteruskan sebagai argumen kedua ke fungsi initialize() prosesor.
processor	Tidak	Jika menggunakan prosesor bawaan, tentukan kodenya. Untuk kode prosesor bawaan yang tersedia di `eascmd`, lihat prosesor bawaan. Jika menggunakan prosesor kustom, konfigurasikan parameter processor_path, processor_entry, processor_mainclass, dan processor_type sebagai gantinya.
processor_path	Tidak	Jalur ke paket prosesor. Untuk format jalur yang didukung, lihat deskripsi parameter model_path.
processor_entry	Tidak	Berkas entri prosesor, seperti libprocessor.so atau app.py. Berkas ini harus mengimplementasikan fungsi `initialize()` dan `process()` yang diperlukan untuk inferensi. Parameter ini wajib jika processor_type diatur ke cpp atau python.
processor_mainclass	Tidak	Kelas utama prosesor dalam paket JAR. Misalnya, com.aliyun.TestProcessor. Parameter ini wajib jika processor_type diatur ke java.
processor_type	Tidak	Bahasa implementasi processor. Nilai yang valid adalah sebagai berikut: cpp java python
warm_up_data_path	Tidak	Jalur ke berkas permintaan yang digunakan untuk pemanasan model. Untuk informasi selengkapnya tentang fitur ini, lihat pemanasan model.
runtime.enable_crash_block	Tidak	Menentukan apakah instans yang crash karena pengecualian kode prosesor secara otomatis dimulai ulang. Nilai yang valid: true: Instans tidak dimulai ulang secara otomatis, sehingga lingkungan runtime dipertahankan untuk troubleshooting. false (Default): Instans dimulai ulang secara otomatis.
autoscaler	Tidak	Konfigurasi untuk auto scaling horizontal. Untuk deskripsi parameter terperinci, lihat auto scaling horizontal.
labels	Tidak	Label yang diterapkan pada layanan. Gunakan format `key:value`.
unit.size	Tidak	Jumlah mesin per instans dalam konfigurasi inferensi terdistribusi. Nilai default adalah 2.
sinker	Tidak	Menyimpan semua permintaan dan respons layanan ke MaxCompute atau Log Service (SLS). Untuk deskripsi parameter terperinci, lihat parameter sinker.
confidential	Tidak	Mengonfigurasi Trustee untuk memastikan bahwa informasi seperti data, model, dan kode tetap terenkripsi selama penerapan dan pemanggilan layanan. Ini mengaktifkan layanan inferensi yang aman dan terenkripsi. Formatnya sebagai berikut: Catatan Lingkungan enkripsi aman terutama melindungi file yang dipasang. Pastikan Anda telah memasang file-file tersebut sebelum mengaktifkan fitur ini. `"confidential": { "trustee_endpoint": "xxxx", "decryption_key": "xxxx" }` . trustee_endpoint: URI Trustee. decryption_key: URI KBS dari kunci dekripsi. Misalnya, `kbs:///default/key/test-key`.

Parameter metadata

Parameter umum

Parameter	Wajib	Deskripsi
name	Ya	Nama layanan. Harus unik dalam satu wilayah.
instance	Ya	Jumlah instans untuk layanan.
workspace_id	Tidak	ID ruang kerja PAI. Jika ditentukan, parameter ini membatasi layanan ke ruang kerja tersebut. Contoh: `1405**`.
cpu	Tidak	Jumlah core CPU yang diperlukan untuk setiap instans.
memory	Tidak	Jumlah memori yang diperlukan untuk setiap instans, dalam MB. Nilainya harus bilangan bulat. Contoh, `"memory": 4096` menunjukkan bahwa setiap instans memerlukan memori 4 GB.
gpu	Tidak	Jumlah GPU yang diperlukan untuk setiap instans.
gpu_memory	Tidak	Mengaktifkan pemotongan gpu, yang memungkinkan beberapa instans berbagi satu GPU. Parameter ini hanya dapat dikonfigurasi dengan kelompok sumber daya khusus atau kuota sumber daya.
gpu_core_percentage	Tidak
qos	Tidak	Menentukan Quality of Service (QoS) untuk instans. Nilai yang valid: BestEffort atau dihilangkan. Saat qos diatur ke BestEffort, instans memasuki mode berbagi CPU. Dalam mode ini, penjadwalan didasarkan pada memori GPU dan memori sistem, serta mengabaikan jumlah core CPU pada node. Semua instans pada node berbagi sumber daya CPU. Parameter cpu kemudian menentukan kuota CPU maksimum yang dapat digunakan oleh satu instans.
resource	Tidak	ID kelompok sumber daya. Kebijakan penerapan adalah sebagai berikut: Jika diterapkan di kelompok sumber daya publik, abaikan parameter ini. Layanan kemudian ditagih berdasarkan skema pay-as-you-go. Jika diterapkan di kelompok sumber daya khusus, atur parameter ini ke ID kelompok sumber daya. Contoh: eas-r-6dbzve8ip0xnzt****.
cuda	Tidak	Versi CUDA yang diperlukan layanan. Saat runtime, versi CUDA yang ditentukan secara otomatis dipasang ke direktori `/usr/local/cuda` instans. Versi CUDA yang didukung: 8.0, 9.0, 10.0, 10.1, 10.2, 11.0, 11.1, dan 11.2. Contoh: `"cuda":"11.2"`.
rdma	Tidak	Menentukan apakah akan mengaktifkan jaringan RDMA untuk inferensi terdistribusi. Atur nilainya ke 1 untuk mengaktifkan jaringan RDMA. Jika dihilangkan, fitur ini dinonaktifkan. Catatan Saat ini, jaringan RDMA hanya tersedia untuk layanan yang diterapkan menggunakan sumber daya komputasi cerdas Lingjun.
enable_grpc	Tidak	Menentukan apakah akan mengaktifkan koneksi gRPC untuk gateway layanan. Nilai yang valid: false (Default): Menonaktifkan koneksi gRPC. Secara default, gateway mendukung permintaan HTTP. true: Mengaktifkan koneksi gRPC. Catatan Jika Anda menerapkan layanan menggunakan custom image dengan server berbasis gRPC, Anda harus mengatur parameter ini untuk mengalihkan protokol gateway ke gRPC.
enable_webservice	Tidak	Menentukan apakah akan mengaktifkan server web untuk menerapkan layanan sebagai aplikasi AI-Web. false (Default): Server web tidak diaktifkan. true: Server web diaktifkan.
type	Tidak	Atur parameter ini ke LLMGatewayService untuk menerapkan layanan router cerdas LLM. Untuk informasi selengkapnya, lihat Menerapkan router cerdas LLM.

Parameter lanjutan

Penting

Ubah parameter lanjutan ini dengan hati-hati.

Parameter		Wajib	Deskripsi
rpc	batching	Tidak	Mengaktifkan batching sisi server untuk mempercepat inferensi model GPU. Fitur ini hanya didukung dalam mode prosesor bawaan. Nilai yang valid: false (Default): Menonaktifkan batching sisi server. true: Mengaktifkan batching sisi server.
	keepalive	Tidak	Waktu pemrosesan maksimum untuk satu permintaan, dalam milidetik. Jika waktu pemrosesan melebihi nilai ini, server mengembalikan error 408 Timeout dan menutup koneksi. Nilai default adalah 600000 untuk gateway khusus. Parameter ini tidak didukung untuk gateway khusus berbasis Application Load Balancer (ALB).
	io_threads	Tidak	Jumlah thread yang digunakan untuk memproses permintaan I/O jaringan di setiap instans. Nilai default adalah 4.
	max_batch_size	Tidak	Ukuran maksimum setiap batch. Nilai default adalah 16. Parameter ini hanya berlaku saat rpc.batching diatur ke true. Fitur ini hanya didukung dalam mode prosesor bawaan.
	max_batch_timeout	Tidak	Periode timeout maksimum untuk setiap batch, dalam milidetik. Nilai default adalah 50. Parameter ini hanya berlaku saat rpc.batching diatur ke true. Fitur ini hanya didukung dalam mode prosesor bawaan.
	max_queue_size	Tidak	Panjang maksimum antrian untuk layanan inferensi asinkron. Nilai default adalah 64. Jika antrian penuh, server mengembalikan error 450 dan menutup koneksi. Hal ini memungkinkan klien mencoba ulang pada instans lain dan mencegah overload server. Untuk layanan dengan waktu respons (RT) yang lama, Anda dapat mengurangi panjang antrian untuk mencegah permintaan menumpuk dan menyebabkan timeout.
	worker_threads	Tidak	Jumlah thread di setiap instans yang digunakan untuk memproses permintaan secara konkuren. Nilai default adalah 5. Fitur ini hanya didukung dalam mode prosesor bawaan.
	rate_limit	Tidak	Mengaktifkan pembatasan laju QPS dan menentukan QPS maksimum yang dapat diproses oleh satu instans. Nilai default adalah 0, yang menunjukkan bahwa pembatasan laju QPS dinonaktifkan. Contohnya, jika Anda mengatur parameter ini ke 2000, permintaan akan ditolak dengan error 429 (Too Many Requests) ketika QPS melebihi 2.000.
	enable_sigterm	Tidak	Nilai yang valid: false (Default): Sistem tidak mengirim sinyal SIGTERM saat instans memasuki status terminating. true: Saat instans layanan memasuki status terminating, sistem segera mengirim sinyal SIGTERM ke proses utama. Proses dalam layanan harus menangani sinyal ini untuk melakukan terminasi graceful kustom. Jika sinyal tidak ditangani, proses utama mungkin langsung keluar, sehingga mencegah terminasi graceful.
rolling_strategy	max_surge	Tidak	Jumlah maksimum instans tambahan yang dibuat melebihi jumlah yang diinginkan selama pembaruan rolling. Nilainya dapat berupa bilangan bulat positif yang menunjukkan jumlah instans, atau persentase, seperti 2%. Nilai default adalah 2%. Nilai yang lebih besar mempercepat pembaruan layanan. Contohnya, jika jumlah instans layanan adalah 100 dan Anda mengatur parameter ini ke 20, 20 instans baru akan segera dibuat setelah pembaruan layanan dimulai.
rolling_strategy	max_unavailable	Tidak	Jumlah maksimum instans yang tidak tersedia selama pembaruan rolling. Parameter ini dapat membebaskan sumber daya untuk instans baru selama pembaruan dan mencegah pembaruan macet karena sumber daya tidak mencukupi. Nilai default adalah 1 untuk kelompok sumber daya khusus dan 0 untuk kelompok sumber daya publik. Contohnya, jika Anda mengatur parameter ini ke N, N instans akan segera dihentikan setelah pembaruan layanan dimulai. Catatan Jika sumber daya idle mencukupi, Anda dapat mengatur parameter ini ke 0. Nilai yang besar dapat memengaruhi stabilitas layanan karena jumlah instans yang tersedia berkurang selama pembaruan, sehingga meningkatkan beban trafik pada satu instans. Seimbangkan stabilitas layanan dengan ketersediaan sumber daya saat mengonfigurasi parameter ini.
eas.termination_grace_period		Tidak	Periode terminasi graceful suatu instans, dalam detik. Nilai default adalah 30. Layanan EAS menggunakan strategi pembaruan rolling. Suatu instans pertama-tama memasuki status Terminating, dan layanan mengalihkan trafik dari instans yang sedang dihentikan. Instans tersebut kemudian menunggu selama 30 detik untuk memproses permintaan yang diterima sebelum keluar. Jika permintaan memerlukan waktu lama untuk diproses, Anda dapat menambah nilai ini untuk memastikan semua permintaan yang sedang berjalan selesai selama pembaruan layanan. Penting Nilai yang lebih kecil dapat memengaruhi stabilitas layanan, sedangkan nilai yang lebih besar dapat memperlambat pembaruan layanan. Ubah parameter ini hanya jika diperlukan.
scheduling	spread.policy	Tidak	Kebijakan penyebaran untuk penjadwalan instans layanan. Kebijakan berikut didukung: host: Menyebar instans di berbagai node. zone: Menyebar instans di berbagai zona ketersediaan. default: Menjadwalkan instans berdasarkan kebijakan default menggunakan strategi penempatan default sistem. Contoh konfigurasi: `{ "metadata": { "scheduling": { "spread": { "policy": "host" } } }`
resource_rebalancing		Tidak	Nilai yang valid: false (Default): Fitur ini dinonaktifkan. true: EAS secara berkala membuat instans probe pada sumber daya prioritas tinggi. Jika instans probe dijadwalkan berhasil, instans probe tambahan dibuat secara eksponensial hingga penjadwalan gagal. Saat instans probe yang dijadwalkan berhasil menyelesaikan inisialisasi dan siap, instans tersebut menggantikan instans yang berjalan pada sumber daya prioritas lebih rendah. Fitur ini membantu menyelesaikan masalah berikut: Mencegah instans baru sementara dijadwalkan ke kelompok sumber daya publik selama pembaruan rolling. Hal ini dapat terjadi ketika instans yang dihentikan di kelompok sumber daya khusus belum membebaskan sumber dayanya. Saat menggunakan instans spot dan instans reguler, sistem secara berkala memeriksa ketersediaan instans spot dan memigrasikan instans reguler ke instans spot tersebut.
resource_burstable		Tidak	Mengaktifkan fitur kolam sumber daya elastis untuk layanan EAS yang diterapkan di kelompok sumber daya khusus. true: Mengaktifkan fitur. false: Menonaktifkan fitur.
shm_size		Tidak	Ukuran memori bersama untuk setiap instans, dalam GB. Memori bersama memungkinkan operasi baca dan tulis langsung, sehingga menghilangkan kebutuhan untuk menyalin atau mentransfer data.

Parameter cloud

Parameter		Wajib	Deskripsi
computing	instances	Tidak	Menentukan daftar tipe instans yang digunakan saat menerapkan layanan di kelompok sumber daya publik. Jika penawaran untuk instans spot gagal atau tipe instans kehabisan stok, sistem membuat layanan menggunakan tipe instans berikutnya dalam daftar. type: Tipe instans. spot_price_limit: Opsional. Jika Anda menentukan parameter ini, tipe instans menjadi instans spot pay-as-you-go, dan nilai ini adalah harga maksimumnya dalam USD. Jika Anda menghilangkan parameter ini, instans pay-as-you-go reguler dibuat. capacity: Jumlah maksimum instans dari tipe ini yang akan dibuat. Anda dapat menentukan angka, seperti "500", atau persentase dalam string, seperti "20%". Setelah batas kapasitas tercapai, sistem berhenti membuat instans dari tipe ini, meskipun sumber daya tersedia. Contohnya, jika jumlah total instans untuk layanan adalah 200 dan Anda mengatur `capacity` tipe instans ke `20%`, sistem meluncurkan maksimal 40 instans dari tipe ini. Instans sisanya diluncurkan menggunakan tipe instans lain yang ditentukan.
computing	disable_spot_protection_period	Tidak	Menentukan apakah akan menonaktifkan periode perlindungan untuk instans spot. Parameter ini hanya berlaku untuk instans spot. Nilai yang valid: false (Default): Instans spot memiliki periode perlindungan 1 jam setelah dibuat. Selama periode perlindungan, sistem tidak mereklaim instans meskipun harga pasar melebihi penawaran Anda. true: Menonaktifkan periode perlindungan. Instans tanpa periode perlindungan biasanya sekitar 10% lebih murah daripada instans dengan periode perlindungan.
networking	vpc_id	Tidak	ID VPC.
	vswitch_id	Tidak	ID VSwitch.
	security_group_id	Tidak	ID grup keamanan.
	destination_cidrs	Tidak	Jika Blok CIDR dari VSwitch yang dikonfigurasi bertentangan dengan Blok CIDR manajemen EAS (10.224.0.0/16 atau 10.240.0.0/12), Anda harus secara eksplisit mengatur parameter ini ke Blok CIDR VSwitch Anda. Contoh: `"cloud": { "networking": { "destination_cidrs": "10.241.28.0/22" } }` Ganti `10.241.28.0/22` dengan Blok CIDR aktual VSwitch Anda.

Contoh:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge",
                    "capacity": "20%"
                }
            ],
            "disable_spot_protection_period": false
        },
        "networking": {
            "vpc_id": "vpc-bp1oll7xawovg9*****",
            "vswitch_id": "vsw-bp1jjgkw51nsca1e****",
            "security_group_id": "sg-bp1ej061cnyfn0b*****"
        }
    }
}

Parameter container

Untuk menerapkan layanan menggunakan custom image, lihat Custom Images.

Parameter		Wajib	Deskripsi
image		Ya	Alamat image untuk layanan model. Wajib saat menerapkan menggunakan image.
env	name	Tidak	Nama variabel lingkungan.
env	value	Tidak	Nilai variabel lingkungan.
command		Anda harus menentukan salah satu dari command atau script.	Perintah entry point untuk image. Parameter ini hanya mendukung satu perintah tunggal. Untuk skrip kompleks, seperti `cd xxx && python app.py`, gunakan parameter `script`. Gunakan parameter `command` jika image tidak memiliki perintah `/bin/sh`.
script		Anda harus menentukan salah satu dari command atau script.	Skrip entry point untuk image. Anda dapat menentukan skrip kompleks dengan beberapa baris. Pisahkan perintah dengan `\n` atau titik koma (;).
port		Tidak	Port kontainer. Penting Engine EAS mendengarkan pada port tetap 8080 dan 9090. Untuk menghindari konflik port, pastikan port kontainer bukan 8080 atau 9090. Port ini harus sesuai dengan port yang dikonfigurasi dalam berkas xxx.py yang ditentukan oleh command.
prepare	pythonRequirements	Tidak	Daftar dependensi Python yang akan diinstal sebelum instans dimulai. Image harus memiliki perintah python dan pip yang tersedia di PATH sistem. Contoh: `"prepare": { "pythonRequirements": [ "numpy==1.16.4", "absl-py==0.11.0" ] }`
prepare	pythonRequirementsPath	Tidak	Jalur ke berkas requirements.txt untuk menginstal paket Python sebelum instans dimulai. Image harus memiliki perintah python dan pip yang tersedia di PATH sistem. Berkas ini dapat disertakan dalam image atau dipasang dari penyimpanan eksternal. Contoh: `"prepare": { "pythonRequirementsPath": "/data_oss/requirements.txt" }`

Parameter networking

Parameter

Wajib

Deskripsi

gateway

Tidak

Menentukan gateway khusus untuk layanan EAS.

gateway_policy

Tidak

rate_limit: Menetapkan jumlah maksimum permintaan per detik (QPS) untuk pembatasan laju global.
- enable: Atur ke true untuk mengaktifkan pembatasan laju, atau false untuk menonaktifkannya.
- limit: QPS maksimum.
  Catatan
  Layanan pada gateway bersama memiliki default 1.000 QPS per layanan dan 10.000 QPS per grup server. Gateway khusus tidak memiliki nilai default.
concurrency_limit: Menetapkan jumlah maksimum permintaan konkuren untuk kontrol konkurensi global. Pengaturan ini tidak didukung untuk gateway khusus berbasis ALB.
- enable: Atur ke true untuk mengaktifkan kontrol konkurensi, atau false untuk menonaktifkannya.
- limit: Jumlah maksimum permintaan konkuren.

Contoh konfigurasi:

{
    "networking": {
        "gateway_policy": {
            "rate_limit": {
                "enable": true,
                "limit": 100
            },
            "concurrency_limit": {
                "enable": true,
                "limit": 50
            }
        }
    }
}

Parameter sinker

Parameter		Wajib	Deskripsi
type		Tidak	Menentukan layanan penyimpanan tujuan. Nilai yang didukung: `maxcompute`: MaxCompute. `sls`: Log Service (SLS).
config	maxcompute.project	Tidak	Nama proyek MaxCompute.
	maxcompute.table	Tidak	Nama tabel MaxCompute.
	sls.project	Tidak	Nama proyek Log Service (SLS).
	sls.logstore	Tidak	Nama penyimpanan log.

Contoh konfigurasi:

Sink ke MaxCompute

"sinker": {
        "type": "maxcompute",
        "config": {
            "maxcompute": {
                "project": "cl****",
                "table": "te****"
            }
        }
    }

Sink ke SLS

"sinker": {
        "type": "sls",
        "config": {
            "sls": {
                "project": "k8s-log-****",
                "logstore": "d****"
            }
        }
    }

Contoh konfigurasi JSON

Berikut ini adalah contoh konfigurasi JSON:

{
  "token": "****M5Mjk0NDZhM2EwYzUzOGE0OGMx****",
  "processor": "tensorflow_cpu_1.12",
  "model_path": "oss://examplebucket/exampledir/",
  "oss_endpoint": "oss-cn-beijing.aliyuncs.com",
  "model_entry": "",
  "model_config": "",
  "processor_path": "",
  "processor_entry": "",
  "processor_mainclass": "",
  "processor_type": "",
  "warm_up_data_path": "",
  "runtime": {
    "enable_crash_block": false
  },
  "unit": {
        "size": 2
    },
  "sinker": {
        "type": "MaxCompute",
        "config": {
            "maxcompute": {
                "project": "cl****",
                "table": "te****"
            }
        }
    },
  "cloud": {
    "computing": {
      "instances": [
        {
          "capacity": 800,
          "type": "dedicated_resource"
        },
        {
          "capacity": 200,
          "type": "ecs.c7.4xlarge",
          "spot_price_limit": 3.6
        }
      ],
      "disable_spot_protection_period": true
    },
    "networking": {
            "vpc_id": "vpc-bp1oll7xawovg9t8****",
            "vswitch_id": "vsw-bp1jjgkw51nsca1e****",
            "security_group_id": "sg-bp1ej061cnyfn0b****"
        }
  },
  "autoscaler": {
    "min": 2,
    "max": 5,
    "strategies": {
      "qps": 10
    }
  },
  "storage": [
    {
      "mount_path": "/data_oss",
      "oss": {
        "endpoint": "oss-cn-shanghai-internal.aliyuncs.com",
        "path": "oss://bucket/path/"
      }
    }
  ],
  "confidential": {
        "trustee_endpoint": "xx",
        "decryption_key": "xx"
    },
  "metadata": {
    "name": "test_eascmd",
    "resource": "eas-r-9lkbl2jvdm0puv****",
    "instance": 1,
    "workspace_id": "1405**",
    "gpu": 0,
    "cpu": 1,
    "memory": 2000,
    "gpu_memory": 10,
    "gpu_core_percentage": 10,
    "qos": "",
    "cuda": "11.2",
    "enable_grpc": false,
    "enable_webservice": false,
    "rdma": 1,
    "rpc": {
      "batching": false,
      "keepalive": 5000,
      "io_threads": 4,
      "max_batch_size": 16,
      "max_batch_timeout": 50,
      "max_queue_size": 64,
      "worker_threads": 5,
      "rate_limit": 0,
      "enable_sigterm": false
    },
    "rolling_strategy": {
      "max_surge": 1,
      "max_unavailable": 1
    },
    "eas.termination_grace_period": 30,
    "scheduling": {
      "spread": {
        "policy": "host"
      }
    },
    "resource_rebalancing": false,
    "shm_size": 100
  },
  "features": {
    "eas.aliyun.com/extra-ephemeral-storage": "100Gi",
    "eas.aliyun.com/gpu-driver-version": "tesla=550.127.08"
  },
  "networking": {
    "gateway": "gw-m2vkzbpixm7mo****"
  },
  "containers": [
    {
      "image": "registry-vpc.cn-shanghai.aliyuncs.com/xxx/yyy:zzz",
      "prepare": {
        "pythonRequirements": [
          "numpy==1.16.4",
          "absl-py==0.11.0"
        ]
      },
      "command": "python app.py",
      "port": 8000
    }
  ],
  "dockerAuth": "dGVzdGNhbzoxM*******"
}