Instans CPU dasar umumnya mencukupi untuk skenario komputasi serbaguna di Function Compute, seperti layanan web dan pemrosesan data. Namun, untuk skenario yang memerlukan komputasi paralel skala besar atau pembelajaran mendalam—misalnya pemrosesan audio dan video, inferensi artificial intelligence (AI), serta pengeditan gambar—instans yang dipercepat GPU dapat meningkatkan efisiensi komputasi secara signifikan.
Untuk instans GPU, Function Compute menyediakan tiga tipe instans: Elastic Instances, Provisioned Instances, dan Provisioned + Elastic Instances (Mixed Mode). Anda dapat memilih tipe dan spesifikasi instans yang paling sesuai dengan kebutuhan bisnis Anda guna memastikan operasi yang stabil sekaligus memaksimalkan pemanfaatan sumber daya dan kinerja.
Pemilihan tipe instans
Fungsi CPU hanya mendukung Elastic Instances. Fungsi GPU mendukung ketiga tipe instans tersebut dan dapat dialihkan kapan saja tanpa gangguan layanan.
Panduan pengambilan keputusan
Gunakan pertanyaan berikut untuk menentukan tipe instans yang tepat:
-
Apakah workload Anda sensitif terhadap latensi dan bersifat interaktif? Misalnya, chatbot real-time atau API generasi gambar. Jika ya, gunakan Provisioned Instances untuk menghilangkan cold start dan menjamin waktu respons.
-
Apakah traffic Anda mengikuti garis dasar yang dapat diprediksi dengan lonjakan sesekali? Jika ya, gunakan Mixed Mode (Provisioned + Elastic Instances) untuk mempertahankan kapasitas garis dasar yang stabil sekaligus menyerap lonjakan traffic.
-
Apakah traffic Anda bervariasi, bersifat bursty, atau frekuensi rendah? Jika ya, gunakan Elastic Instances dan bayar hanya untuk penggunaan aktif.
Perbandingan tipe instans
| Elastic Instance | Provisioned Instance | Provisioned + Elastic (Mixed Mode) | |
|---|---|---|---|
| Berlaku untuk | Fungsi CPU (satu-satunya opsi); Fungsi GPU | Hanya Fungsi GPU | Hanya Fungsi GPU |
| Cold start | Ya, jika jumlah minimum instans = 0. Atur jumlah minimum instans menjadi 1 atau lebih untuk mengalokasikan sumber daya terlebih dahulu dan mengurangi cold start. | Tidak ada. Semua permintaan dalam kapasitas yang dialokasikan mendapatkan respons real-time. | Sebagian. Permintaan dalam kolam provisioned tidak mengalami cold start; instans scale-out elastis mengalaminya. |
| Model penagihan | pay-as-you-go | Langganan | subscription (bagian provisioned) + pay-as-you-go (bagian elastis) |
| Paling cocok untuk | Traffic variabel atau frekuensi rendah; workload yang sensitif terhadap biaya | Workload sensitif terhadap latensi atau traffic stabil | Workload dengan garis dasar yang dapat diprediksi dan lonjakan traffic tak terduga |
Elastic Instance
Elastic Instances diskalakan secara otomatis sesuai volume permintaan dan dilepas saat idle. Mengatur jumlah minimum instans menjadi 0 memberi Anda model pay-as-you-go murni—Anda hanya membayar untuk penggunaan aktif.
Perilaku cold start: Cold start terjadi ketika instans diskalakan dari nol. Untuk mengurangi latensi cold start, atur jumlah minimum instans menjadi 1 atau lebih. Hal ini mengalokasikan sumber daya elastis terlebih dahulu sehingga instans siap menangani permintaan masuk dengan cepat.
Penagihan: Biaya mencakup tagihan untuk instans dalam status aktif dan Shallow Hibernation. Dalam Shallow Hibernation, sumber daya vCPU tidak dikenai biaya dan sumber daya GPU ditagih sebesar seperlima dari tarif aktif. Jika Anda mengatur jumlah minimum instans menjadi 1 atau lebih, aktifkan Shallow Hibernation untuk mengurangi biaya idle.
Gunakan Elastic Instances ketika:
-
Traffic Anda bervariasi, bersifat bursty, atau frekuensi rendah
-
Anda ingin membayar hanya untuk penggunaan aktual
-
Workload Anda dapat mentolerir latensi cold start sesekali (atau Anda menguranginya dengan jumlah instans minimum)
Provisioned Instance
Provisioned Instances hanya berlaku untuk Fungsi GPU. Beli Provisioned Resource Pool terlebih dahulu, lalu alokasikan jumlah dan tipe instans tertentu ke fungsi Anda. Hal ini menghilangkan cold start dalam kapasitas yang dialokasikan dan memberi Anda biaya tetap yang dapat diprediksi.
Setelah membeli kolam sumber daya provisioned bulanan, platform menyediakan kuota tambahan instans boost tanpa biaya tambahan.Setelah membeli kolam sumber daya provisioned bulanan, platform mengalokasikan kuota tertentu instans boost selain instans provisioned berbasis subscription Anda. Kuota instans boost ini tidak dikenai biaya.
Perilaku cold start: Tidak ada. Semua permintaan dalam kapasitas yang dialokasikan menerima respons real-time. Jumlah maksimum permintaan konkuren = (Jumlah Provisioned Instances yang dialokasikan) × (konkurensi instans) + kuota instans boost+ kuota instans boost. Permintaan yang melebihi batas ini akan dithrottle.
Penagihan: Total biaya subscription untuk semua Provisioned Resource Pools yang dibeli. Instans boost tidak dikenai biaya.. Kuota instans boost tidak dikenai biaya
Provisioned Instances hanya tersedia untuk Fungsi GPU pada seri Ada, Ada.2, Ada.3, Hopper, atau Xpu.1.
Gunakan Provisioned Instances ketika:
-
Workload Anda sensitif terhadap latensi dan bersifat interaktif (misalnya, chatbot real-time atau API generasi gambar)
-
Traffic Anda stabil dan dapat diprediksi
-
Anda memerlukan kapasitas terjamin dan waktu respons konsisten
Provisioned + Elastic Instances (Mixed Mode)
Mixed Mode hanya berlaku untuk Fungsi GPU. Mode ini menggabungkan Provisioned dan Elastic Instances: kolam provisioned menangani traffic steady-state terlebih dahulu, dan instans elastis secara otomatis melakukan scale-out ketika permintaan melebihi kapasitas provisioned. Hal ini memberi Anda garis dasar terjamin dengan fleksibilitas untuk menyerap lonjakan traffic mendadak.
Perilaku cold start: Sebagian. Permintaan yang ditangani dalam kolam provisioned tidak mengalami cold start. Permintaan yang memicu auto-scaling ke instans elastis baru mengalami cold start.
Penagihan: Bagian provisioned ditagih berdasarkan kuota Provisioned Resource Pool yang telah Anda beli. Instans elastis yang diluncurkan melebihi kuota provisioned ditagih berdasarkan model pay-as-you-go, dengan tarif yang sama seperti instans elastis aktif dan Shallow Hibernation.
Gunakan Mixed Mode ketika:
-
Traffic Anda memiliki garis dasar yang dapat diprediksi tetapi sesekali mengalami lonjakan
-
Anda menginginkan kinerja stabil untuk beban normal dengan kemampuan menangani traffic burst
-
Anda memerlukan keseimbangan antara prediktabilitas biaya dan fleksibilitas scaling
Spesifikasi instans
Instans CPU
vCPU (core)
Ukuran memori (MB)
Ukuran maksimum paket kode (GB)
Durasi eksekusi fungsi maksimum (s)
Ukuran disk maksimum (GB)
Bandwidth maksimum (Gbps)
0,05 hingga 16
Catatan: Nilai harus merupakan kelipatan 0,05.
128 hingga 32768
Catatan: Nilai harus merupakan kelipatan 64.
10
86400
10
Nilai valid:
512 MB. Ini adalah nilai default.
10 GB.
5
CatatanRasio vCPU terhadap ukuran memori (dalam GB) harus berada di antara 1:1 hingga 1:4.
Spesifikasi perangkat keras instans GPU
Tipe instans
Memori GPU
Daya komputasi FP16
Daya komputasi FP32
Maksimum kartu per instans
fc.gpu.tesla.1
16 GB
65 TFLOPS
8 TFLOPS
4 kartu
fc.gpu.ampere.1
24 GB
125 TFLOPS
31,2 TFLOPS
8 kartu
fc.gpu.ada.1
48 GB
119 TFLOPS
60 TFLOPS
fc.gpu.ada.2
24 GB
166 TFLOPS
83 TFLOPS
fc.gpu.ada.3
48 GB
148 TFLOPS
73,5 TFLOPS
fc.gpu.hopper.1
96 GB
148 TFLOPS
44 TFLOPS
fc.gpu.hopper.2
141 GB
148 TFLOPS
44 TFLOPS
fc.gpu.blackwell.1
32 GB
104,8 TFLOPS
104,8 TFLOPS
fc.gpu.xpu.1
96 GB
123 TFLOPS
61,5 TFLOPS
16 kartu
Aturan konfigurasi vCPU dan memori untuk instans GPU
CatatanRumus untuk sumber daya multi-kartu: Total vCPU = vCPU per kartu × Jumlah kartu, dan Total memori = Memori per kartu × Jumlah kartu.
Tipe instans
vCPU (per kartu)
Rentang memori per kartu
Penambahan Memori
fc.gpu.tesla.1
4 core
4 hingga 16 GB (4.096 hingga 16.384 MB)
4 GB (4.096 MB)
8 core
8 hingga 32 GB (8.192 hingga 32.768 MB)
16 core
16 hingga 64 GB (16.384 hingga 65.536 MB)
fc.gpu.ampere.1
8 core
8 hingga 32 GB (8.192 hingga 32.768 MB)
16 core
16 hingga 32 GB (16.384 hingga 32.768 MB)
fc.gpu.ada.1
fc.gpu.ada.2
fc.gpu.ada.3
4 core
16 hingga 32 GB (16.384 hingga 32.768 MB)
8 core
32 hingga 64 GB (32.768 hingga 65.536 MB)
16 core
64 hingga 120 GB (65.536 hingga 122.880 MB)
fc.gpu.hopper.1
4 core
16 hingga 32 GB (16.384 hingga 32.768 MB)
8 core
32 hingga 64 GB (32.768 hingga 65.536 MB)
16 core
64 hingga 96 GB (65.536 hingga 98.304 MB)
24 core
96 hingga 120 GB (98.304 hingga 122.880 MB)
fc.gpu.hopper.2
4 core
16 hingga 32 GB (16.384 hingga 32.768 MB)
8 core
32 hingga 64 GB (32.768 hingga 65.536 MB)
16 core
64 hingga 128 GB (65.536 hingga 131.072 MB)
24 core
96 hingga 248 GB (98.304 hingga 253.952 MB)
fc.gpu.blackwell.1
4 core
16 hingga 32 GB (16.384 hingga 32.768 MB)
8 core
32 hingga 64 GB (32.768 hingga 65.536 MB)
16 core
64 hingga 120 GB (65.536 hingga 122.880 MB)
24 core
96 hingga 184 GB (98.304 hingga 188.416 MB)
fc.gpu.xpu.1
4 core
16 hingga 48 GB (16.384 hingga 49.152 MB)
8 core
32 hingga 96 GB (32.768 hingga 98.304 MB)
12 core
48 hingga 120 GB (49.152 hingga 122.880 MB)
Instans yang dipercepat GPU juga mendukung spesifikasi sumber daya berikut.
Ukuran image (GB)
Durasi eksekusi fungsi maksimum (s)
Ukuran disk
Bandwidth maksimum (Gbps)
ACR Enterprise Edition (Standard Edition): 15
ACR Enterprise Edition (Premium Edition): 15
ACR Enterprise Edition (Basic Edition): 15
ACR Personal Edition (Free): 15
86400
512 MB
10 GB hingga 200 GB, dengan penambahan 10 GB
5
CatatanMengatur tipe instans ke g1 sama dengan mengaturnya ke fc.gpu.tesla.1.
Instans yang dipercepat GPU seri Tesla didukung di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Jepang (Tokyo), AS (Virginia), dan Singapura.
Instans yang dipercepat GPU seri Ada didukung di wilayah berikut: Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Shenzhen), Singapura, dan AS (Virginia).
Hubungan antara spesifikasi instans GPU dan konkurensi instans
GPU Ada.1 memiliki memori 48 GB, dan GPU seri Tesla memiliki memori 16 GB. Function Compute mengalokasikan seluruh memori kartu GPU ke satu Kontainer GPU. Karena kuota kartu GPU default maksimum adalah 30 per wilayah, maksimal 30 Kontainer GPU dapat berjalan secara simultan di wilayah tersebut.
Jika konkurensi instans fungsi GPU adalah 1, fungsi tersebut dapat memproses hingga 30 permintaan inferensi secara konkuren di suatu wilayah.
Jika konkurensi instans fungsi GPU adalah 5, fungsi tersebut dapat memproses hingga 150 permintaan inferensi secara konkuren di suatu wilayah.
Konkurensi single-instance
Untuk meningkatkan pemanfaatan sumber daya, Anda dapat mengonfigurasi konkurensi single-instance berdasarkan kebutuhan sumber daya aplikasi Anda. Dalam konfigurasi ini, beberapa tugas dapat berjalan pada satu instans dan berbagi sumber daya CPU serta memori, yang meningkatkan pemanfaatan sumber daya secara keseluruhan. Untuk informasi lebih lanjut, lihat Konfigurasikan konkurensi instans.
Durasi eksekusi untuk single-instance, single-concurrency
Ketika sebuah instans mengeksekusi satu permintaan, durasi eksekusi diukur dari saat permintaan tiba di instans hingga eksekusi permintaan selesai.
Durasi eksekusi untuk single-instance, multiple-concurrency
Ketika sebuah instans mengeksekusi beberapa permintaan secara konkuren, durasi eksekusi diukur dari waktu permintaan pertama tiba di instans hingga permintaan terakhir selesai. Penggunaan ulang sumber daya ini membantu menghemat biaya.
Referensi
Untuk informasi lebih lanjut tentang metode penagihan dan item yang dapat ditagih Function Compute, lihat Ikhtisar penagihan.
Saat menggunakan API untuk membuat fungsi, Anda dapat menggunakan parameter
instanceTypeuntuk menentukan tipe instans. Untuk informasi lebih lanjut, lihat CreateFunction.Untuk mempelajari cara menentukan tipe dan spesifikasi instans di Konsol, lihat Pembuatan fungsi.