GPU pod capacity reservation - Container Compute Service

Capacity reservation berbasis Pod menyediakan kepastian resource untuk beban kerja elastis. GPU pod capacity reservation tidak terikat pada kluster tertentu—cukup tentukan atribut seperti spesifikasi pod, zona ketersediaan, dan durasi reservasi saat pembelian, dan sistem menjamin pod yang sesuai dapat diluncurkan sesuai permintaan dalam hitungan menit dengan harga lebih rendah dibandingkan pod pay-as-you-go.

Fitur

Kepastian resource: Selama periode berlaku GPU pod capacity reservation, sistem menjamin resource tersebut dapat diluncurkan secara berhasil.
Penghematan biaya: Setelah pod diluncurkan, penagihan dilakukan berdasarkan tarif pay-as-you-go. Saat pod tidak berjalan, Anda dikenai tarif capacity reservation yang lebih rendah. Anda dapat meluncurkan dan menghentikan pod sesuai kebutuhan bisnis.
Fleksibilitas resource: Anda dapat membuat GPU pod capacity reservation dengan spesifikasi resource berbeda untuk memenuhi berbagai kebutuhan bisnis.

Catatan

GPU pod capacity reservation tidak mendukung pod tipe komputasi BestEffort.
GPU pod capacity reservation kompatibel dengan Savings Plans yang memiliki atribut yang sesuai, seperti wilayah dan tipe.
Pembuatan GPU pod capacity reservation tergantung pada ketersediaan inventaris.

Kasus penggunaan

Permintaan resource periodik untuk beban kerja real-time: Bisnis Anda memiliki pola permintaan resource harian atau mingguan yang dapat diprediksi, dan tugas harus diselesaikan secara real-time. Contohnya, layanan inferensi real-time.
Lonjakan tiba-tiba dalam permintaan resource: Bisnis Anda memiliki kebutuhan komputasi real-time yang tidak terduga yang memerlukan pengiriman dan penskalaan resource secara cepat untuk menghindari dampak negatif. Contohnya, lonjakan yang dipicu oleh peristiwa viral dalam bisnis internet.

Contoh penggunaan dan penagihan

GPU pod capacity reservation menggunakan model penagihan pay-as-you-go. Selama periode aktif capacity reservation, biaya Anda mencakup:

Tarif pay-as-you-go untuk bagian capacity reservation yang tidak digunakan.
Tarif pay-as-you-go untuk pod yang telah diluncurkan.

Contoh berikut menggambarkan alur kerja dan penagihan pada berbagai tahap, menggunakan skenario dengan dua GPU pod capacity reservation dan dua pod pay-as-you-go (Pod1 dan Pod2).

Tahap 1: Pembelian dan pembuatan capacity reservation

Sebelum memulai, aktifkan reservasi kapasitas GPU.

Di Container Service console, buka Capacity Reservations > Create GPU capacity reservation. Konfigurasikan parameter dan klik Create capacity reservation.

Parameter	Deskripsi
Nama reservasi kapasitas	Nama kustom untuk Capacity Reservation.
Tipe reservasi	Tipe GPU.
Wilayah	Wilayah tempat Anda ingin memesan resource.
Zona ketersediaan	Zona ketersediaan tempat Anda ingin memesan resource.
Spesifikasi resource	Spesifikasi untuk capacity reservation. Pilih jumlah GPU, dan sistem secara otomatis mencocokkan spesifikasi vCPU dan memori tertinggi yang tersedia untuk jumlah GPU tersebut.
Mode reservasi	Reservasi pod (tidak dapat diubah).
Model penagihan	Pay-as-you-go (tidak dapat diubah).
Jumlah	Jumlah GPU pod capacity reservation untuk spesifikasi resource yang ditentukan.

Perhitungan penagihan untuk tahap ini adalah sebagai berikut:

Tahap	Biaya	Deskripsi
Tahap 1	Tidak ada	Tidak ada reservasi kapasitas yang dibuat.

Tahap 2–6: Periode reservasi aktif

Selama periode aktif, Anda dapat membuat instans pod kapan saja selama konfigurasinya tidak melebihi spesifikasi yang dipesan. Sistem menjamin peluncuran pod berhasil, dan capacity reservation yang sesuai dimanfaatkan. GPU (tipe dan jumlah), vCPU, dan memori pod tidak boleh melebihi konfigurasi yang dipesan. Pencocokan yang berhasil akan sepenuhnya memanfaatkan reservasi tersebut. Misalnya, jika Anda membeli reservasi untuk satu GPU, 10 vCPU, dan 80 GB memori lalu membuat pod dengan satu GPU, satu vCPU, dan 2 GB memori, reservasi tersebut tetap dianggap sepenuhnya dimanfaatkan. Ketika pod dihentikan, capacity reservation kembali tersedia.

Perhitungan penagihan untuk tahap-tahap ini adalah sebagai berikut:

Tahap	Biaya
Tahap 2	2 × harga satuan capacity reservation × Durasi Tahap 2
Tahap 3	1 × harga satuan capacity reservation × Durasi Tahap 3 + harga satuan pay-as-you-go Pod1 × Durasi Tahap 3
Tahap 4	harga satuan pay-as-you-go Pod1 × Durasi Tahap 4 + harga satuan pay-as-you-go Pod2 × Durasi Tahap 4
Tahap 5	1 × harga satuan capacity reservation × Durasi Tahap 5 + harga satuan pay-as-you-go Pod2 × Durasi Tahap 5
Tahap 6	2 × harga satuan capacity reservation × Durasi Tahap 6

Harga satuan capacity reservation adalah biaya pay-as-you-go untuk reservasi yang tidak digunakan. Harga satuan pay-as-you-go Pod1 dan Pod2 adalah biaya standar pay-as-you-go untuk pod tersebut setelah diluncurkan.

Tahap 7: Kedaluwarsa reservasi

Ketika capacity reservation kedaluwarsa, sistem secara otomatis melepasnya.

Spesifikasi

Setelah peningkatan spesifikasi capacity reservation, tipe dan spesifikasi GPU berikut didukung:

Tipe GPU	GPU	vCPU	Memori (GiB)
L20 (GN8IS)	1 (memori video 48 GB)	16	128
	2 (memori video 48 GB × 2)	32	230
	4 (memori video 48 GB × 4)	64	460
	8 (memori video 48 GB × 8)	128	920
T4	1 (memori video 16 GB)	24	90
T4	2 (memori video 16 GB × 2)	48	180
A10	1 (memori video 24 GB)	16	60
	2 (memori video 24 GB × 2)	32	120
	4 (memori video 24 GB × 4)	64	240
	8 (memori video 24 GB × 8)	128	480
P16EN	1 (memori video 96 GB)	10	80
	2 (memori video 96 GB × 2)	22	225
	4 (memori video 96 GB × 4)	46	450
	8 (memori video 96 GB × 8)	92	900
	16 (memori video 96 GB × 16)	184	1800
GU8TF	1 (memori video 96 GB)	16	128
	2 (memori video 96 GB × 2)	46	230
	4 (memori video 96 GB × 4)	92	460
	8 (memori video 96 GB × 8)	184	920
GU8TEF	1 (memori video 141 GB)	22	225
	2 (memori video 141 GB × 2)	46	450
	4 (memori video 141 GB × 4)	92	900
	8 (memori video 141 GB × 8)	184	1800
L20X (GX8SF)	1 (memori video 141 GB)	22	225
	2 (memori video 141 GB × 2)	46	450
	4 (memori video 141 GB × 4)	92	900
	8 (memori video 141 GB × 8)	184	1800

Aturan pemanfaatan

Agar sebuah pod dapat memanfaatkan capacity reservation, semua kondisi berikut harus terpenuhi:

Tipe GPU pod harus persis sama dengan tipe GPU yang dipesan. Misalnya, baik reservasi maupun pod menggunakan tipe GPU L20.
Jumlah GPU pod harus persis sama dengan jumlah GPU yang dipesan. Misalnya, baik reservasi maupun pod untuk satu GPU.
Jumlah vCPU pod harus kurang dari atau sama dengan jumlah vCPU yang dipesan.
Jumlah memori pod harus kurang dari atau sama dengan jumlah memori yang dipesan.

Skenario berikut mengasumsikan bahwa tipe GPU pod sesuai dengan tipe GPU yang dipesan:

Prinsip pemanfaatan

Skenario

Hasil dan deskripsi

Pencocokan eksak atau kompatibilitas ke bawah

Reservasi: 1 × (1 GPU, 16 vCPU, 128 GB).

pod yang dibuat: 1 × (1 GPU, 8 vCPU, 16 GB).

Hasil: $✓$ Pemanfaatan berhasil.

Deskripsi: Kebutuhan resource pod (jumlah GPU, vCPU, dan memori) tidak melebihi spesifikasi yang dipesan, sehingga pencocokan berhasil dan reservasi dimanfaatkan sepenuhnya.

Spesifikasi terkecil terlebih dahulu

Reservasi:

1 × (1 GPU, 10 vCPU, 80 GB).
1 × (1 GPU, 16 vCPU, 128 GB).

pod yang dibuat: 1 × (1 GPU, 5 vCPU, 30 GB).

Hasil: $✓$ Reservasi untuk 1 GPU, 10 vCPU, dan 80 GB dimanfaatkan terlebih dahulu.

Deskripsi: Untuk memaksimalkan efisiensi resource, sistem memprioritaskan reservasi terkecil yang tersedia dan sesuai dengan kebutuhan pod.

First-In, First-Out (FIFO)

Reservasi: 4 × (1 GPU, 10 vCPU, 80 GB), dibuat pada waktu berbeda.

pod yang dibuat: 4 × (1 GPU, 5 vCPU, 30 GB).

Hasil: $✓$ Keempat pod memanfaatkan keempat reservasi sesuai urutan pembuatan reservasi, dari yang paling awal hingga paling akhir.

Deskripsi: Untuk reservasi dengan spesifikasi identik, prinsip FIFO diterapkan.

Atomisitas spesifikasi multi-GPU (tidak dapat dibagi)

Reservasi: 1 × (4 GPU, 46 vCPU, 450 GB).

pod yang dibuat: 4 × (1 GPU, 10 vCPU, 60 GB).

Hasil: $\times$ Reservasi tidak dimanfaatkan.

Deskripsi: Reservasi multi-GPU bersifat atomik dan tidak dapat dibagi untuk memenuhi beberapa pod yang lebih kecil. Keempat pod ini dibuat sebagai instans pay-as-you-go.

Pencocokan spesifikasi campuran

Reservasi:

1 × (2 GPU, 22 vCPU, 225 GB).
1 × (4 GPU, 46 vCPU, 450 GB).

pod yang dibuat:

2 × (1 GPU, 12 vCPU, 60 GB).
2 × (2 GPU, 20 vCPU, 120 GB).

Hasil: $\times$ Hanya satu pod dengan 2 GPU, 20 vCPU, dan 120 GB yang berhasil memanfaatkan reservasi untuk 2 GPU, 22 vCPU, dan 225 GB.

Deskripsi: Pod lainnya tidak dapat dicocokkan dengan reservasi 4-GPU yang tersisa dan karena itu dibuat sebagai instans pay-as-you-go.

Pencocokan dinamis real-time

Pod pay-as-you-go yang sudah ada: 1 × (1 GPU, 5 vCPU, 30 GB)

Reservasi baru yang dibeli: 1 × (1 GPU, 10 vCPU, 80 GB)

Hasil: $✓$ Setelah reservasi baru berhasil dibuat, reservasi tersebut langsung dan otomatis mencocokkan serta memanfaatkan pod pay-as-you-go yang sudah ada.

Deskripsi: Capacity reservation dapat dimanfaatkan oleh pod pay-as-you-go yang sudah ada dan memenuhi kriteria pencocokan.