Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Deploy AI inference services in ACK clusters

Son Güncelleme:Oct 06, 2026

ACK cloud-native AI paketindeki Arena CLI ve AI iş yükü zamanlamasını kullanarak eğitilmiş modelleri Kubernetes kümelerinde çıkarım hizmetleri olarak dağıtın. ACK; esnek ölçeklendirme, GPU paylaşımı ve performans izleme desteği sunarak operasyonel maliyetleri düşürmenize yardımcı olur. Bu konuda, ACK ve cloud-native AI paketi ile model çıkarım hizmetlerinin nasıl dağıtılacağı açıklanmaktadır.

Önemli

ack-arena içindeki NVIDIA Triton Server ve TensorFlow Serving, üçüncü taraf açık kaynak toplulukları veya şirketler tarafından sunulan ücretsiz açık kaynak bileşenlerdir. Çıkarım modellerini hizmet olarak dağıtmak için ilgili bileşenleri yükleyip sunucuları yapılandırabilir, ardından ilgili model test ve optimizasyon araçlarını kullanabilirsiniz.

Ancak Alibaba Cloud, üçüncü taraf bileşenlerin kararlılığı, hizmet sınırlamaları ve güvenlik uyumluluğu konusunda sorumluluk kabul etmez. Üçüncü taraf açık kaynak topluluklarının veya şirketlerin resmi web sitelerini ve kod barındırma platformlarındaki güncellemeleri yakından takip etmeli, açık kaynak lisanslarını okuyup bunlara uymalısınız. Üçüncü taraf bileşenlerin kullanımından kaynaklanan uygulama geliştirme, bakım, sorun giderme ve güvenlikle ilgili olası risklerden siz sorumlusunuz.

Cloud-native AI paketi aşağıdaki çıkarım hizmeti türlerini destekler.

Çıkarım hizmeti türü

Açıklama

İlgili konular

Paylaşımlı GPU çıkarım görevleri

GPU kullanımını artırmak için Arena'yı kullanarak paylaşımlı bir GPU üzerinde birden çok çıkarım görevi çalıştırın.

Paylaşımlı GPU kaynaklarını kullanmak için bir çıkarım görevi gönderin

TensorFlow model çıkarım hizmetleri

Arena ve TensorFlow Serving kullanarak TensorFlow modellerini çıkarım hizmetleri olarak dağıtın.

TensorFlow model çıkarım hizmeti dağıtın

PyTorch model çıkarım hizmetleri

NVIDIA Triton Inference Server veya TorchServe kullanarak PyTorch modellerini çıkarım hizmetleri olarak dağıtın.

Paylaşımlı GPU kaynaklarını kullanmak için bir çıkarım görevi gönderin

Konteyner tabanlı esnek çıkarım hizmetleri

Esnekliği artırmak ve maliyetleri düşürmek için Elastic Compute Service (ECS) veya Elastic Container Instance üzerinde esnek çıkarım hizmetleri dağıtın.