EAS testten üretime kadar çeşitli senaryoları desteklemek için üç kaynak türü sunar: genel kaynaklar, EAS kaynak grupları ve kaynak kotaları. Bu konuda bir kaynak türünün nasıl seçileceği ile hesaplama kaynaklarının ve zamanlama ilkelerinin nasıl yapılandırılacağı açıklanmaktadır.
Bir kaynak türü seçin
Kaynak türü | Kullanım senaryoları | Faturalama | Özellik karşılaştırması | |
Testler veya dalgalı trafiğe sahip hizmetler (özel kaynakların esnek bir kaynak havuzuyla birleştirilmesi durumunda) için idealdir. |
|
| ||
Özel kaynak grubu | Yüksek güvenlik veya özel kaynaklar gerektiren senaryolar için uygundur. Kıtlığı önlemek amacıyla özel bir kaynak grubu satın alın. |
|
| |
Sanal kaynak grubu | Genel kaynaklar, kaynak kotaları ve özel kaynak grupları gibi birden çok kaynak türünü birleştiren mantıksal bir kaynak grubudur. | Faturalama, zamanlanan ve kullanılan kaynaklara göre yapılır. |
| |
Kaynak kotası | Genel amaçlı bilişim 2,0 | Özel kaynaklar ve kaynak yalıtımı gerektiren üretim senaryoları için uygundur. |
|
|
Büyük modeller veya RDMA yüksek hızlı bağlantılar ve akıllı bilişim için CPFS depolama gibi yüksek performanslı donanım gerektiren senaryolar için idealdir. |
| |||
Öneriler:
Test ve geliştirme: Ön yatırım gerektirmeyen kullandıkça öde faturalaması için genel kaynakları kullanın. Yoğun saatlerde kaynak kullanılabilirliği sınırlı olabilir. Daha fazla bilgi için bkz. Genel kaynaklar yetersizse ne yapmalıyım?
Üretim ortamları (kararlı trafik): Bir EAS özel kaynak grubu veya kaynak kotası (Genel amaçlı bilişim 2,0) kullanın. Bu seçenekler özel kaynaklar ve kararlı performans sağlar; ayrıca maliyetleri düşürmek için abonelik faturalamasını destekler.
Üretim ortamları (dalgalı trafik): Sanal bir kaynak grubu kullanın. Özel bir kaynak grubu veya kaynak kotası temel düzeyi sağlarken, genel kaynaklar trafik artışlarını karşılar.
Büyük modeller veya özelleşmiş donanım: Yüksek performanslı donanıma erişmek için bir kaynak kotası (Lingjun akıllı bilişim) kullanın.
Bir örnek türü seçin
Model boyutunuza ve çıkarım iş yükünüze bağlı olarak bir CPU veya GPU örnek türü seçin.
Spot örnek: Genel kaynakları kullanırken, normal örneklere kıyasla daha düşük bir fiyatla boşta kalan kaynakları kullanmak üzere spot modunu etkinleştirebilir ve bir teklif üst sınırı belirleyebilirsiniz. Spot örnek geri alınabileceğinden, kesintilere tolerans gösteren çıkarım görevleri için en uygun seçenektir.
GPU driver version: Bir GPU örneği seçtiğinizde, belirli bir modelin veya çerçevenin çalışma zamanı gereksinimlerini karşılamak için Features > Resource Configuration bölümünde bir GPU sürücü sürümü belirtebilirsiniz.
Sistem diskini yapılandırın
Sistem diski, çalışma zamanında oluşturulan geçici verileri depolar. Varsayılan yapılandırmalar kaynak türüne göre değişir:
Genel kaynaklar: 30 GiB'lik ücretsiz bir sistem diski sağlanır. 30 GiB'yi aşan kullanım kullandıkça öde esasına göre faturalandırılır.
EAS kaynak grubu veya kaynak kotası: Varsayılan sistem diski boyutu 60 GiB'dir. Kapasiteyi değiştirirseniz, disk ana makineden tahsis edilir.
Çoğaltma sayısını ayarlayın
Çoğaltma sayısı, hizmetinizi çalıştıran örneklerin sayısını ifade eder. Tek noktada arıza oluşmasını önlemek için birden çok çoğaltma yapılandırmanızı öneririz.
Zamanlama ilkelerini yapılandırın
Bir EAS kaynak grubu veya kaynak kotası kullanırken, kaynak zamanlamasını optimize etmek için aşağıdaki ilkeleri kullanabilirsiniz:
Elastic Resource Pool: Kendi kaynaklarınız yetersiz kaldığında, sistem trafik artışlarını karşılamak için kullandıkça öde genel kaynakları kullanarak otomatik olarak dışa doğru ölçeklendirme yapar. İçe doğru ölçeklendirme sırasında, maliyetleri azaltmak için öncelikle genel kaynakları kullanan örnekler serbest bırakılır. Daha fazla bilgi için bkz. Esnek kaynak havuzu.
Specify Node Scheduling: Bu ilke, hizmetin belirtilen düğümlerde çalışmasını kısıtlar. Düğüm belirtilmezse, hariç tutulanlar dışındaki tüm düğümler zamanlama için uygun kabul edilir.
High-priority Resource Rescheduling: Bu özelliği etkinleştirirseniz, sistem maliyetleri optimize etmek için örnekleri genel kaynaklar gibi düşük öncelikli kaynaklardan özel kaynak grubu gibi yüksek öncelikli kaynaklara düzenli olarak taşır. Bu durum, ardışık güncellemelerin örnekleri geçici olarak genel kaynaklara zamanladığı durumlarda veya düzenli örnekleri maliyeti düşürmek için spot örneklere taşımak istediğinizde yararlıdır.
Resource Affinity Scheduling: Çok düğümlü dağıtılmış çıkarım için bir genel kaynak grubundan Lingjun akıllı bilişim kaynaklarını kullanırken, Features bölümünde kaynak yakınlığı zamanlamasını etkinleştirmenizi öneririz. Bu sayede RDMA yüksek hızda bağlantıyı sağlamak için HPN Zone'daki belirttiğiniz hiper düğüm ağ etki alanına örnekler zamanlanır.
GPU paylaşımı ve dağıtılmış çıkarım
GPU paylaşımı: GPU kullanımını artırmak ve dağıtım maliyetlerini azaltmak amacıyla tek bir GPU kartının hesaplama gücünü ve belleğini birden çok hizmet örneği arasında böler. Bu özellik, daha küçük modeller veya düşük çıkarım yüküne sahip iş yükleri için idealdir. GPU paylaşımı yalnızca bir EAS kaynak grubu veya kaynak kotası kullanıldığında etkinleştirilebilir.
Çok düğümlü dağıtılmış çıkarım: Tek bir hizmet örneğini birden çok makineye dağıtır. Bu sayede tek bir düğümün donanım sınırları aşılır ve ultra büyük modellerin dağıtımı ile çalıştırılması desteklenir.
SSS
Kaynak kullanımı ve sınırlamalar
S: Neden 1 vCPU, 2 GB bellekli örnek kullanılamıyor?
Hizmet kararlılığını sağlamak için 1 vCPU, 2 GB bellekli örnek türü kullanılamaz. Sistem bileşenleri her düğümün kaynaklarının bir kısmını tüketir. Daha küçük örneklerde bu durum, hizmetiniz için yetersiz kaynak kalmasına neden olur.
S: PAI-EAS örneği başına model sayısı nasıl tahmin edilir?
Tek bir PAI-EAS örneğine dağıtabileceğiniz model sayısı, her bir modelin CPU çekirdekleri, GPU belleği ve sistem belleği gibi kaynak gereksinimlerine bağlıdır. Önceden tanımlanmış bir sınır yoktur. Modelinizin gerçek ihtiyaçlarına göre bir örnek türü seçmenizi veya farklı modelleri ayrı örneklerde dağıtmanızı öneririz.
S: EAS'te dağıtılabilecek maksimum hizmet sayısı nedir?
Dağıtabileceğiniz maksimum hizmet örneği sayısı, kalan mevcut kaynaklara bağlıdır. Konsolda kaynak grubunuzun makine listesindeki her bir makine için kalan kapasiteyi görüntüleyebilirsiniz. Daha fazla bilgi için bkz. EAS kaynak grubu kullanma.
Görevleri CPU çekirdeklerine göre tahsis ediyorsanız, dağıtabileceğiniz maksimum örnek sayısı (Toplam CPU Çekirdeği - 1) / Örnek başına kullanılan çekirdek sayısı formülüyle hesaplanır.
S: Hangi EAS örneği RTX 4090 ile karşılaştırılabilir?
ecs.gn8ia-2x.8xlarge örneği, RTX 4090'a yakın performans sağlar.
S: Dağıtılan bir model için maksimum eşzamanlılık nedir?
Bir model hizmeti için maksimum eşzamanlılık; model, kullanım senaryosu ve kaynak yapılandırması dahil olmak üzere birden çok faktöre bağlıdır. Hizmetinizin performansını ölçmek için yük testi yapmanızı öneririz.
Özel kaynak grubu yönetimi
S: Özel kaynak grubum neden uzun süre "Dışa Ölçeklendiriliyor" durumunda kalıyor?
Bu durum genellikle mevcut bölgedeki yetersiz kapasiteden kaynaklanır. Abonelik örneklerinde, yetersiz kapasite nedeniyle oluşturma başarısız olursa sistem otomatik olarak bir iade siparişi oluşturur ve ödeme tutarını orijinal ödeme yöntemine iade eder.
S: Bir abonelik örneği nasıl silinir?
Artık ihtiyaç duymadığınız EAS abonelik tabanlı özel makinelerin aboneliğini iptal etmek için Alibaba Cloud Abonelik İptali Kaynakları sayfasına gidin. Aşağıdaki parametreleri yapılandırın:
Tür: Partial refund seçeneğini belirleyin.
Ürün adı: EAS Dedicated Machine Subscription seçeneğini belirleyin.
Aboneliğini iptal etmek istediğiniz kaynağı bulmak için Search düğmesine tıklayın. Ardından, Actions sütununda Unsubscribe resource seçeneğine tıklayın ve işlemi tamamlamak için ekrandaki talimatları izleyin.
S: Abonelik iptalinden sonra örnek verileri saklanır mı?
Hayır, hizmet örneği verileri saklanmaz.
Sistem diski yönetimi
S: Sistem diskinin boyutu nasıl artırılır?
Bir hizmet için sistem diskini aşağıdaki yollardan biriyle yapılandırabilir veya genişletebilirsiniz:
Konsol yapılandırması: Bir hizmet oluştururken veya güncellerken, bölümünde Configure a system disk altındaki Sistem Diski boyutunu ayarlayın.
-
JSON yapılandırması: Hizmetin JSON yapılandırma dosyasında,
metadataalanınındiskdeğerini değiştirin."metadata": {"disk": "40Gi"}
Özel bir kaynak grubu kullanıyorsanız, yapılandırılan sistem diski boyutu düğümün sistem diski boyutunu aşamaz. Daha büyük bir sistem diskine ihtiyacınız varsa, mevcut düğümü serbest bırakmanız ve daha büyük bir sistem diskine sahip bir düğümü yeniden satın almanız gerekir.