Temel CPU örnekleri, web hizmetleri ve veri işleme gibi Function Compute üzerindeki genel amaçlı hesaplama senaryoları için genellikle yeterlidir. Ancak ses ve video işleme, yapay zeka (AI) çıkarımı ve görüntü düzenleme gibi büyük ölçekli paralel hesaplama veya derin öğrenme gerektiren senaryolarda GPU hızlandırmalı örnekler hesaplama verimliliğini önemli ölçüde artırabilir.
GPU örnekleri için Function Compute üç farklı örnek türü sunar: esnek örnekler, ayrılmış örnekler ve karma mod (ayrılmış + esnek). İş gereksinimlerinize en uygun örnek türünü ve teknik özelliklerini seçerek kaynak kullanımını ve performansı en üst düzeye çıkarırken kararlı çalışmayı sağlayabilirsiniz.
Örnek türü seçimi
CPU işlevleri yalnızca Esnek Örnekleri destekler. GPU işlevleri ise hizmet kesintisi olmadan istediğiniz zaman arasında geçiş yapabileceğiniz üç örnek türünü destekler.
Karar verme kılavuzu
Doğru örnek türünü bulmak için aşağıdaki soruları kullanın:
İş yükünüz gecikmeye duyarlı ve etkileşimli mi? Örneğin, gerçek zamanlı bir sohbet botu veya görüntü oluşturma API'si. Evet ise soğuk başlatmaları ortadan kaldırmak ve yanıt sürelerini garanti etmek için Ayrılmış Örnekleri kullanın.
Trafiğiniz öngörülebilir bir temel seviyeye sahip olup ara sıra ani artışlar gösteriyor mu? Evet ise sabit temel kapasiteyi korurken trafik patlamalarını absorbe etmek için Karma Mod (Ayrılmış + Esnek Örnekler) kullanın.
Trafiğiniz değişken, patlamalı veya düşük frekanslı mı? Evet ise yalnızca aktif kullanım için ödeme yapmak üzere Esnek Örnekleri kullanın.
Örnek türü karşılaştırması
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Esnek Örnek
Esnek Örnekler istek hacmine göre otomatik olarak ölçeklenir ve boşta kaldıklarında serbest bırakılır. Minimum örnek sayısını 0 olarak ayarlamak size saf bir kullandıkça öde modeli sunar; yalnızca aktif kullanım için ödeme yaparsınız.
Soğuk başlatma davranışı: Örnekler sıfırdan ölçeklendiğinde soğuk başlatmalar gerçekleşir. Soğuk başlatma gecikmesini azaltmak için minimum örnek sayısını 1 veya daha yüksek olarak ayarlayın. Bu işlem esnek kaynakları önceden tahsis ederek örneklerin gelen istekleri hızlıca karşılamaya hazır olmasını sağlar.
Faturalandırma: Maliyetler hem aktif durumdaki hem de Sığ Uyku durumundaki örneklerin ücretlerini içerir. Sığ Uyku durumunda vCPU kaynaklarından ücret alınmaz ve GPU kaynakları aktif oranının beşte biri üzerinden faturalandırılır. Minimum örnek sayısını 1 veya daha yüksek olarak ayarlarsanız boşta kalma maliyetlerini düşürmek için Sığ Uykuyu etkinleştirin.
Esnek Örnekleri şu durumlarda kullanın:
Trafiğiniz değişken, patlamalı veya düşük frekanslıdır
Yalnızca gerçek kullanım için ödeme yapmak istersiniz
İş yükünüz aralıklı soğuk başlatma gecikmesine tolerans gösterebilir (veya bunu minimum örnek sayısı ile azaltırsınız)
Ayrılmış Örnek
Ayrılmış Örnekler yalnızca GPU İşlevleri için geçerlidir. Önceden bir özel kaynak havuzu (eski adıyla yerleşik kaynak havuzu) satın alın, ardından işlevinize belirli sayıda ve türde örnek tahsis edin. Bu yaklaşım tahsis edilen kapasite dahilinde soğuk başlatmaları ortadan kaldırır ve öngörülebilir, sabit maliyetler sunar.
Soğuk başlatma davranışı: Yok. Tahsis edilen kapasiteniz içindeki tüm istekler gerçek zamanlı yanıt alır. Maksimum eşzamanlı istek sayısı = (Tahsis Edilen Ayrılmış Örnek Sayısı) × (Örnek Eşzamanlılığı). Bu sınırı aşan istekler kısıtlanır.
Faturalandırma: Satın alınan tüm özel kaynak havuzlarının toplam abonelik ücreti .
Ayrılmış Örnekler yalnızca Ada, Ada.2, Ada.3, Hopper veya Xpu.1 serilerindeki GPU İşlevleri için kullanılabilir.
Ayrılmış Örnekleri şu durumlarda kullanın:
İş yükünüz gecikmeye duyarlı ve etkileşimlidir (örneğin, gerçek zamanlı bir sohbet botu veya görüntü oluşturma API'si)
Trafiğiniz istikrarlı ve öngörülebilirdir
Garantili kapasiteye ve tutarlı yanıt sürelerine ihtiyacınız vardır
Ayrılmış + Esnek Örnekler (Karma Mod)
Karma Mod yalnızca GPU İşlevleri için geçerlidir. Ayrılmış ve Esnek Örnekleri birleştirir: özel kaynak havuzu önce kararlı durum trafiğini işler, istekler özel kaynak havuzunun kapasitesini aştığında esnek örnekler otomatik olarak dışa doğru ölçeklenir. Bu yaklaşım size ani trafik patlamalarını absorbe etme esnekliğiyle birlikte garantili bir temel seviye sunar.
Soğuk başlatma davranışı: Kısmi. Özel kaynak havuzu içinde işlenen isteklerde soğuk başlatma yoktur. Yeni esnek örneklere otomatik ölçeklendirmeyi tetikleyen isteklerde soğuk başlatma yaşanır.
Faturalandırma: Ayrılmış kısım satın aldığınız özel kaynak havuzu kotanızdan düşülür. Özel kaynak havuzu kotasının ötesinde başlatılan esnek örnekler, aktif ve Sığ Uyku esnek örnekleriyle aynı oranlarda kullandıkça öde esasına göre faturalandırılır.
Karma Modu şu durumlarda kullanın:
Trafiğiniz öngörülebilir bir temele sahiptir ancak ara sıra ani artışlar gösterir
Normal yük için istikrarlı performans isterken patlama trafiğini işleyebilme yeteneğine sahip olmak istersiniz
Maliyet öngörülebilirliği ile ölçeklendirme esnekliği arasında denge kurmanız gerekir
Örnek teknik özellikleri
-
CPU örnekleri
vCPU (çekirdek)
Bellek boyutu (MB)
Maksimum kod paketi boyutu (GB)
Maksimum işlev yürütme süresi (sn)
Maksimum disk boyutu (GB)
Maksimum bant genişliği (Gbps)
0,05 ila 16
Not: Değer 0,05'in katı olmalıdır.
128 ila 32768
Not: Değer 64'ün katı olmalıdır.
10
86400
10
Geçerli değerler:
512 MB. Bu varsayılan değerdir.
10 GB.
5
NotvCPU ile bellek boyutu (GB cinsinden) oranı 1:1 ile 1:4 arasında olmalıdır.
-
GPU örnek donanım teknik özellikleri
Örnek türü
GPU belleği
FP16 hesaplama gücü
FP32 hesaplama gücü
Örnek başına maksimum kart sayısı
fc.gpu.tesla.1
16 GB
65 TFLOPS
8 TFLOPS
4 kart
fc.gpu.ampere.1
24 GB
125 TFLOPS
31,2 TFLOPS
8 kart
fc.gpu.ada.1
48 GB
119 TFLOPS
60 TFLOPS
fc.gpu.ada.2
24 GB
166 TFLOPS
83 TFLOPS
fc.gpu.ada.3
48 GB
148 TFLOPS
73,5 TFLOPS
fc.gpu.hopper.1
96 GB
148 TFLOPS
44 TFLOPS
fc.gpu.hopper.2
141 GB
148 TFLOPS
44 TFLOPS
fc.gpu.blackwell.1
32 GB
104,8 TFLOPS
104,8 TFLOPS
fc.gpu.xpu.1
96 GB
123 TFLOPS
61,5 TFLOPS
16 kart
-
GPU örnekleri için vCPU ve bellek yapılandırma kuralları
NotÇoklu kart kaynakları için formül: Toplam vCPU = Kart başına vCPU × Kart sayısı ve Toplam bellek = Kart başına bellek × Kart sayısı.
Örnek türü
vCPU (kart başına)
Kart başına bellek aralığı
Bellek artışı
fc.gpu.tesla.1
4 çekirdek
4 ila 16 GB (4.096 ila 16.384 MB)
4 GB (4.096 MB)
8 çekirdek
8 ila 32 GB (8.192 ila 32.768 MB)
16 çekirdek
16 ila 64 GB (16.384 ila 65.536 MB)
fc.gpu.ampere.1
8 çekirdek
8 ila 32 GB (8.192 ila 32.768 MB)
16 çekirdek
16 ila 32 GB (16.384 ila 32.768 MB)
fc.gpu.ada.1
fc.gpu.ada.2
fc.gpu.ada.3
4 çekirdek
16 ila 32 GB (16.384 ila 32.768 MB)
8 çekirdek
32 ila 64 GB (32.768 ila 65.536 MB)
16 çekirdek
64 ila 120 GB (65.536 ila 122.880 MB)
fc.gpu.hopper.1
4 çekirdek
16 ila 32 GB (16.384 ila 32.768 MB)
8 çekirdek
32 ila 64 GB (32.768 ila 65.536 MB)
16 çekirdek
64 ila 96 GB (65.536 ila 98.304 MB)
24 çekirdek
96 ila 120 GB (98.304 ila 122.880 MB)
fc.gpu.hopper.2
4 çekirdek
16 ila 32 GB (16.384 ila 32.768 MB)
8 çekirdek
32 ila 64 GB (32.768 ila 65.536 MB)
16 çekirdek
64 ila 128 GB (65.536 ila 131.072 MB)
24 çekirdek
96 ila 248 GB (98.304 ila 253.952 MB)
fc.gpu.blackwell.1
4 çekirdek
16 ila 32 GB (16.384 ila 32.768 MB)
8 çekirdek
32 ila 64 GB (32.768 ila 65.536 MB)
16 çekirdek
64 ila 120 GB (65.536 ila 122.880 MB)
24 çekirdek
96 ila 184 GB (98.304 ila 188.416 MB)
fc.gpu.xpu.1
4 çekirdek
16 ila 48 GB (16.384 ila 49.152 MB)
8 çekirdek
32 ila 96 GB (32.768 ila 98.304 MB)
12 çekirdek
48 ila 120 GB (49.152 ila 122.880 MB)
-
GPU hızlandırmalı örnekler ayrıca aşağıdaki kaynak teknik özelliklerini destekler.
Görüntü boyutu (GB)
Maksimum işlev yürütme süresi (sn)
Disk boyutu
Maksimum bant genişliği (Gbps)
ACR Enterprise Edition (Standard Edition): 15
ACR Enterprise Edition (Premium Edition): 15
ACR Enterprise Edition (Basic Edition): 15
ACR Personal Edition (Free): 15
86400
512 MB
10 GB ila 200 GB, 10 GB artışlarla
5
NotÖrnek türünü g1 olarak ayarlamak, onu fc.gpu.tesla.1 olarak ayarlamakla eşdeğerdir.
Tesla serisi GPU hızlandırmalı örnekler aşağıdaki bölgelerde desteklenir: Çin (Hangzhou), Çin (Shanghai), Çin (Beijing), Çin (Zhangjiakou), Çin (Shenzhen), Japonya (Tokyo), ABD (Virginia) ve Singapur.
Ada serisi GPU hızlandırmalı örnekler aşağıdaki bölgelerde desteklenir: Çin (Beijing), Çin (Hangzhou), Çin (Shanghai), Çin (Shenzhen), Singapur ve ABD (Virginia).
GPU örnek teknik özellikleri ile örnek eşzamanlılığı arasındaki ilişki
Bir Ada.1 GPU'nun 48 GB belleği vardır ve Tesla serisi bir GPU'nun 16 GB belleği vardır. Function Compute, bir GPU kartının tüm belleğini tek bir GPU konteynerine tahsis eder. Varsayılan GPU kartı kotası bölge başına maksimum 30 olduğundan, o bölgede aynı anda maksimum 30 GPU konteyneri çalıştırılabilir.
Bir GPU işlevinin örnek eşzamanlılığı 1 ise, işlev bir bölgede eşzamanlı olarak en fazla 30 çıkarım isteğini işleyebilir.
Bir GPU işlevinin örnek eşzamanlılığı 5 ise, işlev bir bölgede eşzamanlı olarak en fazla 150 çıkarım isteğini işleyebilir.
Tek örnek eşzamanlılığı
Kaynak kullanımını iyileştirmek için uygulamanızın kaynak gereksinimlerine göre tek örnek eşzamanlılığını yapılandırabilirsiniz. Bu yapılandırmada birden çok görev tek bir örnek üzerinde çalışabilir ve CPU ile bellek kaynaklarını paylaşabilir, bu da genel kaynak kullanımını iyileştirir. Daha fazla bilgi için bkz. Örnek eşzamanlılığını yapılandırma.
Tek örnek, tek eşzamanlılık için yürütme süresi
Bir örnek tek bir isteği yürüttüğünde yürütme süresi, isteğin örneğe ulaşmasından itibaren isteğin yürütmesinin tamamlanmasına kadar geçen süre olarak ölçülür.
Tek örnek, çoklu eşzamanlılık için yürütme süresi
Bir örnek birden çok isteği eşzamanlı olarak yürüttüğünde yürütme süresi, ilk isteğin örneğe ulaşmasından son isteğin tamamlanmasına kadar geçen süre olarak ölçülür. Bu kaynak yeniden kullanımı maliyet tasarrufu sağlar.
Başvurular
Function Compute'ün faturalandırma yöntemleri ve faturalandırılabilir öğeleri hakkında daha fazla bilgi için bkz. Faturalandırmaya genel bakış.
API kullanarak bir işlev oluştururken örnek türünü belirtmek için
instanceTypeparametresini kullanabilirsiniz. Daha fazla bilgi için bkz. CreateFunction.Konsolda örnek türünü ve teknik özelliklerini nasıl belirteceğinizi öğrenmek için bkz. İşlev oluşturma.