Platform For AI:Genel kaynakları kullanın

Spot örnekler

Spot örnek, maksimum bir fiyat belirleyerek satın alabileceğiniz ve hesaplama kaynaklarını maliyet etkin bir şekilde elde etmenizi sağlayan öncelikli bir örnektir.

• Avantajlar

  • Maliyet etkinliği: Spot örneklerin temel avantajı düşük fiyattır. Fiyat arz ve talebe göre gerçek zamanlı olarak değişir ve genellikle standart örneklerin fiyatından çok daha düşüktür.

  • Fiyat kademeleri: Spot örnekler koruma süresi ile veya olmadan mevcuttur. Fiyatlar en düşükten en yükseğe doğru şu şekildedir: koruma süresi olmayan spot örnek fiyatı < koruma süresi olan spot örnek fiyatı < standart örnek fiyatı.

• Edinme koşulları

  • Bir spot örnek yalnızca envanter yeterli olduğunda ve teklif fiyatınız geçerli piyasa fiyatından düşük olmadığında edinilebilir.

• Serbest bırakma koşulları, spot örneğin koruma süresi ayarlarına bağlıdır.

  • Bir saatlik koruma süresi ile: Örnek en az bir saat çalışır. Bu koruma süresi boyunca örnek serbest bırakılmaz. Koruma süresi sona erdikten sonra örnek otomatik olarak serbest bırakılabilir.

  • Koruma süresi olmadan: Örneğin sürekli kullanımı garanti edilmez. Envanterdeki veya piyasa fiyatındaki değişiklikler nedeniyle örnek herhangi bir zamanda otomatik olarak serbest bırakılabilir.

• Faturalandırma yöntemi

  • Spot örnekler kullandıkça öde modeliyle faturalandırılır ve ücretler gerçek zamanlı piyasa fiyatına göre hesaplanır.

Birden fazla örnek türü

Bir hizmet dağıtırken yalnızca tek bir örnek türü belirtirseniz, o örnek türünün envanterinin yetersiz olması nedeniyle hizmet dağıtımı önemli ölçüde gecikebilir. Bu sorunu çözmek için EAS dağıtım sırasında birden fazla örnek türü seçmenize olanak tanır. Bu durum, tek bir örnek türünün yetersizliğinden kaynaklanan dağıtım gecikmelerini büyük ölçüde azaltır.

• Örnek kullanım sırası

  Bir hizmet oluştururken veya güncellerken spot örnekler ve standart örnekler gibi birden fazla örnek türü belirtebilirsiniz. Dağıtım sırasında sistem bu örnekleri belirttiğiniz sırayla kullanmayı dener. Bir spot örnek için teklif başarısız olursa veya bir örnek türü stokta yoksa sistem listedeki sonraki kullanılabilir türü otomatik olarak dener.

• Kaynak serbest bırakma ve yeniden tahsis

  Yapılandırılmış bir spot örnek envanter veya piyasa fiyatındaki değişiklikler nedeniyle geri alınrsa EAS hizmet sürekliliğini sağlamak için yapılandırmanızdaki en yüksek öncelikli kullanılabilir kaynağı kullanarak otomatik olarak yeni bir örnek sağlar.

Sistem diski

PAI, genel kaynakları kullanan her makine düğümü için ücretsiz olarak 30 GiB sistem diski sağlar. Daha fazla kapasiteye ihtiyacınız varsa ek kapasite için kullandıkça öde modeliyle faturalandırılırsınız. Faturalandırma hakkında daha fazla bilgi için bkz. Elastic Algorithm Service (EAS) Faturalaması.

Konsol yapılandırması

Bu bölümde özel dağıtım örnek olarak kullanılmıştır.

1. PAI konsolu üzerinde oturum açın. Sayfanın üst kısmından bir bölge seçin. Ardından istenen çalışma alanını seçin ve Enter Elastic Algorithm Service (EAS) seçeneğine tıklayın.

   • Hizmet oluşturma: Inference Service sekmesinde Deploy Service seçeneğine tıklayın ve Custom Model Deployment > Custom Deployment. adımlarını izleyin.

   • Hizmet güncelleme: Inference Service sekmesinde hizmet listesinde hedef hizmeti bulun ve Actions sütununda Update seçeneğine tıklayın.

2. Resource Information bölümünde Resource Type için Public Resources seçeneğini belirleyin. Ardından Resource Specification seçeneğine tıklayın ve listeden istediğiniz örnek türünü seçin.

3. (İsteğe bağlı) Spot örnek özelliğini etkinleştirin. Bidding anahtarını açın, bir teklif fiyatı belirleyin ve spot örnek için bir koruma süresi seçin.

   Not

   • Bidding anahtarı yalnızca spot örnekleri destekleyen örnek türleri için kullanılabilir.

   • Spot örnekleri kullanırken, spot örnek teklifinizin başarısız olması durumunda hizmet dağıtım hatalarını önlemek için standart örnekleri de yapılandırın.

   Spot Protection Period için No guaranteed protection period (sürekli kullanım garanti edilmez; örnek envanter dalgalanmaları veya piyasa fiyatı değişiklikleri nedeniyle otomatik olarak serbest bırakılabilir) veya Retain the instance for 1 hour (bir saatlik koruma süresi sağlar) seçeneklerinden birini seçin.

4. (İsteğe bağlı) Birden fazla örnek türü yapılandırın. Ek örnek türleri yapılandırmak için + Add seçeneğine tıklayın. En fazla 10 kaynak teknik özellikleri ekleyebilirsiniz.

5. Sistem diski boyutunu yapılandırın.

   Örneğin, bunu 40 GiB olarak ayarlayın. Genel kaynak grubu ücretsiz olarak 30 GiB sistem diski sağlar. Daha fazla kapasiteye ihtiyacınız varsa gerçek kullanımınız için kullandıkça öde modeliyle faturalandırılırsınız.

JSON yapılandırması

Konsolda parametreleri yapılandırdıktan sonra Service Configuration bölümünde oluşturulan JSON yapılandırmasını görüntüleyebilirsiniz. Parametreleri doğrudan JSON dosyasında da düzenleyebilirsiniz.

Aşağıdaki kod bloğu, kaynak dağıtımı için JSON parametrelerine bir örnek göstermektedir:

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

Yetersiz genel kaynaklar

Büyük ve popüler modelleri dağıttığınızda genel kaynaklar yetersiz kalabilir. Bu durumda aşağıdaki çözümleri kullanabilirsiniz:

• Bölge değiştirin. Kaynak kullanılabilirliği bölgeye göre değiştiğinden farklı bir bölgeye geçmek kullanılabilir genel kaynaklar bulmanıza yardımcı olabilir.

  Önemli

  Lingjun Spot Kaynaklarını kullanmak için Ulanqab bölgesine geçebilirsiniz. Beyaz liste onayı gerekmez. Bunların spot kaynaklar olduğunu ve öncelikli olarak alınabileceğini unutmayın. Teklif fiyatınızı dikkatli bir şekilde belirleyin.

• EAS kaynak grubu kullanma. Bazı örnek türleri genel kaynak olarak kullanılamaz. Özel EAS kaynakları satın almak için EAS Aboneliği Özel Kaynaklar adresine gidebilirsiniz.

  Önemli

  Kullandıkça öde özel kaynaklar için faturalandırma, bir hizmeti dağıtmak için kullanılıp kullanılmadığına bakılmaksızın satın alma işleminden hemen sonra başlar. Gereksiz ücretlerden kaçınmak için kullanılmayan özel kaynakları derhal silin.

DescribeMachineSpec komutu StockStatus değeri olarak ClosedWithStock döndürdüğünde OpenAPI aracılığıyla hala bir EAS hizmeti oluşturabilir miyim?**

Evet. ClosedWithStock yalnızca örnek türünün sınırlı envantere sahip olduğunu gösterir; bir CreateService çağrısını engellemez. cloud.computing.instances içinde birden fazla örnek türü yapılandırabilirsiniz ve sistem JSON yapılandırması bölümünde açıklandığı gibi yeterli envantere sahip bir örnek türünü otomatik olarak seçerek hizmeti oluşturur. Envanter yine de yetersiz kalırsa bu bölümde daha önce açıklandığı gibi bölge değiştirebilir veya özel EAS kaynakları satın alabilirsiniz.