Platform For AI:Kesintili örnek kullanma

Sınırlamalar

Kesintili kaynakların aşağıdaki sınırlamaları vardır:

Özellikler

• Kesintili kaynak kullanma

  DLC işleri oluşturmak için genel amaçlı hesaplama kaynaklarını veya Lingjun kaynaklarını kullanabilirsiniz. Kesintili kaynakların piyasa fiyatları arz ve talebe göre değişir. Kesintili örneklerin maliyeti kullandıkça öde örneklerine kıyasla %90'a kadar daha düşük olabilir. Kesintili kaynaklar tüm Alibaba Cloud kullanıcıları tarafından kesintiye uğratılabilir ve koruma süreleri sona erdiğinde serbest bırakılır. DLC işlerini göndermek için kesintili kaynakları kullanırken aşağıdaki hususları dikkate almanız gerekir:

  • DLC yetersiz örnek kaynağı nedeniyle kesintili örnekleri alamadığında kesintili işler bekleme durumuna geçer ve DLC kesintili kaynaklar için başvurmayı sürdürür.

  • Sistem kesintili kaynaklar için başvuru yaptıktan sonra DLC işleri oluşturulur ve çalıştırılır.

  • Kesintili kaynaklar serbest bırakıldığında DLC işleri başarısız olur ve çalışmayı durdurur.

• Kesintili kaynaklara başvurma

  DLC işleri oluşturmak için kesintili kaynakları kullandığınızda işleri gönderdikten sonra DLC örnek kaynaklarını kesintiye uğratmaya başlar. Kesintili örnekler oluşturmak istiyorsanız aşağıdaki gereksinimlerin karşılanması gerekir:

  • Kesintili kaynaklar için yapılandırdığınız maksimum teklif fiyatı piyasa fiyatından büyük veya buna eşit olmalıdır.

  • Kesintili kaynak envanteri yeterli olmalıdır.

• Kesintili kaynakları serbest bırakma

  Kesintili kaynaklar piyasa fiyatına, kaynak envanterine, iş oluşturma sırasında örnek için yapılandırılan maksimum teklif fiyatına ve kullanım süresine göre kesintiye uğrayabilir ve serbest bırakılabilir. Aşağıdaki senaryolarda kesintili kaynaklar bildirim olmadan serbest bırakılabilir:

  • Lingjun kaynakları: Kesintili bir kaynağın maksimum teklif fiyatı ortalama fiyattan düşükse veya kaynağın envanteri yetersizse kaynak serbest bırakılır.

  • Genel amaçlı hesaplama kaynakları: Kesintili bir kaynağın maksimum teklif fiyatı mevcut piyasa fiyatından düşükse veya kesintili kaynağın envanteri yetersizse kesintili kaynak serbest bırakılır.

  Kesintili işlerinizin kesintisiz ve kararlı şekilde çalışmasını sağlamak için aşağıdaki işlemleri yapabilirsiniz:

  • Bir işi Lingjun kaynakları kullanarak oluştururken Otomatik Hata Toleransını açın. Otomatik Hata Toleransını açtıktan sonra işiniz kesintili kaynaklar için teklif vermek üzere otomatik olarak kuyruğa girer. Daha fazla bilgi için bakın AIMaster: Esnek ve otomatik hata toleransı motoru.

  • Bir iş oluşturmak için genel amaçlı hesaplama veya Lingjun kaynaklarını kullandığınızda PyTorch büyük dil modelini (LLM) eğitmek için EasyCkpt çerçevesini kullanabilirsiniz. İş sık sık kontrol noktaları oluşturup kaydedebilir ve kesintilere izin verebilir. Daha fazla bilgi için bakın EasyCkpt.

Faturalama

• Fiyatlandırma

  Kesintili işlerin teklif modu SpotWithPriceLimit parametresi tarafından belirtilen maksimum teklif fiyatını yapılandırmak için kullanılır. DLC işlerinin kesintili kaynaklar kullanılarak oluşturulduğu senaryolarda kesintili kaynakların piyasa fiyatları arz ve talebe göre dalgalanır. Aynı kesintili kaynakları kullanarak birden çok DLC işi gönderirseniz sabit bir zaman aralığındaki işlerin ücretleri aynı olabilir. Aşağıdaki teklif türleri desteklenir.

  Not

  Lingjun kaynakları yalnızca spot indirim teklif türünü destekler.

  • Spot indirim teklif türüne dayalı teklif fiyatı: Maksimum teklif fiyatı örnek türünün piyasa fiyatına dayanır ve piyasa fiyatının %10 ile %90'ı arasında %10'luk aralıklarla değişir.

  • Spot fiyat teklif türüne dayalı teklif fiyatı: Maksimum teklif fiyatı piyasa fiyatı aralığındadır.

  DLC içindeki İş Oluştur sayfasının Resource Information bölümünde Source öğesini Preemptible Resources olarak ayarlayın ve Job Resource bölümündeki kesintili kaynakları ve piyasa fiyatı aralıklarını görüntüleyin.

  Not

  Kaynak teknik özelliklerinin özel fiyatlandırması için lütfen konsola bakın.

  • Genel amaçlı hesaplama kaynakları

    Genel hesaplama kaynaklarını kullanmak için Kaynak Bilgileri bölümünde Resource Type öğesini General Computing ve Source öğesini Preemptible Resources olarak ayarlayın ve Framework için PyTorch öğesini seçin. İş Kaynağı tablosunda Çalışan düğümleri için aşağıdaki parametreleri yapılandırın: düğüm sayısı, Kaynak Teknik Özellikleri, piyasa fiyatı aralığı ve Teklif Fiyatı (İndirim).

  • Lingjun kaynakları

    İş Oluştur sayfasının Kaynak Bilgileri bölümünde aşağıdaki ayarları yapılandırın:

    • Resource Type: Lingjun AI Computing Service öğesini seçin.

    • Source: Preemptible Resources öğesini seçin.

    • Framework: PyTorch öğesini seçin.

    • İş Kaynağı: Çalışan düğümleri için düğüm sayısını, Kaynak Teknik Özellikleri, piyasa fiyatı aralığını ve Teklif Fiyatı (İndirim) öğesini yapılandırın.

• Faturalama yöntemi

  Kesintili kaynaklar kullandıkça öde faturalama yöntemine göre ücretlendirilir. Piyasa fiyatına göre ücretlendirilirsiniz.

• Faturaları görüntüleme

  Bir işi çalıştırdıktan sonra ertesi gün Giderler ve Maliyetler'deki Faturalama Ayrıntıları sayfasına gidin ve kesintili kaynakların kullanıldığı işin faturalama ayrıntılarını görüntüleyin. Kullandıkça öde ücretleri DLC tarafından oluşturulur. Örnek etiketi şudur: key:acs:pai:dlc:payType value:spot. Faturalama ayrıntılarını görüntüleme hakkında daha fazla bilgi için bakın PAI faturalama ayrıntılarını görüntüleme.

Senaryolar

• Desteklenen senaryolar

  Maliyetleri azaltmak için aşağıdaki senaryolarda kesintili kaynakları kullanmanızı öneririz:

  • Kısa vadeli hesaplama işleri.

  • Hata ayıklama durumundaki hesaplama işleri.

  • Hata toleranslı hesaplama işleri.

  • Kesintilere izin veren hesaplama işleri. Örneğin PyTorch LLM'yi eğitmek için EasyCkpt çerçevesinin kullanıldığı senaryolarda sık sık kontrol noktaları kaydedebilir ve verileri kontrol noktalarından geri yükleyebilirsiniz. Daha fazla bilgi için bakın EasyCkpt.

• Desteklenmeyen senaryolar

  Yüksek kararlılık gerektiren hizmetler

Yordam

Aşağıdaki yöntemlerden birini kullanarak kesintili bir iş gönderebilirsiniz.

PAI konsolunu kullanma

1. Create Job sayfasına gidin.

   1. PAI konsolunda oturum açın. Bir bölge ve çalışma alanı seçin. Ardından Enter Deep Learning Containers (DLC) öğesine tıklayın.

   2. Deep Learning Containers (DLC) sayfasında Create Job öğesine tıklayın.

2. İş Oluştur sayfasında aşağıdaki tabloda açıklanan parametreleri yapılandırın. Diğer parametreler hakkında bilgi için bakın Eğitim işi oluşturma.

   Parametre		Açıklama
   Resource Information	Resource Type	Lingjun AI Computing Service veya General Computing öğesini seçin. Not Bu parametre yalnızca çalışma alanı Lingjun kaynaklarını ve genel amaçlı hesaplama kaynaklarını kullanmanıza izin veriyorsa kullanılabilir.
   	Source	Preemptible Resources öğesini seçin.
   	Job Resource	Resource Type sütununda simgesine tıklayarak bir kesintili kaynak seçin ve Bid Price (Discount) parametresini yapılandırın. Teklif fiyatı örnek türünün orijinal fiyatına dayalı maksimum teklif fiyatıdır ve piyasa fiyatının %10 ile %90'ı arasında %10'luk aralıklarla değişir. Teklifiniz piyasa fiyatını karşılıyorsa veya aşıyorsa ve envanter yeterliyorsa kesintili kaynağı elde edebilirsiniz.
   VPC	VPC	DLC işlerini göndermek için Lingjun kaynaklarını kullanıyorsanız sanal özel cloud (VPC) yapılandırın. Açılır listelerden bir VPC, vSwitch ve güvenlik grubu seçin.
   	Security Group
   	vSwitch
   Fault Tolerance and Diagnosis	Automatic Fault Tolerance	DLC işlerini göndermek için Lingjun kaynaklarını kullanıyorsanız Automatic Fault Tolerance etkinleştirmenizi öneririz. Otomatik Hata Toleransı özelliği kaynak iptalinden sonra kesintili işlerin otomatik olarak teklif kuyruğuna yeniden girmesine olanak tanır. İşler ortalama piyasa fiyatı maksimum teklif fiyatınızın altına düştüğünde devam edebilir. AIMaster hakkında daha fazla bilgi için bakın AIMaster: Esnek ve otomatik hata toleransı motoru.

   Lingjun kaynakları

   Not

   Kaynak teknik özelliklerinin özel fiyatlandırması için lütfen konsola bakın.

   Lingjun Akıllı Bilişimi kullanan kesintili kaynaklı bir eğitim görevi için temel yapılandırma öğeleri şunlardır:

   • Source: Preemptible Resources öğesini seçin.

   • İş Kaynağı: Çalışan düğümleri için düğüm sayısını ve kaynak teknik özelliklerini yapılandırın ve maksimum teklif fiyatını ve piyasa fiyatı aralığını kontrol edin. Geçmiş fiyatları görüntülemek için Geçmiş Fiyat öğesine tıklayın.

   • VPC: Bir VPC, vSwitch ve güvenlik grubu seçin.

   • Otomatik Hata Toleransı: Bu özellik etkinleştirildiğinde ek hesaplama kaynakları tüketilir. Hata toleransı ayarlarını değiştirmek için Yapılandırmayı Değiştir öğesine tıklayın.

   Genel amaçlı hesaplama kaynakları

   Not

   Kaynak teknik özelliklerinin özel fiyatlandırması için lütfen konsola bakın.

   Kaynak yapılandırma sayfasında aşağıdaki adımları uygulayın:

   1. Source öğesini Preemptible Resources olarak ayarlayın.

   2. Framework için PyTorch gibi gerekli çerçeveyi seçin.

   3. İş Kaynağı tablosunda Çalışan düğümlerini yapılandırın: düğüm sayısını, Kaynak Teknik Özellikleri ve Teklif Fiyatı (İndirim) değerlerini ayarlayın. Piyasa fiyatı aralığı konsoldaki gerçek görünüme tabidir.

   4. Hata Toleransı ve Tanılama bölümünde Otomatik Hata Toleransını açın. Bu özelliği etkinleştirmek ek hesaplama kaynakları tüketir.

3. Parametreleri yapılandırdıktan sonra Confirm öğesine tıklayın.

   İşi gönderdikten sonra DLC işi oluşturup çalıştırmak için kesintili kaynaklar için başvuru yapar. Kesintili kaynaklar için başvuru yapılmazsa iş bekleme durumuna geçer.

SDK'yı kullanma

Adım 1: Python için SDK'yı yükleyin.

• Çalışma alanı SDK'sını yükleyin.

  pip install alibabacloud_aiworkspace20210204==3.0.1

• DLC SDK'sını yükleyin.

  pip install alibabacloud_pai_dlc20201203==1.4.17

Adım 2: Kesintili bir iş gönderin

#!/usr/bin/env python3

from alibabacloud_tea_openapi.models import Config
from alibabacloud_credentials.client import Client as CredClient

from alibabacloud_pai_dlc20201203.client import Client as DLCClient
from alibabacloud_pai_dlc20201203.models import CreateJobRequest

region_id = '<region-id>'  # The ID of the region in which the DLC job resides, such as cn-hangzhou. 
cred = CredClient()
workspace_id = '12****'  # The ID of the workspace to which the DLC job belongs. 

dlc_client = DLCClient(
    Config(credential=cred,
           region_id=region_id,
           endpoint='pai-dlc.{}.aliyuncs.com'.format(region_id),
           protocol='http'))

create_job_resp = dlc_client.create_job(CreateJobRequest().from_map({
    'WorkspaceId': workspace_id,
    'DisplayName': 'sample-spot-job',
    'JobType': 'PyTorchJob',
    'JobSpecs': [
        {
            "Type": "Worker",
            "Image": "dsw-registry-vpc.<region-id>.cr.aliyuncs.com/pai/pytorch-training:1.12-cpu-py39-ubuntu20.04",
            "PodCount": 1,
            "EcsSpec": 'ecs.g7.xlarge',
            "SpotSpec": {
                "SpotStrategy": "SpotWithPriceLimit",
                "SpotDiscountLimit": 0.4,
            }
        },
    ],
    'UserVpc': {
        "VpcId": "vpc-0jlq8l7qech3m2ta2****",
        "SwitchId": "vsw-0jlc46eg4k3pivwpz8****",
        "SecurityGroupId": "sg-0jl4bd9wwh5auei9****",
    },
    "UserCommand": "echo 'Hello World' && ls -R /mnt/data/ && sleep 30 && echo 'DONE'",
}))
job_id = create_job_resp.body.job_id
print(f'jobId is {job_id}')

#!/usr/bin/env python3

from alibabacloud_tea_openapi.models import Config
from alibabacloud_credentials.client import Client as CredClient

from alibabacloud_pai_dlc20201203.client import Client as DLCClient
from alibabacloud_pai_dlc20201203.models import CreateJobRequest

region_id = '<region-id>'
cred = CredClient()
workspace_id = '12****'

dlc_client = DLCClient(
    Config(credential=cred,
           region_id=region_id,
           endpoint='pai-dlc.{}.aliyuncs.com'.format(region_id),
           protocol='http'))

create_job_resp = dlc_client.create_job(CreateJobRequest().from_map({
    'WorkspaceId': workspace_id,
    'DisplayName': 'sample-spot-job',
    'JobType': 'PyTorchJob',
    'JobSpecs': [
        {
            "Type": "Worker",
            "Image": "dsw-registry-vpc.<region-id>.cr.aliyuncs.com/pai/pytorch-training:1.12-cpu-py39-ubuntu20.04",
            "PodCount": 1,
            "EcsSpec": 'ecs.g7.xlarge',
            "SpotSpec": {
                "SpotStrategy": "SpotWithPriceLimit",
                "SpotPriceLimit": 0.011,
            }
        },
    ],
    'UserVpc': {
        "VpcId": "vpc-0jlq8l7qech3m2ta2****",
        "SwitchId": "vsw-0jlc46eg4k3pivwpz8****",
        "SecurityGroupId": "sg-0jl4bd9wwh5auei9****",
    },
    "UserCommand": "echo 'Hello World' && ls -R /mnt/data/ && sleep 30 && echo 'DONE'",
}))
job_id = create_job_resp.body.job_id
print(f'jobId is {job_id}')

Aşağıdaki tabloda temel parametreler açıklanmaktadır. Diğer parametreler hakkında bilgi için bakın Python için SDK'yı kullanma.