Deploy a scalable LLM inference service with Auto Scaling and ECI - Auto Scaling

Elastic Container Instance (ECI) ölçeklendirme gruplarını Application Load Balancer (ALB) ile birleştirerek alanlar arası, yüksek kullanılabilirliğe sahip büyük dil modeli (LLM) çıkarım hizmeti dağıtın.

Çözüm özeti

Bu çözüm, alan düzeyinde olağanüstü durum kurtarma sağlamak amacıyla tek bir bölgede birden fazla alana ECI tabanlı çıkarım örnekleri dağıtır. ALB trafik dağıtımını yönetir ve Object Storage Service model dosyalarını depolar. Aşağıdaki şekilde mimari gösterilmektedir.

Avantajlar

Yüksek kullanılabilirlik: İş yükünü birden fazla sunucuya dağıtarak tek hata noktalarını ortadan kaldırır ve hizmet kesintilerini önler.
Esnek ölçeklendirme: Bir ölçeklendirme grubu çıkarım kümesini yönetir. ECI örnek sayısını ayarlayarak hızla dışa doğru ölçeklendirin veya iş yüküne göre kaynakları talebe göre sağlamak için otomatik ölçeklendirmeyi yapılandırın.

Prosedür

Küme ağını planlayın. Birden fazla alanda bir VPC ve vSwitch oluşturun.
Bir paket oluşturun. Model ağırlık dosyalarını depolayın.
Bir örnek RAM rolü yapılandırın. 2. Adımdaki pakete ECI örneği erişimi verin.
Bir görüntü önbelleği hazırlayın. Başlangıcı hızlandırmak ve model ağırlıklarını pakete indirmek için bir görüntü önbelleği oluşturun.
Bir ALB örneği oluşturun. ALB örneği hizmet uç noktası olarak görev yapar.
Bir ölçeklendirme grubu oluşturun. Yeni ECI örneklerini arka uç sunucu grubuna otomatik olarak eklemek için onu ALB örneğiyle ilişkilendirin.
Hizmeti başlatın. Hizmeti başlatmak için ölçeklendirme grubundaki beklenen örnek sayısını ayarlayın.

1. Küme ağını planlayın

Birden fazla alanda bir Virtual Private Cloud (VPC) ve vSwitch oluşturun. Bu örnekte yüksek kullanılabilirlik için farklı alanlarda bir VPC ve iki vSwitch kullanılmaktadır.

Mevcut bir VPC'yi yeniden kullanabilir ve bu adımı atlayabilirsiniz.

konsolda aşağıdaki talimatlara uyarak bir VPC ve iki vSwitch oluşturun.

①: Sol gezinme bölmesinde Virtual Private Cloud seçeneğine tıklayın ve ardından Create VPC seçeneğine tıklayın.

②: Region. China (Hangzhou).

③: Name. vpc-ess-hangzhou.

④: IPv4 CIDR. Select 192.168.0.0/16.

vSwitch 1:

⑤: Name. vSwitch-j.

⑥: Zone. Zone J.

⑦: IPv4 CIDR. 192.168.0.0/24.

⑧: vSwitch 2'yi oluşturmak için Add seçeneğine tıklayın.

vSwitch 2:

⑨: Name. vSwitch-k.

⑩: Zone. Zone K.

⑪: IPv4 CIDR. 192.168.1.0/24.

OK seçeneğine tıklayın ve VPC'nin oluşturulmasını bekleyin.

2. Bir paket oluşturun

Model ağırlık dosyalarını depolamak için bir Object Storage Service paketi oluşturun. ECI örnekleri bu paketten dosyaları okur.

Mevcut bir paketi yeniden kullanabilir ve bu adımı atlayabilirsiniz.

Object Storage Service konsolunda bir paket oluşturun.

Aşağıdaki anahtar parametreleri yapılandırın. Diğerleri için varsayılan değerleri koruyun.

①: Create Bucket seçeneğine tıklayın.

②: Bucket. Depolama alanını daha sonra bağladığınızda bu ad gereklidir.

③: Region. Specific Region seçeneğini belirleyin ve bölgenin ECI örneklerinizin bölgesiyle aynı olduğundan emin olun. Bu eğitimde China (Hangzhou) kullanılmaktadır.

ECI'den pakete aynı bölgedeki erişim dahili ağı kullanır ve veri aktarım ücretine neden olmaz. ECS örneğinden dahili ağ üzerinden OSS kaynaklarına erişin.

OK seçeneğine tıklayın.

3. Bir örnek RAM rolü oluşturun

ECI örneklerinin paketinizden model ağırlık dosyalarını okumasına olanak tanıyan bir örnek RAM rolü oluşturun.

konsolda aşağıdaki ayarlara sahip bir örnek RAM rolü oluşturun.

①: RAM konsolunun sol gezinme bölmesinde Identities > Roles seçeneklerini belirleyin. Create Role seçeneğine tıklayın.

②: Principal Type. Cloud Service seçeneğini belirleyin.

③: Principal Name. ECS seçeneğini belirleyin.

④: OK seçeneğine tıklayın ve istendiğinde örnek RAM rolü için bir ad belirleyin.

konsolda aşağıdaki ilkeyi oluşturun.

①: Create Policy seçeneğine tıklayın.

②: JSON Editor seçeneğine tıklayın.

③: Bu ilke belirli bir paket için tam izinler verir. Aşağıdaki ilke komut dosyasını kullanın.

Önemli

Bu ilkeyi yapılandırırken <bucket_name> ifadesini oluşturduğunuz paketin Bucket adı ile değiştirin.

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "oss:*",
            "Resource": [
                "acs:oss:*:*:<bucket_name>",
                "acs:oss:*:*:<bucket_name>/*"
            ]
        }
    ]
}

OK seçeneğine tıklayın ve istendiğinde ilke için bir ad belirleyin.

konsolda örnek RAM rolüne izinler atayın.

①: Grant Permission seçeneğine tıklayın.

②: Principal. Oluşturduğunuz örnek RAM rolünü seçin.

③: Policies. Oluşturduğunuz ilkeyi seçin.

OK seçeneğine tıklayın.

4. Görüntü önbelleğini ve model dosyalarını hazırlayın

ECI örneği başlangıcını hızlandırmak için bir görüntü önbelleği oluşturun ve model ağırlık dosyalarını pakete indirin.

konsolda bir ECI görüntü önbelleği oluşturun.

①: Elastic Container Instance konsolunun sol gezinme bölmesinde Image Cache seçeneğine tıklayın. Create Image Cache seçeneğine tıklayın.

②: Region and Zone. 1. Adımdaki VPC bölgesiyle eşleşmelidir. Alan, 1. Adımda kullanılan vSwitch'lerden biriyle eşleşmelidir.

③: Network. 1. Adımda oluşturduğunuz VPC'yi ve vSwitch'lerden birini seçin.

④: Elastic IP Addresses. Mevcut bir EIP seçin. Yoksa, bir tane oluşturmak için EIP console seçeneğine tıklayın, ardından geri dönün, yenileme simgesine tıklayın ve bunu seçin.

⑤: Security Group. Bir güvenlik grubu seçin. Yoksa, bir tane oluşturmak için Create Security Group seçeneğine tıklayın, ardından geri dönün ve bunu seçin.

⑥: Image Cache Name. vllm.

⑦: Cache Size. 100 GB.

⑧: Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

⑨: Version. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

⑩: Elastic Container Instance ECI Service Agreement onay kutusunu seçin. ⑪: OK seçeneğine tıklayın.

Görüntü önbelleğinin oluşturulmasını bekleyin (~15 dakika). İlerlemeyi konsolun görüntü önbelleği sayfasından kontrol edin.

Görüntü önbelleği oluşturulduktan sonra, Status sütunu tamamlanma yüzdesiyle (örneğin %0) birlikte Preparing durumunu gösterir; bu, oluşturmanın devam ettiğini belirtir.

konsolda model ağırlık dosyalarını pakete indirmek için geçici bir ECI örneği başlatın.

①: Sol gezinme bölmesinde Container Groups seçeneğine tıklayın ve ardından Create Container Group seçeneğine tıklayın.

②: Billing Method. kullandıkça öde.

③: Region. 1. Adımdaki VPC bölgesiyle eşleşmelidir. Bu eğitimde China (Hangzhou) kullanılmaktadır.

④: VPC. 1. Adımda oluşturduğunuz VPC'yi seçin.

⑤: vSwitch. 1. Adımda oluşturduğunuz vSwitch'i seçin.

⑥: Security Group. Parametreyi sayfadaki talimatlara göre ayarlayın.

Konteyner grubu yapılandırması:

⑦: CPU. 2 vCPU.

⑧: Memory. 4 GiB.

⑨: After containers run and exit. Upon Failure seçeneğini belirleyin.

Gelişmiş ayarlar:

⑩: Advanced Configuration seçeneğini genişletin.

⑪: Automatically Match Image Cache seçeneğini etkinleştirin.

⑫: OSS Persistence seçeneğini seçin ve ekleyin.

⑬: Name. oss-data.

⑭: Bucket. 2. Adımda oluşturduğunuz paketi seçin.

⑮: RAM Role. 3. Adımda oluşturduğunuz örnek RAM rolünü seçin.

⑯: Ephemeral Storage Size. Değeri 100 GiB olarak ayarlayın.

Konteyner yapılandırması:

⑰: Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

⑱: Image Tag. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

⑲: Startup Command. Aşağıdaki komutları ilgili alanlara kopyalayın.

/bin/bash
-c
git-lfs clone https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git /oss-data/DeepSeek-R1-Distill-Qwen-7B

Bu komut, git-lfs kullanarak modeli ModelScope topluluk deposundan /oss-data/DeepSeek-R1-Distill-Qwen-7B dizinine klonlar.

Gelişmiş konteyner ayarları:

⑳: container-1 advanced settings seçeneğini genişletin.

㉑: CPU. 2 vCPU.

㉒: Memory. 4 GiB.

㉓: Storage seçeneğini etkinleştirin ve bir birim bağlaması Add edin.

㉔: Select oss-data.

㉕: Mount Path. /oss-data.

㉖: Next: Other Settings seçeneğine tıklayın.

㉗: Elastic IP Addresses. Auto Create seçeneğini belirleyin.

㉘: Maximum Bandwidth. Değeri 200 Mbit/s olarak ayarlayın.

㉙: Confirm Configuration seçeneğine tıklayın ve istendiğinde ECI örneğinin oluşturulmasını tamamlayın.

ECI örneği oluşturulduktan sonra model ağırlık dosyası indirme işlemi otomatik olarak başlar. İndirme çalışırken 5. Adım ve 6. Adıma devam edin.

İndirmenin tamamlandığını nasıl kontrol edersiniz

İndirme tamamlandıktan sonra, ECI örneğinin durumu ECI konsolunda Run successfully olarak değişir.

Object Storage Service konsolunda, pakette DeepSeek-R1-Distill-Qwen-7B adlı bir klasör oluşturulur.

5. Bir ALB örneği oluşturun

Hizmet uç noktası olarak bir Application Load Balancer (ALB) örneği oluşturun.

konsolda bir ALB örneği oluşturun.

①: Sol gezinme bölmesinde ALB > Instances seçeneklerini belirleyin. Create ALB seçeneğine tıklayın.

②: Region. 1. Adımda oluşturduğunuz VPC ile tutarlı olması için China (Hangzhou) seçeneğini belirleyin.

③: Network Type. İnternet üzerinden hizmet sağlamak için Public seçeneğini belirleyin.

④: VPC. 1. Adımda oluşturduğunuz VPC'yi seçin.

⑤: Zone ve vSwitch. 1. Adımda oluşturduğunuz vSwitch'leri seçin.

⑥: Instance Name. alb-eci-deepseek-7B.

⑦: Buy Now seçeneğine tıklayın ve ardından istendiğinde ALB örneğinin oluşturulmasını tamamlayın.

konsolda ALB örneği için bir dinleyici ve bir arka uç sunucu grubu oluşturun.

①: Oluşturduğunuz ALB örneğini bulun ve Actions sütunundaki Create Listener seçeneğine tıklayın.

ALB örneğini bulamıyorsanız, sayfanın sol üst köşesindeki bölgeyi değiştirin.

②: Protokol olarak HTTP seçeneğini belirleyin.

③: Dinleyici bağlantı noktasını 80 olarak ayarlayın.

④: Next seçeneğine tıklayın.

⑤: Create Server Group seçeneğine tıklayın.

⑥: Server Group Type. Server seçeneğini belirleyin.

⑦: Server Group Name. eci-deepseek-7B.

⑧: VPC. 1. Adımda oluşturduğunuz VPC'yi seçin. Bu parametre otomatik olarak seçilir.

⑨: Select Backend Server Protocol. HTTP.

⑩: Health Check seçeneğini etkinleştirin.

⑪: Health check method. GET seçeneğini belirleyin.

⑫: Sağlık denetimi yolu. Değeri /health olarak ayarlayın. Çıkarım hizmeti başladıktan sonra ALB, hizmet durumunu belirlemek için /health yolunu kullanır.

⑬: Create seçeneğine tıklayın, Next seçeneğine tıklayın ve ardından Submit seçeneğine tıklayın. Oluşturma işleminin tamamlanmasını bekleyin.

6. Bir ölçeklendirme grubu oluşturun

ALB örneğiyle ilişkili bir ölçeklendirme grubu oluşturun. Grup, ECI örneklerini otomatik olarak yönetir ve bunları ALB arka uç sunucu grubuna ekler.

Auto Scaling konsolunda bir ölçeklendirme grubu oluşturun ve bunu ALB örneğiyle ilişkilendirin.

①: Sol gezinme bölmesinde Scaling Groups seçeneğine tıklayın. Üst gezinme çubuğunda hedef bölgeyi seçin (örneğin China (Hangzhou)). Create Scaling Group seçeneğine tıklayın.

②: Scaling Group Name. deepseek-7B-servers.

③: Type. ECI seçeneğini belirleyin.

④: Instance Configuration Source. Create from Scratch seçeneğini belirleyin.

⑤: Minimum Number of Instances. Bu parametreyi 0 olarak ayarlayın. Bu, ölçeklendirme grubundaki minimum örnek sayısıdır.

⑥: Maximum Number of Instances. Bu parametreyi 10 olarak ayarlayın. Bu, ölçeklendirme grubundaki maksimum örnek sayısıdır.

⑦: VPC. 1. Adımda oluşturduğunuz VPC'yi seçin.

⑧: vSwitch. 1. Adımda oluşturduğunuz tüm vSwitch'leri seçin.

⑨: Show Advanced Settings seçeneğine tıklayın.

Gelişmiş ayarlar:

⑩: Expected Number of Instances seçeneğini etkinleştirin ve değeri 0 olarak ayarlayın. Bu, boş bir ölçeklendirme grubu oluşturur.

⑪: Add Server Group seçeneğine tıklayın ve Type değerini ALB olarak ayarlayın.

⑫: Server Group. 5. Adımda oluşturduğunuz sunucu grubunu seçin.

⑬: Port. 30000 seçeneğini belirleyin. ECI örneğinde dağıtılan çıkarım hizmeti hizmet sağlamak için bu bağlantı noktasını kullanır.

⑭: Create seçeneğine tıklayın. Ölçeklendirme grubunun oluşturulmasını bekleyin. Ardından, istendiğinde bir ölçeklendirme yapılandırması oluşturabilirsiniz.

Auto Scaling konsolunda bir ölçeklendirme yapılandırması oluşturun.

Bir ölçeklendirme yapılandırması, dışa doğru ölçeklendirme olayları sırasında örnekler oluşturmak için kullanılan bir şablondur.

①: Sol gezinme bölmesinde Scaling Groups seçeneğine tıklayın. Üst gezinme çubuğunda hedef bölgeyi seçin (örneğin China (Hangzhou)), ardından listeden hedef ölçeklendirme grubunu bulun ve ayrıntılar sayfasına gitmek için kimliğine tıklayın.

②: Scaling Configuration > Scaling Configuration > Create Scaling Configuration seçeneğine tıklayın.

③: Billing Method. Pay-As-You-Go seçeneğini belirleyin.

④: Bir Security Group seçin.

Konteyner grubu yapılandırması:

⑤: Specify Instance Type seçeneğini belirleyin.

⑥: Instance Type. ecs.gn7i-c8g1.2xlarge.

⑦: Automatically Match Image Cache seçeneğini belirleyin.

⑧: Advanced Configuration seçeneğini genişletin.

⑨: OSS Persistence seçeneğini belirleyin. Bucket ve örnek RAM Role değerlerini yapılandırın.

⑩: Ephemeral Storage Size. 100 GiB.

⑪: GPU Driver Version. tesla=550.

Kalıcı OSS depolamasının Name değerini oss-data olarak ayarlayın ve RAM Role değerini EciOssRole olarak ayarlayın.

Konteyner yapılandırması:

⑫: Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

⑬: Image Tag. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

⑭: Startup Command. Aşağıdaki komutları ilgili alanlara kopyalayın.

/bin/bash
-c
vllm serve /oss-data/DeepSeek-R1-Distill-Qwen-7B --port 30000 --served-model-name DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len=16384 --enforce-eager --dtype=half --api-key api-key-example-abc123

Bu komut, model ağırlık dosyalarını paketten okur ve çıkarım hizmetini 30000 bağlantı noktasında başlatır. API anahtarı api-key-example-abc123 olarak ayarlanır.

⑮: container-1 advanced settings seçeneğini genişletin.

⑯: CPU. Değeri 8 vCPU olarak ayarlayın.

⑰: Memory. Değeri 30 GiB olarak ayarlayın.

⑱: GPU. Değeri 1 olarak ayarlayın.

⑲: Storage seçeneğini etkinleştirin ve depolama Add edin.

⑳: Bağlama Yolu. /oss-data

㉑: Next: Other Settings seçeneğine tıklayın.

㉒: Elastic IP Addresses. Auto Create seçeneğini belirleyin.

㉛: Maximum Bandwidth. 200 Mbit/s.

㉜: Confirm Configuration seçeneğine tıklayın ve istendiğinde ölçeklendirme yapılandırmasının oluşturulmasını tamamlayın.

㉝㉞㉟: İstendiğinde ölçeklendirme yapılandırmasını etkinleştirin ve ölçeklendirme grubunu başlatın.

7. Hizmeti başlatın

Önemli

Devam etmeden önce, 4. Adım daki model ağırlık dosyalarının tamamen indirildiğinden emin olun.

Beklenen örnek sayısını ayarlayarak dışa doğru ölçeklendirmeyi tetikleyin. Bu örnekte beş ECI örneğine ölçeklendirme yapılır.

Beklenen örnek sayısını ayarladıktan sonra yeni örneklerin oluşturulmasında bir gecikme olur. İlerlemeyi Scaling Activities sekmesinden izleyebilirsiniz.

Ölçeklendirme grubu ayrıntıları sayfasında, Basic Information sekmesindeki Instance Scaling Overview bölümünde Expected Number of Instances değerini değiştirin.
Modify Instance Scaling Overview iletişim kutusunda Expected Number of Instances anahtarını etkinleştirin, Expected Number of Instances in Group değerini 5 olarak ayarlayın ve ardından OK seçeneğine tıklayın.

Sonraki adımlar

Dify entegrasyonu

**Dify adresinde oturum açın.**
Bir model sağlayıcı ekleyin.
1. Profil resminize tıklayın, Settings seçeneğini belirleyin ve ardından Model Provider'a gidin. OpenAI-API-compatible seçeneğini bulun ve Add seçeneğine tıklayın.
  
  Yüklü değilse, ekran talimatlarını izleyerek model sağlayıcıyı yükleyin.
2. Aşağıdaki yapılandırmaları tamamlayın ve Save seçeneğine tıklayın.
  - Model Type: LLM.
  - Model Name: DeepSeek-R1-Distill-Qwen-7B.
  - API Key: api-key-example-abc123. Bu anahtar, 6. Adımda konteyner grubunun başlatma komutunda yapılandırdığınız api-key ile aynı olmalıdır.
Bir sohbet asistanı uygulaması oluşturun ve etkileşime geçin.
1. Applications sayfasında Create Application seçeneğine tıklayın ve ardından Create Blank Application seçeneğini belirleyin.
2. Create Blank Application iletişim kutusunda uygulama türünü Chatbot olarak ayarlayın.
3. Application Name alanına DeepSeek-R1-7B girin.
4. Create seçeneğine tıklayın.
5. Debug and Preview panelinin üst kısmında geçerli modelin DeepSeek-R1-Distill-Qwen-7B olduğunu onaylayın. Alt kısımdaki Chat with bot giriş kutusuna bir mesaj girin (örneğin, "Kendinizden bahsedin") ve konuşmayı test etmek için gönder düğmesine tıklayın. Chatbot bir yanıt döndürür.

Kaynakları temizleyin

Ücretlenmeyi durdurmak için aşağıdaki kaynakları serbest bırakın.

Ölçeklendirme grubunu silin. 6. Adımda oluşturduğunuz ölçeklendirme grubunu silmek, bunun tarafından otomatik olarak oluşturulan örnekleri de serbest bırakır.
ALB örneğini serbest bırakın ve sunucu grubunu silin. 5. Adımda oluşturduğunuz ALB örneğini ve sunucu grubunu silin.
Kullandıkça öde EIP'yi serbest bırakın. 4. Adımda görüntü önbelleğini oluştururken oluşturulan EIP'yi silin.
Görüntü önbelleğini silin ve ECI örneğini silin. 4. Adımda oluşturduğunuz görüntü önbelleğini ve geçici ECI örneğini silin.
Örnek RAM rolünü silin ve ilkeyi silin. 3. Adımda oluşturduğunuz örnek RAM rolünü ve ilkeyi silin.
Paketi silin. 2. Adımda oluşturduğunuz paketi silin.
VPC'yi silin. 1. Adımda oluşturduğunuz VPC'yi silin.

Üretim ortamı hususları

Üretim ortamları için aşağıdaki iyileştirmeleri göz önünde bulundurun.

Otomatik ölçeklendirmeyi ayarlayın: Maliyetleri optimize etmek için iş yüküne göre örnekleri ölçeklendirin. GPU belleği tabanlı ölçeklendirme için olay tetiklemeli görevleri yapılandırın veya tek bir ALB örneğinin saniyedeki sorgu (QPS) ölçümlerine göre otomatik ölçeklendirme yapın.
Bir NAT ağ geçidi kullanın: Her örneğe bir EIP atamak yerine, ECI örnekleri için paylaşılan internet erişimi sağlamak üzere bir NAT ağ geçidi kullanın.
Özel bir alan adı ve HTTPS ekleyin: Hizmet uç noktası için özel bir alan adı kullanın ve güvenlik için bir HTTPS dinleyicisi yapılandırın. Bir ALB örneği için bir CNAME kaydı yapılandırın ve bir HTTPS dinleyicisi ekleyin.