All Products
Search

This Product

    Auto Scaling:Cepat deploy layanan inferensi DeepSeek-R1-Distill-Qwen-7B yang elastis dan berdaya tinggi

    Document Center

    Auto Scaling:Cepat deploy layanan inferensi DeepSeek-R1-Distill-Qwen-7B yang elastis dan berdaya tinggi

    Last Updated:Aug 21, 2026

    Kombinasikan grup penskalaan Elastic Container Instance (ECI) dengan Application Load Balancer (ALB) untuk mendeploy layanan inferensi large language model (LLM) yang tersedia lintas zona dan berdaya tinggi.

    Ikhtisar solusi

    Solusi ini mendeploy instans inferensi berbasis ECI di beberapa zona dalam satu wilayah untuk pemulihan bencana tingkat zona. ALB menangani distribusi lalu lintas, dan Object Storage Service (OSS) menyimpan file model. Gambar berikut menunjukkan arsitektur tersebut.

    Manfaat

    • Ketersediaan tinggi: Mendistribusikan workload ke beberapa server untuk menghilangkan titik kegagalan tunggal dan mencegah gangguan layanan.

    • Penskalaan elastis: Grup penskalaan mengelola kluster inferensi. Lakukan skala keluar dengan cepat dengan menyesuaikan jumlah instans ECI atau konfigurasikan penskalaan otomatis untuk menyediakan sumber daya sesuai permintaan berdasarkan beban kerja.

    Prosedur

    1. Rencanakan jaringan kluster. Buat VPC dan vSwitch di beberapa zona.

    2. Buat bucket OSS. Simpan file bobot model.

    3. Konfigurasikan peran RAM instans. Berikan akses instans ECI ke bucket OSS dari Langkah 2.

    4. Siapkan cache gambar. Buat cache gambar untuk mempercepat startup dan unduh bobot model ke OSS.

    5. Buat instans ALB. Instans ALB berfungsi sebagai titik akhir layanan.

    6. Buat grup penskalaan. Kaitkan dengan instans ALB agar instans ECI baru secara otomatis ditambahkan ke kelompok server backend.

    7. Jalankan layanan. Atur jumlah instans yang diharapkan dalam grup penskalaan untuk menjalankan layanan.

    1. Rencanakan jaringan kluster

    Buat Virtual Private Cloud (VPC) dan vSwitches di beberapa zona. Contoh ini menggunakan satu VPC dan dua vSwitch di zona berbeda untuk ketersediaan tinggi.

    Anda dapat menggunakan kembali VPC yang sudah ada dan melewati langkah ini.

    1. Di console, buat satu VPC dan dua vSwitch seperti petunjuk berikut.

      ①②: Di panel navigasi sebelah kiri, klik Virtual Private Cloud, lalu klik Create VPC.

      ③: Region. China (Hangzhou).

      ④: Name. vpc-ess-hangzhou.

      ⑤: IPv4 CIDR. Pilih 192.168.0.0/16.

      vSwitch 1:

      ⑥: Name. vSwitch-j.

      ⑦: Zone. Zone J.

      ⑧: IPv4 CIDR. 192.168.0.0/24.

      ⑨: Klik Add untuk membuat vSwitch 2.

      vSwitch 2:

      ⑩: Name. vSwitch-k.

      ⑪: Zone. Zone K.

      ⑫: IPv4 CIDR. 192.168.1.0/24.

    2. Klik OK dan tunggu hingga VPC dibuat.

    2. Buat bucket OSS

    Buat bucket Object Storage Service (OSS) untuk menyimpan file bobot model. Instans ECI membaca file dari bucket ini.

    Anda dapat menggunakan kembali bucket OSS yang sudah ada dan melewati langkah ini.

    1. Di Object Storage Service console, buat bucket.

      Konfigurasikan parameter utama berikut. Gunakan nilai default untuk parameter lainnya.

      ①: Klik Create Bucket.

      ②: Bucket. Nama ini diperlukan saat Anda memasang storage space nanti.

      ③: Region. Pilih Specific Region dan pastikan wilayahnya sama dengan wilayah instans ECI Anda. Tutorial ini menggunakan China (Hangzhou).

      Akses OSS dari ECI dalam wilayah yang sama menggunakan jaringan internal dan tidak dikenai biaya transfer data. Akses sumber daya OSS dari instans ECS melalui jaringan internal.

    2. Klik OK.

    3. Buat peran RAM instans

    Buat peran RAM instans yang memungkinkan instans ECI membaca file bobot model dari bucket OSS Anda.

    1. Di console, buat peran RAM instans dengan pengaturan berikut.

      ①: Klik Create Role.

      Di panel navigasi sebelah kiri konsol RAM, pilih Identities > Roles.

      ②: Principal Type. Pilih Cloud Service.

      ③: Principal Name. Pilih ECS.

      4. Klik OK dan atur nama untuk peran RAM instans sesuai permintaan.

    2. Di console, buat kebijakan berikut.

      ①: Klik Create Policy.

      ②: Klik JSON Editor.

      ③: Kebijakan ini memberikan izin penuh untuk bucket tertentu. Gunakan skrip kebijakan berikut.

      Penting

      Saat mengonfigurasi kebijakan ini, ganti <bucket_name> dengan Bucket dari bucket yang telah Anda buat.

      {
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "oss:*",
            "Resource": [
                "acs:oss:*:*:<bucket_name>",
                "acs:oss:*:*:<bucket_name>/*"
            ]
        }
    ]
}

      Klik OK dan atur nama untuk kebijakan sesuai permintaan.

    3. Di console, berikan izin kepada peran RAM instans.

      ①②: Klik Grant Permission.

      ③: Principal. Pilih peran RAM instans yang telah Anda buat.

      ④: Policies. Pilih kebijakan yang telah Anda buat.

      Klik OK.

    4. Siapkan cache gambar dan file model

    Buat image cache untuk mempercepat startup instans ECI, dan unduh file bobot model ke OSS.

    1. Di console, buat cache gambar ECI.

      ①②: Klik Create Image Cache.

      Di panel navigasi sebelah kiri konsol Elastic Container Instance, klik Image Cache.

      ③④: Region and Zone. Harus sesuai dengan wilayah VPC dari Langkah 1. Zona harus sesuai dengan salah satu vSwitch dari Langkah 1.

      ⑤⑥: Network. Pilih VPC dan salah satu vSwitch yang Anda buat di Langkah 1.

      ⑦: Elastic IP Addresses. Pilih EIP yang sudah ada. Jika belum ada, klik EIP console untuk membuatnya, lalu kembali, klik ikon refresh image, dan pilih EIP tersebut.

      ⑧: Security Group. Pilih grup keamanan. Jika belum ada, klik Create Security Group untuk membuatnya, lalu kembali dan pilih.

      ⑨: Image Cache Name. vllm.

      ⑩: Cache Size. 100 GB.

      ⑪: Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

      ⑫: Version. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

      ⑬: Centang kotak Elastic Container Instance ECI Service Agreement. ⑭: Klik OK.

      Tunggu hingga cache gambar selesai dibuat (~15 menit). Periksa progres di halaman cache gambar di console.

      Setelah cache gambar dibuat, kolom Status menampilkan Preparing dengan persentase penyelesaian (misalnya 0%), yang menunjukkan bahwa pembuatan sedang berlangsung.

    2. Di console, luncurkan instans ECI sementara untuk mengunduh file bobot model ke bucket OSS.

      ①②: Di panel navigasi sebelah kiri, klik Container Groups, lalu klik Create Container Group.

      ③: Billing Method. pay-as-you-go.

      ④: Region. Harus sesuai dengan wilayah VPC dari Langkah 1. Tutorial ini menggunakan China (Hangzhou).

      ⑤: VPC. Pilih VPC yang Anda buat di Langkah 1.

      ⑥: vSwitch. Pilih vSwitch yang Anda buat di Langkah 1.

      ⑦: Security Group. Atur parameter sesuai petunjuk di halaman.

      Konfigurasi kelompok kontainer:

      ⑧: CPU. 2 vCPU.

      ⑨: Memory. 4 GiB.

      ⑩: After containers run and exit. Pilih Upon Failure.

      Pengaturan lanjutan:

      ⑪: Buka Advanced Configuration.

      ⑫: Aktifkan Automatically Match Image Cache.

      ⑬: Pilih dan tambahkan OSS Persistence.

      ⑭: Name. oss-data.

      ⑮: Bucket. Pilih bucket yang Anda buat di Langkah 2.

      ⑯: RAM Role. Pilih peran RAM instans yang Anda buat di Langkah 3.

      ⑰: Ephemeral Storage Size. Atur nilainya menjadi 100 GiB.

      Konfigurasi kontainer:

      ⑱: Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

      : Tag Gambar. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

      ⑳: Startup Command. Salin perintah berikut ke bidang yang sesuai.

      /bin/bash
-c
git-lfs clone https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git /oss-data/DeepSeek-R1-Distill-Qwen-7B
      Perintah ini menggunakan git-lfs untuk mengkloning model dari repositori komunitas ModelScope ke direktori /oss-data/DeepSeek-R1-Distill-Qwen-7B.

      Pengaturan lanjutan kontainer:

      ㉑: Buka container-1 advanced settings.

      ㉒: CPU. 2 vCPU.

      ㉓: Memory. 4 GiB.

      ㉔: Aktifkan Storage dan Add volume mount.

      ㉕: Pilih oss-data.

      ㉖: Mount Path. /oss-data.

      ㉗: Klik Next: Other Settings.

      ㉘: Elastic IP Addresses. Pilih Auto Create.

      ㉙: Maximum Bandwidth. Atur nilainya menjadi 200 Mbit/s.

      ㉚: Klik Confirm Configuration dan selesaikan pembuatan instans ECI sesuai petunjuk.

      Pengunduhan file bobot model dimulai secara otomatis setelah instans ECI dibuat. Lanjutkan ke Langkah 5 dan Langkah 6 selagi pengunduhan berlangsung.

      Cara memeriksa apakah pengunduhan telah selesai

      Setelah pengunduhan selesai, status instans ECI berubah menjadi Run successfully di ECI console.

      Di Object Storage Service console, folder bernama DeepSeek-R1-Distill-Qwen-7B dibuat di dalam bucket.

    5. Buat instans ALB

    Buat instans Application Load Balancer (ALB) sebagai titik akhir layanan.

    1. Di console, buat instans ALB.

      ①②: Klik Create ALB.

      Di panel navigasi sebelah kiri, pilih ALB > Instances.

      ③: Region. Pilih China (Hangzhou) agar konsisten dengan VPC yang Anda buat di Langkah 1.

      ④: Network Type. Pilih Public untuk menyediakan layanan melalui internet.

      ⑤: VPC. Pilih VPC yang Anda buat di Langkah 1.

      ⑥: Zone dan vSwitch. Pilih vSwitch yang Anda buat di Langkah 1.

      ⑦: Instance Name. alb-eci-deepseek-7B.

      ⑧: Klik Buy Now lalu selesaikan pembuatan instans ALB sesuai petunjuk.

    2. Di console, buat listener dan kelompok server backend untuk instans ALB.

      ①②: Temukan instans ALB yang telah Anda buat dan klik Create Listener di kolom Actions.

      Jika Anda tidak menemukan instans ALB, ganti ke wilayah berbeda di pojok kiri atas halaman.

      ③: Pilih HTTP sebagai protokol.

      ④: Atur port listener ke 80.

      ⑤: Klik Next.

      ⑥: Klik Create Server Group.

      ⑦: Server Group Type. Pilih Server.

      ⑧: Server Group Name. eci-deepseek-7B.

      ⑨: VPC. Pilih VPC yang Anda buat di Langkah 1. Parameter ini dipilih secara otomatis.

      ⑩: Select Backend Server Protocol. HTTP.

      ⑪⑫: Aktifkan Health Check.

      ⑬: Health check method. Pilih GET.

      ⑭: Jalur pemeriksaan kesehatan. Atur nilainya menjadi /health. Setelah layanan inferensi dimulai, ALB menggunakan jalur /health untuk menentukan status layanan.

      ⑮⑯⑰: Klik Create, klik Next, lalu klik Submit. Tunggu hingga pembuatan selesai.

    6. Buat grup penskalaan

    Buat grup penskalaan yang dikaitkan dengan instans ALB. Grup ini secara otomatis mengelola instans ECI dan menambahkannya ke kelompok server backend ALB.

    1. Di Auto Scaling console, buat grup penskalaan dan kaitkan dengan instans ALB.

      ①②③: Klik Create Scaling Group.

      Di panel navigasi sebelah kiri, klik Scaling Groups. Di bilah navigasi atas, pilih wilayah target (misalnya China (Hangzhou)).

      ④: Scaling Group Name. deepseek-7B-servers.

      ⑤: Type. Pilih ECI.

      ⑥: Instance Configuration Source. Pilih Create from Scratch.

      ⑦: Minimum Number of Instances. Atur parameter ini ke 0. Ini adalah jumlah minimum instans dalam grup penskalaan.

      ⑧: Maximum Number of Instances. Atur parameter ini ke 10. Ini adalah jumlah maksimum instans dalam grup penskalaan.

      ⑨: VPC. Pilih VPC yang Anda buat di Langkah 1.

      ⑩: vSwitch. Pilih semua vSwitch yang Anda buat di Langkah 1.

      ⑪: Klik Show Advanced Settings.

      Pengaturan lanjutan:

      ⑫⑬: Aktifkan Expected Number of Instances dan atur nilainya ke 0. Ini akan membuat grup penskalaan kosong.

      ⑭: Klik Add Server Group dan atur Type ke ALB.

      ⑮: Server Group. Pilih kelompok server yang Anda buat di Langkah 5.

      ⑯: Port. Pilih 30000. Layanan inferensi yang dideploy di instans ECI akan menggunakan port ini untuk menyediakan layanan.

      ⑰: Klik Create. Tunggu hingga grup penskalaan dibuat. Kemudian, Anda dapat membuat konfigurasi penskalaan sesuai petunjuk.

    2. Di Auto Scaling console, buat konfigurasi penskalaan.

      Konfigurasi penskalaan adalah templat untuk membuat instans selama peristiwa skala keluar.

      ①②③: Temukan grup penskalaan yang telah Anda buat dan klik ID-nya untuk membuka halaman detail.

      Di panel navigasi sebelah kiri, klik Scaling Groups. Di bilah navigasi atas, pilih China (Hangzhou), lalu temukan grup penskalaan target dalam daftar.

      ④⑤⑥: Klik Instance Configuration Sources > Scaling Configuration > Create Scaling Configuration.

      ⑦: Billing Method. Pilih Pay-As-You-Go.

      ⑧: Pilih Security Group.

      Konfigurasi kelompok kontainer:

      ⑨: Pilih Specify Instance Type.

      ⑩: Instance Type. ecs.gn7i-c8g1.2xlarge.

      ⑪: Pilih Automatically Match Image Cache.

      ⑫: Buka Advanced Configuration.

      ⑬⑭⑮⑯: Pilih OSS Persistence. Konfigurasikan Bucket dan RAM Role instans.

      ⑰: Ephemeral Storage Size. 100 GiB.

      ⑱: GPU Driver Version. tesla=550.

      Atur Name penyimpanan persisten OSS menjadi oss-data, dan atur RAM Role menjadi EciOssRole.

      Konfigurasi kontainer:

      : Image. egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm.

      ⑳: Image Tag. 0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04.

      ㉑: Startup Command. Salin perintah berikut ke bidang yang sesuai.

      /bin/bash
-c
vllm serve /oss-data/DeepSeek-R1-Distill-Qwen-7B --port 30000 --served-model-name DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len=16384 --enforce-eager --dtype=half --api-key api-key-example-abc123
      Perintah ini membaca file bobot model dari OSS dan menjalankan layanan inferensi pada port 30000. Kunci API diatur ke api-key-example-abc123.

      ㉒: Buka container-1 advanced settings.

      ㉓: CPU. Atur nilainya menjadi 8 vCPU.

      ㉔: Memory. Atur nilainya menjadi 30 GiB.

      ㉕: GPU. Atur nilainya menjadi 1.

      ㉖㉗: Aktifkan Storage dan Add penyimpanan.

      ㉘: Mount Path. /oss-data

      ㉙: Klik Next: Other Settings.

      ㉚: Elastic IP Addresses. Pilih Auto Create.

      ㉛: Maximum Bandwidth. 200 Mbit/s.

      ㉜: Klik Confirm Configuration dan selesaikan pembuatan konfigurasi penskalaan sesuai petunjuk.

      ㉝㉞㉟: Aktifkan konfigurasi penskalaan dan jalankan grup penskalaan sesuai petunjuk.

    7. Jalankan layanan

    Penting

    Sebelum melanjutkan, pastikan file bobot model dari Langkah 4 telah selesai diunduh.

    Picu skala keluar dengan mengatur jumlah instans yang diharapkan. Contoh ini menskalakan ke lima instans ECI.

    Setelah Anda menyesuaikan jumlah instans yang diharapkan, terdapat jeda sebelum instans baru dibuat. Anda dapat memantau progres di tab Scaling Activities.

    1. Di halaman detail grup penskalaan, pada tab Basic Information, di bagian Instance Scaling Overview, ubah nilai Expected Number of Instances.

    2. Di kotak dialog Modify Instance Scaling Overview, aktifkan sakelar Expected Number of Instances, atur Expected Number of Instances in Group menjadi 5, lalu klik OK.

    Langkah selanjutnya

    Integrasi Dify

    1. Login ke Dify.

    2. Tambahkan penyedia model.

      1. Klik foto profil Anda, pilih Settings, lalu buka Model Provider. Temukan OpenAI-API-compatible dan klik Add.

        Jika belum terinstal, ikuti petunjuk di layar untuk menginstal penyedia model.

      2. Lengkapi konfigurasi berikut dan klik Save.

        • Model Type: LLM.

        • Model Name: DeepSeek-R1-Distill-Qwen-7B.

        • API Key: api-key-example-abc123. Kunci ini harus sama dengan api-key yang Anda konfigurasikan dalam perintah startup untuk kelompok kontainer di Langkah 6.

          • URL titik akhir API:

          Penting

          Ganti <alb_domain_name> dengan nama domain instans ALB Anda.

          Lihat nama domain instans ALB

          Buka console, temukan instans ALB yang Anda buat di Langkah 5, lalu lihat nama domainnya.

          Di kolom DNS Name daftar instans, temukan nama domain instans ALB, yang memiliki format mirip alb-xxx.cn-hangzhou.alb.aliyuncsslb.com.

          http://<alb_domain_name>/v1

    3. Buat dan berinteraksi dengan aplikasi asisten chat.

      1. Di halaman Applications, klik Create Application, lalu pilih Create Blank Application.

      2. Di kotak dialog Create Blank Application, atur tipe aplikasi menjadi Chatbot.

      3. Di bidang Application Name, masukkan DeepSeek-R1-7B.

      4. Klik Create.

      5. Di bagian atas panel Debug and Preview, pastikan model saat ini adalah DeepSeek-R1-Distill-Qwen-7B. Di kotak input Chat with bot di bagian bawah, masukkan pesan (misalnya, "Tell me about yourself"), lalu klik tombol kirim untuk menguji percakapan. Chatbot akan mengembalikan respons.

    Bersihkan sumber daya

    Hapus sumber daya berikut untuk menghentikan biaya.

    1. Hapus grup penskalaan. Menghapus grup penskalaan yang Anda buat di Langkah 6 juga akan melepaskan instans yang dibuat secara otomatis olehnya.

    2. Lepaskan instans ALB dan hapus kelompok server. Hapus instans ALB dan kelompok server yang Anda buat di Langkah 5.

    3. Lepaskan EIP bayar sesuai penggunaan. Hapus EIP yang dibuat saat Anda membuat cache gambar di Langkah 4.

    4. Hapus cache gambar dan hapus instans ECI. Hapus cache gambar dan instans ECI sementara yang Anda buat di Langkah 4.

    5. Hapus peran RAM instans dan hapus kebijakan. Hapus peran RAM instans dan kebijakan yang Anda buat di Langkah 3.

    6. Hapus bucket OSS. Hapus bucket OSS yang Anda buat di Langkah 2.

    7. Hapus VPC. Hapus VPC yang Anda buat di Langkah 1.

    Pertimbangan untuk lingkungan produksi

    Pertimbangkan peningkatan berikut untuk lingkungan produksi.