All Products
Search

This Product

    Platform For AI:Manage integrated training and inference resources

    Document Center

    Platform For AI:Manage integrated training and inference resources

    Last Updated:Apr 03, 2026

    Dalam lingkungan multi-tim, Anda perlu mengalokasikan sumber daya komputasi secara tepat untuk memastikan operasional berjalan efisien. Topik ini menjelaskan cara membuat kuota dan mengalokasikan resource kepada tim yang berbeda guna mencapai manajemen resource yang efisien.

    Background information

    Example

    Total 128 GPU dibeli sebagai sumber daya komputasi AI untuk Tim A, Tim B, dan Tim C dengan persyaratan sebagai berikut:

    • Tim A menjalankan layanan inferensi dan memerlukan resource yang dijamin.

    • Tim B dan Tim C menjalankan pekerjaan pelatihan.

    • Layanan inferensi Tim A memiliki prioritas lebih tinggi daripada pekerjaan pelatihan. Ketika Tim A membutuhkan lebih banyak resource, sistem dapat menarik kembali resource dari pekerjaan pelatihan agar layanan inferensi tetap berjalan dengan baik.

    • Resource untuk Tim B dan Tim C dapat disesuaikan secara dinamis berdasarkan kebutuhan aktual.

    • Tim B dan Tim C dapat mengelola resource dan pekerjaan mereka sendiri secara independen.

    Overview

    Gambar sebelumnya menggambarkan skenario contoh tersebut. Solusinya adalah sebagai berikut:

    • Buat kuota induk bernama Quota1 dengan 128 GPU dan aktifkan preemption tingkat anak. Kemudian, buat dua kuota anak: Quota1.1 (48 GPU) dan Quota1.2 (80 GPU).

    • Buat workspace-a untuk Tim A dan asosiasikan dengan Quota1 untuk menerapkan layanan inferensi EAS.

    • Buat workspace-b untuk Tim B dan asosiasikan dengan Quota1.1 untuk menjalankan pekerjaan pelatihan DLC.

    • Buat workspace-c untuk Tim C dan asosiasikan dengan Quota1.2 untuk menjalankan instans DSW guna pengembangan model.

    Procedure

    1. Persiapkan sumber daya komputasi AI (sumber daya komputasi umum atau sumber daya Lingjun). Untuk informasi selengkapnya, lihat Resource pool overview. Lewati langkah ini jika Anda telah membeli sumber daya komputasi AI.

    2. Buat kuota.

      1. Buat kuota bernama Quota1 dengan parameter utama berikut. Untuk informasi selengkapnya, lihat Create a resource quota atau General computing resource quotas.

        • Specifications/Resources: Pilih spesifikasi resource, misalnya 128 GPU.

        • Aktifkan sakelar Child-level Preemption.

      2. Pada kolom Actions untuk Quota1, klik New Child-level Resource Quota untuk membuat dua kuota anak berikut. Untuk detailnya, lihat Create parent-child quotas.

        • Buat kuota anak bernama Quota1.1 dengan 48 GPU.

        • Buat kuota anak bernama Quota1.2 dengan 80 GPU.

    3. Buat workspace berikut dan asosiasikan workspace tersebut dengan kuota. Untuk informasi selengkapnya, lihat Create and manage workspaces.

      • Buat workspace bernama workspace-a untuk Tim A dan asosiasikan workspace tersebut dengan Quota1.

      • Buat workspace bernama workspace-b untuk Tim B dan asosiasikan workspace tersebut dengan Quota1.1.

      • Buat workspace bernama workspace-c untuk Tim C dan asosiasikan workspace tersebut dengan Quota1.2.

    4. Berikan izin administrator workspace kepada setiap tim. Untuk informasi selengkapnya, lihat Manage a workspace. Untuk informasi tentang jenis izin lainnya, lihat Roles and permissions.

    5. Buat layanan inferensi dan pekerjaan pelatihan.

      • Tim A membuat layanan inferensi di workspace-a. Untuk informasi selengkapnya, lihat Service deployment.

      • Tim B membuat pekerjaan DLC di workspace-b. Untuk informasi selengkapnya, lihat Create a training job.

      • Tim C membuat instans DSW di workspace-c. Untuk informasi selengkapnya, lihat Create a DSW instance.

    Scenarios

    Scenario 1: Inference service preempts resources from training jobs

    Seorang administrator membuka halaman Resource Quota, mengklik kuota induk Quota1, lalu pada tab Overview, mengaktifkan sakelar Child-level Preemption.image

    Ketika Tim A mengirimkan layanan inferensi baru di workspace-a tetapi resource tidak mencukupi karena pekerjaan pelatihan dari Tim B dan Tim C, sistem secara otomatis menarik kembali resource dari pekerjaan pelatihan tersebut agar layanan inferensi dapat berjalan dengan baik.

    Scenario 2: Reallocate resources between teams

    Administrator dapat menggunakan fitur penskalaan kuota untuk menyesuaikan resource untuk Quota1.1 dan Quota1.2 berdasarkan kebutuhan Tim B dan Tim C. Untuk detailnya, lihat Scale quotas.image

    • Tingkatkan jumlah GPU Quota1.1 dari 48 menjadi 56 (+8 GPU).

    • Kurangi jumlah GPU Quota1.2 dari 80 menjadi 72 (-8 GPU).

    Scenario 3: Isolate permissions between teams

    Quota1.1 ditugaskan ke workspace-b untuk Tim B, dan Quota1.2 ditugaskan ke workspace-c untuk Tim C. Konfigurasi ini memungkinkan Tim B dan Tim C mengelola izin untuk resource dan pekerjaan mereka masing-masing secara independen dalam workspace mereka. Untuk informasi selengkapnya, lihat Workspace Scheduling Center.image