CPFS AI-Computing Edition mendukung akses file berkinerja tinggi melalui protokol RDMA menggunakan Virtual Storage Channel (VSC). Metode ini direkomendasikan untuk skenario I/O intensif, seperti pelatihan model besar dan pemuatan data inferensi, yang dapat mencapai throughput hingga puluhan GB/detik per node. Jika node komputasi dan sistem file tidak berada dalam domain afinitas storage-komputasi yang sama, Anda dapat menggunakan titik pemasangan VPC sebagai metode akses alternatif.
Apa itu VSC?
Virtual Storage Channel (VSC) adalah teknologi akses penyimpanan berkinerja tinggi yang dikembangkan oleh Alibaba Cloud. Berbasis protokol RDMA, VSC menyediakan akses berlatensi rendah dan berthroughput tinggi dari node komputasi ke sistem file.
Fitur utama
Akses passthrough RDMA: Berbeda dengan stack TCP/IP tradisional, VSC meminimalkan beban CPU dan secara signifikan mengurangi latensi end-to-end.
Throughput tinggi: Memanfaatkan sepenuhnya kinerja maksimum sistem file. Throughput per node meningkat seiring spesifikasi instans.
Hubungan komputasi-penyimpanan yang fleksibel: Anda dapat langsung mengelola koneksi antara instans dan sistem file dengan operasi
attachdandetach, tanpa perlu mengonfigurasi lingkungan jaringan terlebih dahulu. Satu saluran VSC dapat di-attach ke beberapa sistem file sekaligus.
Untuk metrik kinerja lengkap, termasuk throughput, IOPS, dan latensi, lihat Spesifikasi Produk.
Kasus penggunaan khas
Membaca dan menulis checkpoint untuk pelatihan model besar
Memuat model untuk layanan inferensi
Pra-pemrosesan data dengan konkurensi tinggi
Tugas komputasi AI lainnya yang sensitif terhadap I/O
Model resource VSC
Anda mengelola langsung "saluran akses berkecepatan tinggi VSC" sebagai objek resource di Konsol dan OpenAPI.
Satu node komputasi berkorespondensi dengan satu saluran akses berkecepatan tinggi VSC.
Satu saluran akses berkecepatan tinggi VSC dapat di-attach ke multiple sistem file CPFS AI-Computing Edition.
Manajemen saluran VSC mengikuti prinsip "komputasi mengelola saluran, penyimpanan mengelola attachment":
Tanggung Jawab | Aksi | Pemilik |
Manajemen siklus hidup saluran | Create, read, update, dan delete | OpenAPI produk komputasi |
Manajemen attachment penyimpanan |
| OpenAPI CPFS |
Perbandingan akses VSC dan VPC
CPFS AI-Computing Edition mendukung metode akses VSC dan VPC. VSC adalah metode yang direkomendasikan; gunakan VPC untuk akses tambahan lintas domain afinitas storage-komputasi.
Fitur | Akses berkecepatan tinggi VSC | Akses VPC | Deskripsi |
Protokol jaringan | RDMA | TCP | RDMA memberikan latensi end-to-end lebih rendah dan overhead CPU lebih kecil. |
Kasus penggunaan | ID kluster Lingjun dari node komputasi ada dalam daftar HPNZones yang terkait dengan sistem file. | Akses lintas domain afinitas storage-komputasi atau zona ketersediaan. | Gunakan API |
Apakah memerlukan titik pemasangan VPC? | Tidak | Ya | Akses VPC memerlukan pembuatan titik pemasangan VPC. |
Kinerja | Throughput tinggi, latensi rendah | Berdasarkan best-effort, tanpa Service Level Agreement (SLA). | Untuk metrik spesifik, lihat Spesifikasi Produk. |
Perbedaan konseptual (untuk pemahaman):
VSC: Secara langsung membentuk hubungan attach antara instans dan resource penyimpanan tanpa melibatkan abstraksi lapisan jaringan. Hal ini menciptakan koneksi komputasi-penyimpanan yang lebih langsung dan overhead kinerja lebih rendah.
VPC: Pertama-tama membentuk virtual private cloud, lalu menghubungkan resource komputasi dan penyimpanan ke jaringan tersebut. Pengendalian akses bergantung pada Access Control Lists (ACLs) dan grup keamanan.
Rekomendasi: Saat node komputasi dan sistem file CPFS AI-Computing Edition berada dalam domain afinitas storage-komputasi yang sama, prioritaskan penggunaan akses berkecepatan tinggi VSC untuk kinerja optimal.
Menentukan kompatibilitas VSC
Node komputasi hanya dapat menggunakan VSC untuk mengakses sistem file CPFS AI-Computing Edition jika keduanya berada dalam domain afinitas storage-komputasi yang sama. Ikuti langkah-langkah berikut:
Kueri daftar HPNZones yang terkait dengan sistem file: Panggil operasi API CPFS
DescribeFileSystemAssociatedHpnZones. Masukkan ID sistem file untuk mendapatkan daftar ID kluster Lingjun (HPNZones) yang mendukung akses VSC untuk sistem file tersebut.Identifikasi HPNZone dari node komputasi: Periksa ID kluster Lingjun dari node komputasi Anda di Konsol Lingjun atau PAI.
Bandingkan hasilnya:
Jika HPNZone dari node komputasi ada dalam daftar tersebut, Anda dapat menggunakan akses berkecepatan tinggi VSC.
Jika HPNZone dari node komputasi tidak ada dalam daftar tersebut, hal ini menunjukkan akses lintas domain afinitas storage-komputasi. Anda harus menggunakan akses VPC, yang mengharuskan Anda untuk membuat titik pemasangan VPC.
Catatan: Satu sistem file dapat dikaitkan dengan multiple HPNZones. Dukungan VSC tidak memerlukan kecocokan persis HPNZone. Selalu merujuk pada daftar yang dikembalikan oleh operasi API DescribeFileSystemAssociatedHpnZones.API
CPFS menyediakan operasi OpenAPI berikut untuk mengelola asosiasi antara saluran akses berkecepatan tinggi VSC dan sistem file:
API | Deskripsi |
AttachVscToFilesystems | Lihat referensi API: Attach VSC ke Sistem File. |
DetachVscFromFilesystems | Lihat referensi API: Detach VSC dari Sistem File. |
DescribeFilesystemsVscAttachInfo | Lihat referensi API: Kueri Informasi Attachment VSC. |
Catatan: Pembuatan dan penghapusan saluran akses berkecepatan tinggi VSC dikelola melalui OpenAPI produk komputasi terkait. Untuk informasi selengkapnya, lihat dokumentasi produk komputasi tersebut.