Suite AI cloud-native adalah solusi Container Service for Kubernetes (ACK) yang memanfaatkan teknologi dan produk AI cloud-native. Solusi ini membantu Anda sepenuhnya memanfaatkan arsitektur dan teknologi cloud-native untuk dengan cepat mengembangkan sistem produksi berbasis AI di ACK, serta menyediakan optimasi menyeluruh untuk aplikasi atau sistem AI dan pembelajaran mesin. Kluster Edge ACK mempertahankan seluruh fungsi suite AI yang tersedia di lingkungan cloud, sementara beberapa fitur mungkin terbatas di lingkungan edge. Topik ini menjelaskan kemampuan dan batasan penggunaan suite AI pada Kluster Edge ACK di berbagai node dan jenis jaringan.
Batasan Penggunaan
Item | Batasan |
Komponen suite AI | Perhatikan batasan penggunaan untuk komponen tertentu yang Anda gunakan, termasuk versi kluster dan versi Driver NVIDIA. Untuk informasi lebih lanjut, lihat Pengenalan Komponen dan Catatan Rilis. |
Kluster Edge ACK | Hanya sistem operasi dan model GPU tertentu pada node edge yang didukung. Untuk informasi lebih lanjut, lihat Tambahkan node edge. |
Ikhtisar Kemampuan
Kluster Edge ACK dan Kluster Pro ACK memiliki dua perbedaan utama:
Konektivitas Jaringan: Kluster Pro ACK memerlukan semua node dalam kluster berada di virtual private cloud (VPC) yang sama dan terhubung, sedangkan Kluster Edge ACK memiliki konfigurasi jaringan yang lebih kompleks berdasarkan kelompok node. Kemampuan suite AI dapat bervariasi di bawah kondisi jaringan yang berbeda.
Kelompok node on-cloud: Konfigurasi jaringan untuk kelompok node on-cloud sama dengan Kluster Pro ACK. Ini mengelola Elastic Compute Service (ECS) node yang terhubung dalam VPC yang sama.
Kelompok node edge khusus: Kelompok node edge khusus mengelola node edge yang terhubung ke cloud melalui sirkuit Express Connect. Ini mencapai koneksi jaringan antara pusat data dan cloud.
Kelompok node edge dasar: Kelompok node edge dasar mengelola node edge yang terhubung melalui Internet. Konektivitas jaringan antara node edge tidak dapat dijamin.
Lingkungan Node: Kluster Edge ACK terutama digunakan untuk mengelola sumber daya lokal Anda. Dibandingkan dengan Instance ECS, lingkungan node lebih kompleks dan mencakup informasi seperti model GPU, Driver GPU, dan versi OS. Selain itu, isolasi Memori GPU tidak didukung.
Kemampuan Suite AI | Nama komponen terkait | Lingkungan cloud | Lingkungan edge | Referensi | |
Kelompok node on-cloud | Kelompok node edge khusus | Kelompok node edge dasar | |||
Elastisitas | ack-alibaba-cloud-metrics-adapter | Didukung | Didukung | Didukung | |
Akselerasi | Didukung | Didukung | Didukung | ||
Penjadwalan (penjadwalan tugas batch, berbagi GPU, dan kesadaran topologi GPU) | Didukung | Didukung kecuali isolasi Memori GPU | Didukung kecuali isolasi Memori GPU | ||
Penjadwalan (antrian tugas) | Didukung | Didukung | Didukung | Gunakan ack-kube-queue untuk mengelola beban kerja AI dan pembelajaran mesin | |
Mode interaksi (Arena) | Didukung | Didukung | Didukung | ||
Mode interaksi (konsol) | ack-ai-dashboard ack-mysql | Didukung | Didukung | Didukung | |
Alur Kerja | Didukung | Didukung | Didukung | ||
Pemantauan | ack-arena-exporter | Didukung | Didukung | Didukung | |
Dalam kelompok node edge, kemampuan akselerasi suite AI hanya dapat digunakan di kelompok node edge dengan konektivitas jaringan antar node.
Cara Penggunaan
Berdasarkan arsitektur cloud-edge dari Kluster Edge ACK, kami merekomendasikan Anda mengelola sumber daya yang berbeda melalui kelompok node saat menggunakan suite AI.
Kelompok node manajemen: Kelompok node on-cloud yang digunakan untuk menyebarkan komponen manajemen suite AI.
Jenis kelompok node ini tidak memerlukan sumber daya GPU.
Secara default, kelompok node on-cloud default-nodepool yang secara otomatis dibuat oleh Kluster Edge ACK digunakan sebagai kelompok node manajemen.
Untuk memanfaatkan semua fitur suite AI, kelompok node harus diperluas setidaknya menjadi 4 node untuk memastikan sumber daya yang cukup untuk operasi komponen yang tepat. Untuk informasi lebih lanjut, lihat Buat dan kelola kelompok node.
Kelompok node elastis: Kelompok node on-cloud dengan auto scaling diaktifkan.
Untuk inferensi elastis, Anda dapat menggunakan jenis kelompok node ini untuk mencapai penskalaan server dinamis berdasarkan kebutuhan bisnis Anda.
Kelompok node edge: Mengelola berbagai jenis node di pusat data.
Kami merekomendasikan Anda menggunakan kelompok node edge untuk mengelola node terkait berdasarkan atribut mereka. Misalnya, Anda dapat mengkategorikannya ke dalam kelompok node AMD dan kelompok node berbasis ARM sesuai dengan arsitektur CPU, atau ke dalam kelompok node yang menggunakan sirkuit Express Connect dan kelompok node untuk Internet berdasarkan kondisi jaringan.