Buat AI/Machine Learning di Kubernetes
Cloud-native AI menyediakan serangkaian fitur dan layanan penting untuk membantu klien membuat platform AI, mempercepat beban kerja AI, dan menyederhanakan MLOps.
Skalabilitas Resource
Meningkatkan utilisasi GPU dan CPU serta meningkatkan skalabilitas resource heterogen.
Penjadwalan Efisien
Menjadwalkan task AI dan big data secara efisien serta menyediakan dukungan end-to-end untuk seluruh proses produksi AI.
Akses Data yang Dipercepat
Meningkatkan performa akses data dan mengintegrasikan sumber data heterogen.
Observabilitas
Mendukung berbagai metode untuk mengamati task, kuota user, dan resource.
Fleksibilitas dan Ekstensibilitas
Memungkinkan Anda membuat platform cloud-native AI kustom dengan memodifikasi arsitektur yang dapat diperluas berbasis komponen.
Kubernetes Standar
Berjalan di Kubernetes standar dan kompatibel dengan cloud publik, Apsara Stack, cloud hibrida, serta kluster edge ACK.
Fitur
Utilisasi Resource Heterogen yang Efisien
Mendukung penjadwalan GPU, berbagi GPU, dan isolasi memori. Anda dapat mengonfigurasikan berbagai kebijakan untuk mengalokasikan GPU dan memantau konsumsi resource GPU dari beberapa dimensi.
Performa Akses Data yang Ditingkatkan
Memisahkan komputasi dan storage. Fluid mengabstraksi data untuk aplikasi cloud-native AI dan big data guna mempercepat akses data. Fluid juga meningkatkan isolasi keamanan data dan menghilangkan silo data yang disebabkan oleh berbagai tipe storage.
Penjadwalan Task AI
Mendukung berbagai kebijakan penjadwalan (seperti gang scheduling, capacity scheduling, dan binpack scheduling) untuk memenuhi persyaratan task AI dan meningkatkan utilisasi resource kluster.
Auto Scaling Resource Heterogen
Melakukan pergeseran beban cerdas untuk mencegah pemborosan resource cloud. Cloud-native AI juga mendukung pelatihan model elastis dan inference berbasis model.
Pemantauan Task Kluster, Pengguna, dan Sumber Daya
Menyediakan dashboard monitoring untuk task, kuota user, dan resource kluster untuk membantu Anda mengevaluasi input dan output.
Skenario
Manfaat
-
Alokasi Resource Berdasarkan Grup Project
Anda dapat membagi anggota project ke dalam grup yang terisolasi. Kemudian, Anda dapat mengalokasikan dan mengisolasi resource berdasarkan grup atau mengelola izin dari berbagai grup.
-
Isolasi dan Berbagi antar User
Anda dapat mengalokasikan resource cluster ke grup user berdasarkan kebutuhan bisnis Anda. Anda juga dapat mengelola izin user di setiap grup. Izin mencakup izin baca dan tulis user pada job, serta izin baca dan tulis job pada data.
-
Elastic Quotas
Anda dapat menggunakan grup kuota Elastic untuk penjadwalan kapasitas guna berbagi resource dan mengalokasikan resource kepada user dengan tepat. Hal ini meningkatkan utilisasi resource keseluruhan dari cluster.
Manfaat
-
Dukungan Native untuk Abstraksi Dataset
AI Cloud-native mengemas kemampuan fundamental yang diperlukan oleh aplikasi intensif data ke dalam fungsi. Hasilnya: akses data yang efisien dan berkurangnya biaya manajemen data heterogen.
-
Preload dan Akselerasi Data di Cloud
Fluid menggunakan engine caching terdistribusi untuk mendukung preload dan akselerasi data di cloud. Hal ini memastikan observabilitas, portabilitas, dan skalabilitas horizontal otomatis dari data yang di-cache.
-
Orkestrasi Kolaboratif Data dan Aplikasi
Saat Anda menjadwalkan aplikasi dan data di cloud, Anda dapat mengoordinasikan orkestrasi aplikasi dan data berdasarkan karakteristik dan lokasi untuk meningkatkan performa keseluruhan.
-
Manajemen Namespace
Anda dapat mengakses data dari beberapa sumber data secara bersamaan dalam satu dataset. Sumber data mencakup Object Storage Service (OSS), Hadoop Distributed File System (HDFS), Ceph, dan layanan penyimpanan lainnya. Ini cocok untuk skenario hybrid cloud.
-
Manajemen Sumber Data Heterogen
Anda dapat mengakses data dari beberapa sumber data secara bersamaan dalam satu dataset. Sumber data mencakup Object Storage Service (OSS), Hadoop Distributed File System (HDFS), Ceph, dan layanan penyimpanan lainnya. Ini cocok untuk skenario hybrid cloud.
Manfaat
-
Berbagi dan Penjadwalan GPU
Jalankan beberapa container pada satu GPU melalui berbagi dan penjadwalan GPU.
-
Penjadwalan GPU Sadar Topologi
Pilih kombinasi GPU yang sesuai untuk mencapai kecepatan pelatihan optimal selama penjadwalan GPU.
-
Penjadwalan Binpack
Job dialokasikan ke satu node pada awalnya. Jika node memiliki resource yang tidak mencukupi, job dialokasikan ke node lain. Hal ini meminimalkan transmisi data lintas node dan mencegah fragmentasi resource.
-
Gang Scheduling
Sumber daya hanya dialokasikan ke job ketika semua subtugas job tersebut memiliki sumber daya yang cukup. Hal ini mencegah deadlock sumber daya akibat job besar mengambil alih sumber daya job kecil.
Manfaat
-
Arena AI Toolkit
Baris perintah dan SDK untuk Go, Java, dan Python kompatibel dengan sumber daya dasar heterogen. Kelola lingkungan, jadwalkan tugas, alokasikan GPU, dan pantau sumber daya secara sederhana.
-
Toolkit ini kompatibel dengan berbagai framework deep learning, seperti TensorFlow, PyTorch, Caffe, Message Passing Interface (MPI), dan Horovod. Toolkit ini mencakup seluruh proses Machine Learning Model Operationalization Management (MLOps), termasuk manajemen dataset pelatihan, manajemen tugas AI, pengembangan model, pelatihan terdistribusi, evaluasi, dan rilis model inference.
-
Konsol R&D menyediakan lingkungan pengembangan algoritma sesuai permintaan untuk mengelola seluruh siklus hidup R&D. Operasinya mencakup manajemen notebook, manajemen tugas AI, manajemen model, dan rilis model.
Manfaat
-
Dashboard untuk Utilisasi GPU Real-Time
Anda dapat memantau utilisasi resource dari beberapa dimensi secara real time.
-
Manajemen dan Akselerasi Dataset
Anda dapat mempercepat akses ke dataset yang ada dengan satu klik untuk meningkatkan efisiensi.
-
Manajemen Pengguna dan Grup Pengguna
Buat pengguna dan grup pengguna berdasarkan proyek serta kelola izin dan kuota pengguna secara granular.
-
Elastic Quota Management
Penjadwalan kapasitas memungkinkan grup user untuk berbagi resource secara dinamis.
