Saat membuat instans Data Science Workshop (DSW) dari kelompok sumber daya publik pay-as-you-go, sistem disk berukuran 100 GB disediakan secara default. Jika ruang tersebut tidak mencukupi, Anda dapat memperluas sistem disk atau memasang dataset. Topik ini menjelaskan kelebihan, kekurangan, serta skenario penggunaan masing-masing metode.
Perbandingan cepat
Fitur | Perluasan Disk Sistem | Pemasangan Dataset |
Kecepatan baca/tulis | Cepat | Lebih lambat. Kecepatan tergantung pada jenis penyimpanan yang dipasang, seperti Object Storage Service (OSS), NAS, atau Cloud Parallel File Storage (CPFS). |
Kemudahan Perluasan | Tinggi. Perluasan bersifat sederhana dan tidak mengganggu layanan. | Memerlukan konfigurasi tambahan dan langkah teknis. |
Persistensi | Rendah. Konten pada sistem disk dihapus saat Anda menghapus instans DSW. | Tinggi. Data dipertahankan dalam penyimpanan cloud, seperti OSS, NAS, dan CPFS. |
Berbagi Data | Tidak didukung. | Didukung. Data dapat dibagikan dengan beberapa instans dan produk cloud. |
Keamanan Data | Relatif rendah. | Tinggi. Data disimpan secara persisten dalam penyimpanan cloud, seperti OSS, NAS, dan CPFS. |
Skenario | Operasi I/O tinggi dan penyimpanan sementara. | Penyimpanan persisten, akses bersama, dan keamanan data. |
Detail solusi
Metode 1: Memperluas sistem disk
Kelebihan:
Kecepatan baca/tulis cepat: Sistem disk biasanya merupakan perangkat penyimpanan berkinerja tinggi yang menawarkan kecepatan baca dan tulis cepat, sehingga cocok untuk operasi yang memerlukan kinerja I/O tinggi.
Mudah diperluas: Memperluas sistem disk hanya memerlukan perubahan konfigurasi yang sederhana. Setelah diperluas, konten disk tetap dipertahankan meskipun instans tidak digunakan dalam waktu lama. Konten tersebut hanya dihapus saat Anda menghapus instans secara manual.
Kekurangan:
Sulit berbagi data: Sistem disk hanya terpasang pada satu instans. Oleh karena itu, datanya tidak dapat dibagikan di antara beberapa instans.
Tidak persisten: Data pada sistem disk tidak bersifat persisten. Meskipun data tetap ada jika Anda menghentikan instans, data tersebut akan dihapus permanen saat Anda menghapus instans DSW.
Tidak mendukung scale-in: Setelah Anda memperluas sistem disk, Anda tidak dapat melakukan skala-masuk.
Penagihan untuk sistem disk yang diperluas tetap berlanjut setelah instans dihentikan.
Setelah Anda memperluas sistem disk, penagihan untuk resource komputasi berhenti saat Anda menghentikan instans pay-as-you-go. Namun, penagihan untuk storage space yang diperluas tetap berlangsung karena masih menggunakan resource disk. Untuk menghentikan semua biaya, Anda harus melakukan backup data dan kemudian menghapus instans.
Skenario:
Penyimpanan sementara: Cocok untuk skenario yang memerlukan penyimpanan sementara dan akses data cepat.
Operasi I/O tinggi: Cocok untuk aplikasi yang membutuhkan kecepatan baca dan tulis tinggi, seperti database, pencatatan log, dan analisis data.
Metode 2: Memasang dataset
Keuntungan:
Penyimpanan persisten: Data disimpan dalam dataset pada layanan penyimpanan persisten, seperti OSS, NAS, atau CPFS. Data tersebut independen dari siklus hidup instans DSW dan tidak hilang meskipun Anda menghentikan atau menghapus instans.
Berbagi data: Anda dapat membagikan data dengan instans DSW lain atau produk cloud lainnya, yang dapat membaca data dari path mount yang sama.
Keamanan data: Menyimpan data dalam dataset memberikan keandalan dan keamanan lebih tinggi dibandingkan menyimpannya pada sistem disk.
Kekurangan:
Kecepatan baca/tulis lebih lambat: Mengakses data dalam dataset bisa lebih lambat dibandingkan mengakses data pada sistem disk.
Konfigurasi tambahan: Memasang dataset memerlukan konfigurasi dan manajemen tambahan, yang membutuhkan pengetahuan teknis tertentu. Untuk informasi selengkapnya, lihat Mount a dataset, OSS, NAS, or CPFS.
Skenario:
Penyimpanan persisten: Cocok untuk data yang perlu disimpan jangka panjang, seperti training dataset, parameter model, dan data hasil.
Akses bersama: Cocok untuk skenario di mana beberapa instans atau pengguna perlu mengakses dan memproses dataset yang sama, seperti dalam proyek kolaboratif dan alur kerja tim.
Keamanan data: Cocok untuk aplikasi yang memerlukan ketahanan dan keamanan data tingkat tinggi.
Dokumen terkait
Upload and download files: Jika file berukuran lebih dari 5 GB, unggah file tersebut ke Bucket OSS. Kemudian, buat dataset OSS dan pasang ke instans DSW. Hal ini memungkinkan Anda membaca data langsung dari OSS di dalam instans DSW.