Layanan penyimpanan file berkinerja-tinggi
Cloud Parallel File Storage (CPFS) adalah sistem file paralel yang terkelola sepenuhnya yang disediakan oleh Alibaba Cloud. Anda dapat menggunakan CPFS dalam skenario di mana komputasi kinerja tinggi diperlukan.
CPFS menyediakan namespace terpadu dan mendukung akses bersamaan dari ratusan mesin. CPFS juga menyediakan Throughput I/O puluhan GB/s dan jutaan IOPS untuk memastikan latensi sub-milidetik.
Sistem file CPFS dapat digunakan dalam bisnis I/O-intensif yang membutuhkan throughput tinggi dan IOPS tinggi, dan melibatkan sejumlah besar data, seperti Pelatihan AI, mengemudi otonom, komputasi genomik, rendering film, eksplorasi minyak, prakiraan cuaca, dan emulasi untuk perangkat lunak electronic design automation (EDA).
Spesifikasi
Baseline 400 MB/s/TiB (Pratinjau Undangan CPFS for Lingjun)
-
![]()
IOPS: hingga 30 juta
-
![]()
Throughput I/O: hingga 2 TB/s
-
![]()
Rata-rata latensi untuk membaca file 4 KiB dari
server soket tunggal: 0,25 md -
![]()
Rata-rata latensi untuk menulis file 4 KiB ke
server soket tunggal: 0,6 md
IOPS: hingga 30 juta
Baseline 200 MB/s/TiB
-
![]()
IOPS: hingga 2,8 juta
-
![]()
Throughput I/O: hingga 100.000 Mbit/s
-
![]()
Rata-rata latensi untuk membaca file 4 KiB dari
server soket tunggal: 0,4 md -
![]()
Rata-rata latensi untuk menulis file 4 KiB ke
server soket tunggal: 0,6 md
Mendukung migration data antara OSS dan CPFS
Baseline 100 MB/s/TiB
-
![]()
IOPS: hingga 2,8 juta
-
![]()
Throughput I/O: hingga 100.000 Mbit/s
-
![]()
Rata-rata latensi untuk membaca file 4 KiB dari
server soket tunggal: 0,6 md -
![]()
Rata-rata latensi untuk menulis file 4 KiB ke
server soket tunggal: 0,8 md
Mendukung migration data antara OSS dan CPFS
Manfaat
Kinerja Tinggi
Menyediakan Throughput I/O sebesar 2 TB/s dan 30 juta IOPS berdasarkan arsitektur bersamaan terdistribusi.
Dapat Diskalakan
Mendukung auto scaling dan kinerja yang ditingkatkan secara linier
Integrasi dengan OSS Data Lake
Mendukung komunikasi data antara OSS dan mengurangi biaya penyimpanan data.
Mudah Digunakan
Mengizinkan Anda untuk membuat sistem file berkinerja-tinggi dalam beberapa menit.
Fitur
Penyimpanan File Komputasi Kinerja Tinggi
CPFS mendukung protokol Antarmuka Sistem Operasi Portabel (POSIX) standar, MPI-IO, dan Sistem File Jaringan (NFS). Anda dapat mengeksekusi program komputasi kinerja tinggi Anda secara efektif tanpa memanggil Operasi API atau mengoptimalkan kinerja.
Kompatibel dengan protokol POSIX, MPI-IO, dan NFS
CPFS kompatibel dengan protokol POSIX, MPI-IO, dan NFS. Anda dapat secara langsung menggunakan instans ECS atau plug-in antarmuka Container Storage Interface (CSI) untuk membaca data dari atau menulis data ke CPFS tanpa modifikasi pada program berkinerja-tinggi Anda.
Throughput tinggi dan latensi rendah
CPFS menggunakan arsitektur paralel generasi baru untuk memungkinkan Throughput I/O bersamaan dari client dan node storage. CPFS juga menyediakan peningkatan kinerja I/O linier dengan menggabungkan kluster dan latensi sub-milidetik berdasarkan storage SSD all-flash.
Peningkatan kinerja dalam akses bersamaan
CPFS menggunakan arsitektur paralel terdistribusi untuk menyimpan metadata dan data, yang mendukung jutaan IOPS untuk sejumlah besar file kecil. CPFS dapat diakses secara bersamaan oleh ribuan server dan cocok untuk Pelatihan dari berbagai server multi-GPU.
Integrasi Mendalam dengan Layanan Komputasi Alibaba Cloud
CPFS dapat di-mount ke platform komputasi, seperti Komputasi Kinerja Tinggi Elastis (E-HPC), Container Service for Kubernetes (ACK), dan WUYING Workspace. Anda dapat membuat platform komputasi dan analitik berkinerja tinggi di cloud dalam beberapa menit.
Integrasi mendalam dengan E-HPC
Anda dapat dengan cepat membuat sistem file CPFS dan membuat platform komputasi kinerja tinggi yang lengkap dengan menggunakan konsol E-HPC.
Kompatibel dengan ACK
CPFS dapat di-mount ke ACK. Dengan cara ini, ACK dapat menggunakan plug-in CSI untuk memanfaatkan kinerja I/O tinggi dari CPFS dan mengaktifkan auto scaling daya komputasi berskala besar.
Kompatibel dengan WUYING Workspace
CPFS dapat di-mount secara langsung ke WUYING Workspace melalui NFS. Hal ini mengizinkan Anda untuk berbagi data antara terminal pengembangan dan debugging serta kluster komputasi kinerja tinggi.
Skenario Umum
-
Deskripsi
Alibaba Cloud menggabungkan berbagai layanan storage, seperti CPFS, NAS, OSS, dan ESSD serta layanan kluster komputasi seperti Layanan GPU Elastis, SCC, dan Instans ECS Bare Metal dengan deployment dalam Kontainer. Hal ini memastikan skalabilitas resource dan kinerja tinggi dari Throughput I/O dan IOPS.
-
Kebutuhan dan Titik Masalah
Aliran data dari model AI adalah kompleks. Bottleneck terjadi pada kinerja I/O dari sistem storage. Komputasi kinerja tinggi dan storage diperlukan dalam Pelatihan AI dan Inferensi. Management lifecycle data yang efisien dan hemat biaya diperlukan untuk melakukan manage volume data yang tumbuh dengan cepat. -
Solusi dan Manfaat
CPFS mendukung akses bersamaan dari sejumlah besar data dalam Pelatihan AI. Hal ini membantu meningkatkan kinerja Pelatihan AI. CPFS mengintegrasikan berbagai layanan kluster komputasi untuk menyediakan Throughput I/O berkinerja-tinggi dan IOPS. CPFS memungkinkan komunikasi antara data center dan layanan di Alibaba Cloud dan melakukan manage aliran data dan lifecycle untuk menyediakan daya komputasi berkinerja-tinggi dan hemat biaya. -
Efek
Kinerja I/O tinggi dari CPFS mempercepat efisiensi membaca file kecil selama Pelatihan AI. Hal ini meningkatkan efisiensi iterasi model bisnis Anda dan memenuhi kebutuhan Anda yang berkembang untuk kapasitas dan kinerja tinggi. CPFS menggunakan OSS untuk mengimplementasikan penyimpanan berjenjang dari data dingin dan panas. Ini cocok untuk penyimpanan jangka panjang dari sejumlah besar data secara hemat biaya.
-
Deskripsi
Dalam Pelatihan model mengemudi otonom, puluhan TB data dihasilkan untuk setiap kendaraan uji per hari. Data harus dianalisis dengan cepat dan disimpan secara hemat biaya.
-
Kebutuhan dan Titik Masalah
Fokus pada inovasi bisnis dan kurangi pengeluaran IT. Proses sejumlah besar data dengan cara yang efisien. -
Solusi dan Manfaat
Data diunggah ke OSS melalui Sirkuit Express Connect. Data diimpor dari OSS ke CPFS dan digunakan untuk melatih model di cloud berdasarkan kemampuan pemrosesan GPU dan CPFS. Kemudian, data diarsipkan ke OSS untuk penyimpanan jangka panjang. -
Efek
Kinerja tinggi dan skalabilitas CPFS dapat memenuhi kebutuhan Anda yang berkembang untuk kapasitas dan kinerja tinggi. CPFS menggunakan OSS untuk mengimplementasikan penyimpanan berjenjang dari data dingin dan panas. Ini cocok untuk penyimpanan jangka panjang dari sejumlah besar data secara hemat biaya.
Layanan Terkait
-
Deskripsi
CPFS menyediakan Throughput I/O puluhan Gbit/s dan jutaan IOPS. Anda dapat menskalakan storage space secara online tanpa gangguan bisnis. Data diunggah ke cloud melalui Sirkuit Express Connect untuk memastikan keamanan data.
-
Kebutuhan dan Titik Masalah
Mengakses data panas pada laju puluhan Gbit/s membutuhkan kinerja Throughput I/O yang tinggi. Sistem penyimpanan bersama perlu diakses tanpa memodifikasi aplikasi rendering komersial sumber tertutup. Kebutuhan akan komputasi, penyimpanan data, dan kinerja bervariasi berdasarkan project. Biaya bisnis komputasi-intensif tinggi dan harus dikendalikan pada setiap tahap. -
Solusi dan Manfaat
CPFS menyediakan jutaan IOPS dan Throughput I/O puluhan Gbit/s yang dapat digunakan untuk mempercepat caching antarmuka depan. Skalabilitas tinggi dari CPFS mengizinkan Anda untuk menskalakan disk space dan melakukan upgrade caching berdasarkan kebutuhan bisnis Anda tanpa memengaruhi aplikasi Anda. CPFS hemat biaya. Anda dapat mengonfigurasi storage space dan kinerja caching berdasarkan kebutuhan bisnis Anda tanpa memerlukan replika atau salinan. CPFS menggunakan data Anda untuk memberikan kinerja terbaik dan membantu Anda mengurangi TCO. -
Efek
Throughput berkinerja-tinggi dan IOPS dari CPFS sangat meningkatkan efisiensi eksekusi dari task rendering, menyederhanakan O&M harian, dan mengurangi biaya keseluruhan.
-
Deskripsi
Aliran data antara CPFS dan OSS, dan antara CPFS dan NAS dilapisi. CPFS menggabungkan manfaat ini dalam storage dan daya komputasi Instans ECS Bare Metal, Layanan GPU Elastis, dan ACK untuk menyediakan solusi untuk skenario di mana komputasi kinerja tinggi dan storage diperlukan, seperti AI, superkomputer, simulasi, dan bioinformatika.
-
Kebutuhan dan Titik Masalah
Bottleneck terjadi pada kinerja Throughput I/O karena sejumlah besar data. Sistem penyimpanan file tradisional tidak mendukung skalabilitas elastis dari kinerja dan storage space. Workload O&M yang berat diperlukan dalam manajemen data dan pemeliharaan kinerja. -
Solusi dan Manfaat
Storage berkinerja-tinggi dari CPFS meningkatkan penggunaan resource komputasi. CPFS dapat membantu Anda melakukan upgrade spesifikasi dan menskalakan space storage dengan cara yang lebih hemat biaya. CPFS terhubung ke layanan cloud storage lainnya untuk menyimpan data dingin dan panas secara terpisah. Ini membantu Anda mengurangi biaya. -
Efek
CPFS menyediakan Throughput I/O berkinerja-tinggi dan IOPS untuk membantu Anda mengatasi workload baca dan tulis yang berat dari ribuan node secara efektif, meningkatkan efisiensi komputasi, dan secara signifikan mengurangi biaya bisnis keseluruhan.
