Fluid adalah orkestrator dataset terdistribusi open source yang bersifat native di Kubernetes. Fluid berfungsi sebagai akselerator untuk aplikasi intensif data dalam skenario cloud-native seperti big data dan AI. Topik ini memberikan ikhtisar serta fitur-fitur Fluid.
Fitur
Fluid menyediakan fitur dengan mendefinisikan objek dataset dan runtime. Gambar berikut menunjukkan fitur-fiturnya.
Fluid memberikan dukungan asli untuk abstraksi dataset. Fitur ini mendukung aplikasi intensif data dengan memungkinkan akses data yang efisien serta meningkatkan efisiensi biaya manajemen data di berbagai aspek.
Fluid menyediakan plugin mesin data yang dapat diperluas dengan antarmuka seragam untuk integrasi dengan layanan penyimpanan pihak ketiga. Berbagai runtime didukung.
Fluid mengotomatiskan operasi data dan mendukung beberapa mode untuk berintegrasi dengan sistem O&M otomatis.
Fluid mempercepat akses data dengan menggabungkan teknologi caching data, skalabilitas elastis, dan penjadwalan afinitas data.
Fluid tidak bergantung pada platform runtime tertentu dan mendukung kluster Kubernetes, kluster Edge Container Service for Kubernetes (ACK), serta kluster ACK Serverless. Fluid juga cocok untuk skenario multi-kluster dan hybrid cloud.
Istilah
dataset: Kumpulan data yang secara logis saling terkait dan digunakan oleh mesin komputasi. Sebagai contoh, Apache Spark menggunakan dataset dalam skenario big data, sedangkan TensorFlow menggunakannya dalam skenario AI. Dataset memungkinkan aplikasi cerdas dan membantu menghasilkan nilai inti di berbagai industri. Manajemen dataset melibatkan berbagai aspek, termasuk keamanan, versi, dan akselerasi data.
runtime: Mesin eksekusi yang mengimplementasikan keamanan, manajemen versi, dan akselerasi data untuk dataset. Runtime juga mendefinisikan serangkaian antarmuka siklus hidup yang digunakan untuk mengelola dan mempercepat dataset.
AlluxioRuntime: Mesin eksekusi dari Alluxio open source. AlluxioRuntime mendukung manajemen dataset dan caching serta mempercepat akses ke persistent volume claims (PVCs), Ceph, dan Cloud Parallel File System (CPFS). Anda dapat menggunakan AlluxioRuntime dalam skenario hybrid cloud.
JuiceFSRuntime: Mesin cache percepatan terdistribusi yang dikembangkan berdasarkan JuiceFS. JuiceFSRuntime mendukung caching data spesifik skenario dan akselerasi. Untuk informasi lebih lanjut tentang JuiceFS, lihat Pengenalan JuiceFS. Untuk informasi lebih lanjut tentang cara menggunakan JuiceFS di Fluid, lihat Gunakan JuiceFS di Fluid.
JindoRuntime: Mesin eksekusi JindoFS yang dikembangkan oleh tim Alibaba Cloud E-MapReduce (EMR). JindoRuntime berbasis C++ dan mendukung manajemen dataset dan caching. JindoRuntime juga mempercepat akses ke Object Storage Service (OSS), OSS-HDFS, dan Hadoop Distributed File System (HDFS).
EFCRuntime: Runtime untuk klien akselerasi elastis EFC yang dikembangkan oleh tim teknis File Storage NAS (NAS). EFCRuntime dapat mempercepat akses ke NAS dan CPFS, serta mendukung pembaruan panas dan toleransi kesalahan.
ThinRuntime: Sistem penyimpanan umum yang dapat diperluas yang memungkinkan Anda mengakses berbagai sistem penyimpanan dengan cara low-code. ThinRuntime menggunakan kembali kemampuan manajemen orkestrasi data dan kemampuan inti yang disediakan oleh Fluid untuk berintegrasi dengan platform runtime.
Mesin cache percepatan terdistribusi AlluxioRuntime dan JuiceFSRuntime di ack-fluid adalah komponen sumber terbuka gratis yang disediakan oleh komunitas atau perusahaan pihak ketiga. Anda dapat memilih untuk menginstal komponen server dan klien yang sesuai untuk menggunakan layanan cache percepatan terdistribusi.
Namun, Alibaba Cloud tidak bertanggung jawab atas stabilitas, batasan layanan, dan kepatuhan keamanan komponen pihak ketiga. Anda harus memperhatikan situs resmi komunitas atau perusahaan pihak ketiga dan pembaruan di platform hosting kode, serta membaca dan mematuhi lisensi sumber terbuka. Anda bertanggung jawab atas risiko potensial apa pun terkait pengembangan aplikasi, pemeliharaan, pemecahan masalah, dan keamanan akibat penggunaan komponen pihak ketiga.
Fitur | Alluxio | JuiceFS | Jindo | EFC |
Penyimpanan bawah | PVC, Ceph, HDFS, CPFS, Network File System (NFS), dan OSS | JuiceFS | OSS, OSS-HDFS, dan PVC | NAS dan CPFS |
Didukung oleh | Proyek open source | Proyek open source | Layanan Alibaba Cloud | Layanan Alibaba Cloud |