JindoData adalah rangkaian solusi yang dikembangkan oleh tim data besar Alibaba Cloud untuk mempercepat penyimpanan sistem danau data. JindoData menyediakan solusi ujung ke ujung untuk sistem danau data dari Alibaba Cloud dan vendor lainnya dalam skenario data besar dan AI.
JindoData dibangun di atas arsitektur dan kernel yang seragam, serta mencakup komponen berikut: JindoFS (JindoFS asli dalam mode penyimpanan blok), JindoFSx (JindoFS asli dalam mode cache), dan JindoSDK. JindoData juga menyediakan alat yang sepenuhnya kompatibel seperti JindoFuse, Jindo DistCp, dan Plugin.
Perhatian
JindoData berlaku untuk kluster EMR V5.14.0 atau versi minor lebih baru dan kluster EMR V3.48.0 atau versi minor lebih baru.
JindoData tidak tersedia untuk kluster EMR V5.15.0 atau versi minor lebih baru dan kluster EMR V3.49.0 atau versi minor lebih baru. Anda dapat menggunakan JindoCache untuk caching data dan DLF-Auth untuk otentikasi.
JindoFS
JindoFS adalah sistem penyimpanan cloud-native berbasis Alibaba Cloud Object Storage Service (OSS). Sistem ini kompatibel biner dengan Apache Hadoop Distributed File System (HDFS) dan mengoptimalkan pengalaman pengguna HDFS serta migrasi data. JindoFS merupakan versi ditingkatkan dari JindoFS dalam mode penyimpanan blok.
JindoFS diterapkan sebagai layanan bernama OSS-HDFS di Alibaba Cloud. OSS-HDFS terintegrasi mendalam dengan OSS, sehingga Anda dapat langsung menggunakannya tanpa perlu menerapkan dan mengelola JindoFS di kluster yang dikelola sendiri.
Untuk informasi lebih lanjut tentang OSS-HDFS, lihat Apa itu OSS-HDFS?
JindoFSx
JindoFSx adalah versi ditingkatkan dari JindoFS dalam mode penyimpanan cache. JindoFSx adalah sistem penyimpanan danau data cloud-native yang cocok untuk skenario data besar dan AI. JindoFSx mempercepat akses ke berbagai layanan penyimpanan cloud dari aplikasi data besar dan AI serta menyediakan kemampuan seperti caching data, caching metadata, dan percepatan P2P. JindoFSx memungkinkan Anda mengelola beberapa sistem penyimpanan backend melalui namespace terpadu dan kompatibel dengan protokol akses asli dari sistem penyimpanan backend tersebut. JindoFSx juga mendukung manajemen izin terpadu untuk sistem-sistem ini, termasuk layanan seperti Alibaba Cloud OSS, Alibaba Cloud OSS-HDFS, Amazon Simple Storage Service (S3), Apache HDFS, dan File Storage NAS.
Dukungan ekosistem dan Plugin
Dukungan untuk JindoSDK
JindoSDK adalah klien OSS yang menyediakan Hadoop SDK dan API HDFS. Klien ini menawarkan performa lebih tinggi dibandingkan Hadoop sumber terbuka dalam hal akses ke data yang disimpan di OSS. JindoSDK juga mendukung JindoFS, JindoFSx, dan berbagai layanan penyimpanan objek cloud.
Dukungan untuk perintah CLI JindoShell
JindoData mendukung perintah Shell HDFS dan perintah CLI JindoShell, memberikan fitur tambahan, performa tinggi, serta optimalisasi operasi akses data.
Dukungan untuk Antarmuka Sistem Operasi Portabel (POSIX) menggunakan JindoFuse
JindoData memungkinkan OSS, JindoFS, dan JindoFSx mendukung POSIX.
Dukungan untuk migrasi data menggunakan Jindo DistCp
Jindo DistCp adalah alat yang membantu Anda memigrasikan data dari pusat data (HDFS) ke cloud atau lintas cloud. Anda dapat menggunakan Jindo DistCp untuk memigrasikan data di berbagai sistem penyimpanan ke OSS dan JindoFS. Jindo DistCp digunakan dengan cara yang mirip dengan Hadoop DistCp.
Dukungan untuk JindoTable
JindoTable adalah solusi yang dikembangkan berdasarkan mesin komputasi seperti Spark, Hive, dan Presto, memungkinkan Anda mengelola data tabel.
Plugin
Plugin seperti konektor Flink didukung.