JindoData adalah suite akselerasi penyimpanan data lake untuk ekosistem data besar dan AI. Suite ini menyediakan akselerasi akses komprehensif ke sistem penyimpanan data lake di Alibaba Cloud dan platform lainnya.
Berdasarkan arsitektur dan kernel terpadu, suite JindoData mencakup sistem penyimpanan JindoFS (sebelumnya mode Block JindoFS), sistem akselerasi penyimpanan JindoFSx (sebelumnya mode Cache JindoFS), JindoSDK untuk data besar, serta alat ekosistem yang sepenuhnya kompatibel seperti JindoFuse dan JindoDistCp.
Catatan
JindoData berlaku untuk EMR versi 5.14.0 dan sebelumnya, serta EMR versi 3.48.0 dan sebelumnya.
JindoData tidak didukung pada EMR versi 5.15.0 dan seterusnya atau EMR versi 3.49.0 dan seterusnya. Gunakan JindoCache untuk caching dan DLF-Auth untuk autentikasi.
Sistem penyimpanan JindoFS
JindoFS adalah sistem penyimpanan cloud-native berbasis Alibaba Cloud OSS. Sistem ini biner-kompatibel dengan Apache HDFS dan menyediakan fitur serupa, sehingga menyederhanakan penggunaan dan migrasi dari HDFS. JindoFS merupakan peningkatan utama dari mode Block JindoFS sebelumnya.
Layanan OSS-HDFS Alibaba Cloud (Layanan JindoFS) adalah versi terkelola dari JindoFS di Alibaba Cloud. Terintegrasi secara mendalam dengan Alibaba Cloud OSS, layanan ini tersedia langsung tanpa perlu men-deploy dan memelihara JindoFS pada kluster yang dikelola sendiri.
Untuk informasi lebih lanjut mengenai layanan OSS-HDFS, lihat Apa itu layanan OSS-HDFS?.
Sistem akselerasi penyimpanan JindoFSx
JindoFSx, juga dikenal sebagai layanan JindoData, merupakan peningkatan utama dari mode Cache JindoFS sebelumnya. Sistem akselerasi cloud-native ini mempercepat akses ke penyimpanan cloud untuk beban kerja data besar dan AI melalui cache data, cache metadata, dan akselerasi P2P. JindoFSx mengelola beberapa sistem penyimpanan backend dalam namespace terpadu, tetap kompatibel dengan protokol akses native masing-masing sistem, serta menyediakan pengelolaan izin terpadu. Sistem ini dioptimalkan secara native untuk Alibaba Cloud OSS dan layanan OSS-HDFS Alibaba Cloud, serta mendukung penyimpanan objek multi-cloud seperti Amazon S3, Apache HDFS, dan NAS.
Dukungan dan alat ekosistem
-
JindoSDK didukung.
JindoSDK menyediakan SDK Hadoop dan antarmuka HDFS berbasis cloud dengan optimisasi bawaan untuk Alibaba Cloud OSS, memberikan kinerja jauh lebih baik dibandingkan edisi Hadoop komunitas. SDK ini juga mendukung sistem dan layanan penyimpanan JindoFS, sistem akselerasi penyimpanan JindoFSx, serta penyimpanan objek multi-cloud.
-
CLI JindoShell didukung.
JindoShell adalah command-line interface (CLI) yang memperluas perintah shell HDFS dengan fitur tambahan dan optimisasi kinerja untuk operasi akses data.
-
Dukungan POSIX JindoFuse
JindoData menyediakan dukungan POSIX untuk Alibaba Cloud OSS, sistem dan layanan penyimpanan JindoFS, serta sistem akselerasi penyimpanan JindoFSx.
-
Anda dapat menggunakan JindoDistCp untuk migrasi data.
JindoDistCp melakukan migrasi data dari HDFS on-premises ke cloud dan antar penyedia cloud. Alat ini mendukung migrasi dari berbagai sistem penyimpanan ke Alibaba Cloud OSS dan layanan JindoFS, serta penggunaannya mirip dengan Hadoop DistCp.
-
JindoTable didukung.
JindoTable bekerja sama dengan mesin komputasi seperti Spark, Hive, dan Presto untuk menyediakan fitur pengelolaan data tabular.
-
Plugin ekosistem
Selain dukungan Hadoop default dari JindoSDK, JindoData menyediakan plugin tambahan seperti Flink Connector.