SmartData adalah komponen inti dan propietari dari E-MapReduce (EMR) yang menyediakan optimisasi penyimpanan terpadu, caching, akselerasi komputasi, serta berbagai ekstensi fitur penyimpanan, mencakup akses data, tata kelola data, dan keamanan data.
Gambar berikut menunjukkan posisi SmartData dalam arsitektur EMR.
SmartData mencakup komponen-komponen berikut:
JindoFS core subsystem: Menyediakan caching dan akselerasi untuk berbagai sistem penyimpanan remote. Untuk informasi selengkapnya, lihat Ikhtisar dan penggunaan JindoFS.
JindoTable core subsystem: Menyediakan optimisasi dan administrasi pada tingkat tabel dan partisi untuk sumber data tabular, seperti gudang data Hive. Untuk informasi selengkapnya, lihat Gunakan JindoTable.
JindoManager: Menyediakan halaman manajemen untuk layanan JindoFS dan JindoTable, tempat Anda dapat melakukan tugas seperti melihat metrik statistik untuk file dan tabel dalam cache.
JindoSDK: Menyediakan SDK terpadu untuk mesin komputasi open source di EMR. JindoSDK mendukung Java, C, C++, dan Python, dengan metode akses yang mencakup antarmuka Hadoop Compatible File System (HCFS), API berbasis POSIX, dan antarmuka Table.
Toolsets: Mencakup alat seperti Jindo tool dan alat migrasi Jindo DistCp.
Berbagai connector: Mencakup connector untuk Hadoop, Flink, dan TensorFlow, dengan dukungan tambahan untuk Kite SDK, Apache Beam, Flume, Sqoop, dan Kafka.
SmartData saat ini mendukung sumber data berikut melalui JindoFS dan JindoTable: Alibaba Cloud OSS, Apache Hadoop Distributed File System (HDFS), gudang data Hive, dan Alibaba Cloud MaxCompute.
SmartData dikembangkan dan dirilis secara independen. Untuk detail spesifik versi, lihat Distribusi.
Untuk dokumentasi SmartData berdasarkan versi, lihat halaman berikut: