全部产品
Search
文档中心

E-MapReduce:SmartData (hanya tersedia untuk pengguna yang sudah ada)

更新时间:Jul 02, 2025

SmartData adalah komponen inti yang dikembangkan oleh E-MapReduce (EMR). SmartData mengoptimalkan penyimpanan, caching, dan komputasi untuk berbagai mesin komputasi EMR secara terpusat serta memperluas fitur penyimpanan. SmartData digunakan dalam skenario akses data, tata kelola data, dan keamanan data.

Gambar berikut menunjukkan posisi SmartData di EMR. SmartData

Komposisi SmartData:

  • Sistem inti JindoFS: menyediakan fitur caching dan percepatan berbasis cache untuk berbagai sistem penyimpanan jarak jauh. Untuk informasi lebih lanjut, lihat Ikhtisar dan penggunaan JindoFS.

  • Sistem inti JindoTable: menyediakan optimisasi dan tata kelola tingkat tabel dan partisi untuk sumber data seperti gudang Hive. Untuk informasi lebih lanjut, lihat Gunakan JindoTable.

  • JindoManager: menyediakan antarmuka web untuk mengelola layanan dan fitur JindoFS dan JindoTable. Sebagai contoh, Anda dapat melihat data deret waktu dari file dan tabel yang di-cache.

  • JindoSDK: menyediakan SDK terpadu untuk berbagai mesin komputasi open source EMR. Mendukung bahasa pemrograman Java, C, C++, dan Python serta menyediakan berbagai antarmuka akses dan API, seperti antarmuka HCFS, Antarmuka Sistem Operasi Portabel (POSIX), dan antarmuka terkait tabel.

  • Set alat: mencakup alat Jindo dan alat salinan data Jindo DistCp.

  • Berbagai konektor: mencakup konektor Hadoop, konektor Flink, dan konektor TensorFlow. Kite SDK, Apache Beams, Flume, Sqoop, dan Kafka didukung.

Sumber data yang didukung oleh JindoFS dan JindoTable termasuk Alibaba Cloud OSS, Apache Hadoop HDFS, Hive, dan Alibaba Cloud MaxCompute.

SmartData dikembangkan dan dirilis secara independen. Untuk informasi lebih lanjut tentang versi SmartData, lihat Versi rilis.