SmartData adalah layanan penyimpanan untuk mesin Jindo E-MapReduce (EMR). SmartData menyediakan penyimpanan terpusat serta caching dan komputasi yang dioptimalkan untuk mesin komputasi EMR, memperluas fitur penyimpanan. SmartData mencakup JindoFS, JindoTable, dan alat terkait. Topik ini menjelaskan pembaruan dalam SmartData 3.5.X.
Skalabilitas penyimpanan OSS pada JindoFS
Kinerja penghapusan direktori Object Storage Service (OSS) telah dioptimalkan.
JindoSDK
- Jika JindoSDK untuk Java digunakan, log JindoSDK dihasilkan sebagai log Java untuk meningkatkan kinerja diagnostik.
- Log statistik memori yang digunakan oleh JindoSDK dihasilkan. Anda dapat melihat log tersebut untuk mendapatkan informasi tentang penggunaan memori oleh JindoSDK.
Optimasi komputasi berbasis JindoTable
- Fitur akselerasi query asli ditambahkan. Fitur ini mempercepat query saat menggunakan Spark, Hive, atau Presto untuk membaca data dari file ORC atau Parquet yang disimpan di OSS atau JindoFS. Untuk informasi lebih lanjut, lihat Aktifkan Akselerasi Query Berdasarkan Mesin Asli.
- Statistik akses jarang pada tabel Hive dapat dikumpulkan di JindoTable. Untuk informasi lebih lanjut, lihat Gunakan JindoTable untuk Mengumpulkan Statistik Akses Jarang dari Tabel dan Partisi.
Alat JindoFS lainnya
Jindo DistCp telah ditingkatkan. Layanan CloudMonitor dapat digunakan untuk memantau dan memberi peringatan tugas yang gagal. Ketergantungan pada Advanced Vector Extensions (AVX) dihapus. Penyimpanan Arsip Dingin didukung saat menulis data ke OSS. Untuk informasi lebih lanjut, lihat Gunakan Jindo DistCp.