SmartData adalah layanan penyimpanan untuk mesin E-MapReduce (EMR) Jindo, yang menyediakan penyimpanan terpusat serta pengoptimalan caching dan komputasi untuk EMR. SmartData mencakup JindoFS, JindoTable, dan alat terkait. Topik ini menjelaskan pembaruan dalam SmartData 3.4.X.
Skalabilitas penyimpanan OSS pada JindoFS
- Fitur Object Storage Service (OSS) Recoverable OutputStream telah ditambahkan, diimplementasikan melalui API Flush dan Recover. Fitur ini cocok untuk skenario penulisan yang sangat andal, seperti penulisan berbasis Flume.
- Efisiensi operasi rename pada server OSS ditingkatkan.
- Kinerja operasi list pada direktori di OSS dengan versi bucket diaktifkan dioptimalkan, mencegah operasi list terpengaruh oleh sejumlah besar file sementara.
- Kinerja Jindo OSS Magic Committer untuk OSS dengan versi bucket diaktifkan dioptimalkan. Jindo OSS Direct Committer juga ditambahkan.
- Kerangka kerja penyedia kredensial ditingkatkan dengan penambahan JindoCommonCredentialsProvider.
- Kinerja pembuatan file dioptimalkan dengan menghilangkan pemeriksaan redundansi saat menulis data ke OSS.
Optimasi penyimpanan berbasis JindoFS
Enkripsi data didukung di JindoFS dalam mode penyimpanan blok. Anda dapat menggunakan Alibaba Cloud Key Management Service (KMS) dan Algoritma Standar Enkripsi Lanjutan (AES) untuk mengenkripsi data.
Optimasi komputasi berbasis JindoTable
Pembaca Optimized Row Columnar (ORC) asli dari JindoTable ditingkatkan.
Alat JindoFS lainnya
Jindo DistCp ditingkatkan dengan optimasi migrasi inkremental. Sebagai contoh, ketika memigrasikan data HDFS ke OSS, checksum dapat diimplementasikan pada jalur sumber dan tujuan.
Dukungan ekosistem untuk JindoFS
Jindo OSS SDK untuk Python ditambahkan, mendukung operasi OSS dasar dan kompatibel dengan pustaka Python OSS2.