Komponen SmartData merupakan lapisan penyimpanan dari mesin EMR Jindo, yang menyediakan penyimpanan terpadu, caching, optimasi komputasi, dan ekstensi fitur untuk berbagai mesin komputasi EMR. Komponen ini terdiri dari JindoFS, JindoTable, dan toolset terkait. Topik ini menjelaskan pembaruan dalam SmartData 3.6.x.
JindoFS
Tabel berikut menjelaskan fitur-fitur baru JindoFS pada versi ini.
| Feature | Description |
| JindoFS mendukung multi-cloud, protokol S3, dan akselerasi cache | JindoFS mendukung protokol S3, memungkinkan Anda mengakses Amazon S3 dan sistem lain yang kompatibel dengan S3. Fitur ini juga menyediakan akselerasi cache untuk akses yang lebih efisien. |
| JindoFS mendukung akselerasi cache untuk HDFS | JindoFS menambahkan dukungan akselerasi cache saat mengakses Hadoop Distributed File System (HDFS), sehingga meningkatkan efisiensi akses. |
| JindoFS mendukung transaksi untuk MetaSync dan Data Cache | JindoFS menyediakan opsi pemuatan transaksional untuk caching metadata, memastikan seluruh tugas preloading bersifat transaksional dan mencegah munculnya status antara yang tidak lengkap dalam tampilan metadata selama proses pemuatan. |
| JindoFS mengoptimalkan mekanisme preloading cache |
|
JindoSDK
Tabel berikut menjelaskan fitur-fitur baru JindoSDK pada versi ini.
| Feature | Description |
| JindoSDK mendukung kebijakan cache lokal | JindoSDK mendukung kebijakan cache lokal, memungkinkan caching data lokal meskipun layanan SmartData tidak dideploy, sehingga meningkatkan efisiensi akses data OSS. |
| JindoSDK mendukung Object Store API yang setara dengan FileSystem API | Selain dukungan yang sudah ada untuk semantik FileSystem, JindoSDK kini juga mendukung semantik Object Store API. Object Store API lebih sesuai dengan sistem object storage seperti OSS, sehingga lebih mudah digunakan, serta mengoptimalkan operasi seperti Copy dan Rename untuk meningkatkan efisiensi eksekusi. |
| JindoSDK mendukung optimasi cache sisi server untuk OSS | JindoSDK mendukung fitur OSS accelerator. Saat diaktifkan, fitur ini memungkinkan Anda menyesuaikan bandwidth akses untuk OSS berdasarkan kapasitas akselerator. |
| JindoSDK mendukung Endpoint domain tingkat kedua untuk OSS | JindoSDK memperkenalkan fitur baru yang memungkinkan penggunaan domain tingkat kedua atau alamat IP untuk mengakses layanan OSS di lingkungan tertentu. Akses menggunakan Endpoint domain tingkat kedua dinonaktifkan secara default. |
JindoTable
Tabel berikut menjelaskan fitur-fitur baru JindoTable pada versi ini.
| Feature | Description |
| JindoTable mendukung tiering data untuk HDFS dan pengarsipan ke OSS | JindoTable menambahkan perintah baru untuk memindahkan tabel atau partisi ke OSS secara batch dan menyinkronkan metadata. Anda dapat memilih partisi menggunakan kondisi filter serta menentukan kebijakan penyimpanan untuk menyalin data ke OSS. Untuk data yang sudah berada di OSS, didukung pengarsipan batch. |
| JindoTable mendukung pemulihan dan pengambilan data terarsip di OSS | JindoTable menyediakan perintah baru untuk memulihkan dan mengambil data yang disimpan di OSS secara batch. |
| JindoTable mendukung akselerasi kueri Presto untuk data Parquet | Mesin akselerasi kueri JindoTable NativeEngine mendukung skenario yang menggunakan Presto dan Parquet, sehingga secara signifikan meningkatkan efisiensi kueri data Parquet dengan Presto. |
| JindoTable mendukung akselerasi kueri Spark 3 untuk data Parquet dan ORC | Mesin akselerasi kueri JindoTable NativeEngine kini mendukung mesin komputasi Spark 3 serta data dalam format Parquet dan ORC, sehingga secara komprehensif meningkatkan efisiensi kueri Spark 3. |
| JindoTable mendukung akselerasi kueri untuk data yang disimpan di HDFS | Mesin akselerasi kueri JindoTable NativeEngine kini mendukung penyimpanan HDFS, memungkinkan Spark dan Presto membaca file HDFS secara efisien melalui NativeEngine. |
| JindoTable mendukung analisis log akses OSS | Anda dapat menganalisis log akses OSS menggunakan pernyataan SQL. |
JindoFuse
Tabel berikut menjelaskan fitur-fitur baru JindoFuse pada versi ini.
| Feature | Description |
| JindoFuse meningkatkan dukungan untuk skenario pelatihan dan online | JindoFuse menambahkan dukungan untuk memasang dengan menentukan namespace JindoFS. Anda juga dapat memasang dengan menentukan folder OSS dalam mode SDK. |