All Products
Search

This Product

    E-MapReduce:Pengenalan SmartData 3.1.x

    Document Center

    E-MapReduce:Pengenalan SmartData 3.1.x

    Last Updated:Aug 21, 2026

    Komponen SmartData merupakan lapisan penyimpanan dari mesin EMR Jindo yang menyediakan penyimpanan terpadu, cache, optimasi komputasi, serta ekstensi fitur untuk berbagai mesin komputasi EMR. Komponen ini mencakup JindoFS, JindoTable, dan toolset terkait. Topik ini menjelaskan pembaruan dalam SmartData 3.1.x.

    Informasi latar belakang

    Batasan berikut berlaku saat Anda menggunakan SmartData 3.1.x:
    • JindoFS dalam mode cache mendukung caching metadata, yang dapat diaktifkan dengan mengubah sakelar meta-cache. Fitur ini hanya ditujukan untuk skenario pelatihan. Jangan menggunakannya untuk skenario analisis karena konfigurasi yang tidak tepat dapat menyebabkan masalah sinkronisasi dengan jalur penulisan lainnya.
    • Nama namespace JindoFS hanya boleh terdiri dari huruf, angka, dan tanda hubung (-).
    • Ukuran file maksimum yang saat ini didukung oleh Jindo DistCp adalah 78 GB.
    • Meskipun JindoFS dalam mode block mendukung fitur checksum, Jindo DistCp saat ini belum mendukung fitur tersebut.

    Perubahan fitur

    Optimasi penyimpanan JindoFS

    • Dukungan untuk fitur checksum file. Fitur ini selaras dengan antarmuka checksum terkait pada Hadoop Distributed File System (HDFS) open source dan mendukung dua algoritma: MD5MD5CRC dan COMPOSITE_CRC. Untuk algoritma MD5MD5CRC, diimplementasikan antarmuka tambahan yang memungkinkan Anda meneruskan ukuran blok. Perintah Shell terkait juga didukung, sehingga memberikan dukungan yang lebih baik untuk membandingkan file dengan file HDFS.
    • Fitur kompresi file transparan memungkinkan Anda menetapkan kebijakan kompresi untuk suatu direktori. Blok file baru yang ditulis ke direktori tersebut dikompresi sebelum disimpan di backend OSS. Untuk data dengan rasio kompresi tinggi, hal ini secara signifikan menghemat ruang penyimpanan serta mengurangi volume data yang dibaca dan ditulis.
    • Dukungan untuk semantik flush saat menulis file. Setelah antarmuka flush dipanggil, data dipersistenkan hingga posisi saat ini dan file menjadi dapat dibaca.
    • Perbaikan masalah di mana perintah hadoop fs -ls -R gagal dieksekusi untuk direktori dengan hierarki dalam dan banyak subdirektori karena thread memasuki status menunggu.
    • Penyempurnaan perintah hadoop fs -stat agar menampilkan informasi seperti atime dan privilege.
    • Penambahan fitur rewrite path untuk client Jindo HDFS guna mengurangi beban kerja modifikasi path selama migrasi kluster.

      Untuk informasi selengkapnya, lihat Rewrite path client Jindo HDFS.

    Optimasi cache JindoFS

    • Optimasi cache file kecil disediakan untuk skenario pelatihan pembelajaran mesin, yang secara signifikan meningkatkan efisiensi cache dan performa baca untuk banyak file kecil.
    • Perintah cache disediakan untuk preload direktori file kecil, yang secara signifikan meningkatkan efisiensi preload.
    • Dukungan untuk pemicu otomatis caching data. Anda dapat menetapkan direktori target untuk dilacak beserta interval waktunya. Pada setiap interval, sistem secara otomatis mendeteksi file baru di direktori tersebut dan memicu operasi cache.

    Optimasi komputasi JindoTable

    • JindoTable Dump dalam format TF kini mendukung array dua dimensi.
    • Jindo mc dump kini mendukung kompresi Gzip menggunakan parameter -c.

    Administrasi sistem JindoManager

    Layanan JindoManager merupakan fitur baru yang memusatkan manajemen operasi, pemantauan status, dan fitur lainnya untuk sistem Jindo. Layanan ini menyediakan antarmuka web untuk melihat status berbagai komponen sistem Jindo.

    Toolset JindoTools

    • Logika Job Committer untuk file kecil dalam tool Jindo DistCp dioptimalkan, sehingga secara signifikan mengurangi jumlah permintaan ke OSS dan meningkatkan performa DistCp saat menangani banyak file kecil.
    • Pembuatan batch file dalam tool Jindo DistCp dioptimalkan dengan menerapkan kebijakan batching yang lebih efektif, sehingga meningkatkan performa keseluruhan.

    Dukungan ekosistem JindoFS

    • Pekerjaan streaming Flink kini dapat menulis ke JindoFS dengan kemampuan recoverability. Mode block dan cache keduanya didukung. Ketika dikombinasikan dengan sumber data yang dapat diputar ulang, seperti Kafka, Anda dapat mencapai semantik Exactly-Once.
    • Flink kini mengimplementasikan fitur entropy injection. Saat pekerjaan streaming menulis data ke OSS atau JindoFS baik dalam mode block maupun cache, Anda dapat menggunakan entropy injection untuk jalur penulisan. Fitur ini memungkinkan Anda mengganti bagian tertentu dari path dengan string acak untuk meningkatkan efisiensi penulisan.
    • Dukungan untuk JindoFS Tensorflow Connector. Dengan mengimplementasikan Tensorflow Filesystem, connector ini mendukung antarmuka I/O native Tensorflow dan kompatibel dengan Tensorflow 1.15 ke atas serta Tensorflow 2.3 ke atas.