E-MapReduce：Catatan rilis JindoData

Informasi Latar Belakang

JindoData merupakan versi peningkatan dari komponen SmartData EMR Alibaba Cloud sebelumnya. Untuk informasi lebih lanjut, lihat JindoData (hanya tersedia untuk pengguna yang sudah ada).

Versi JindoData 4.6.x

Ikhtisar

Versi JindoData 4.6.x memperkenalkan fitur migrasi lancar yang mendukung migrasi dari Hadoop Distributed File System (HDFS) ke OSS-HDFS. Fitur ini secara signifikan menyederhanakan proses migrasi data. Sistem penyimpanan JindoFS mendukung inventaris file, yang membantu Anda memahami distribusi dan kepemilikan data dengan lebih baik. Untuk optimasi kinerja, JindoFS meningkatkan kinerja operasi `du` dan `count` melalui optimasi penuh dan inkremental. Versi JindoSDK 4.6.x mendukung verifikasi tingkat file dan blok untuk meningkatkan stabilitas tautan penulisan, serta protokol akses multi-jalur yang memungkinkan penggunaan mode protokol berbeda untuk mengakses jalur backend yang sama.

JindoData 4.6.11

JindoData 4.6.11 memperbaiki masalah berikut:

• JindoSDK: Memperbaiki masalah di mana JindoCommitter menggunakan API mapred lama untuk menulis data di lingkungan Alibaba Cloud EMR Hadoop 2.8.5.

• JindoTable: Mengoptimalkan fitur pemulihan tabel atau partisi di Object Storage Service (OSS). Anda kini dapat mengatur jumlah hari untuk pemulihan tersebut. Untuk informasi lebih lanjut, lihat Gunakan JindoTable untuk mengarsipkan dan memulihkan tabel atau partisi di OSS.

JindoData 4.6.10

JindoData 4.6.10 memperbaiki masalah berikut:

• JindoFS: Mengoptimalkan logika prefetch `pread`.

• JindoSDK: Menambahkan dukungan untuk tugas commit konkuren guna mengoptimalkan kinerja commit pekerjaan.

• JindoSDK: Mengoptimalkan logika rewrite path.

• JindoFuse: Memperbaiki masalah yang terjadi saat menambahkan objek.

JindoData 4.6.8

JindoData 4.6.8 memperbaiki masalah berikut:

• JindoFS: Menambahkan dukungan bagi klien untuk mengatur periode retensi keranjang daur ulang.

• JindoSDK: Menambahkan dukungan untuk menggunakan `MALLOC_CONF` guna mengoptimalkan penggunaan memori.

• JindoFuse: Menambahkan dukungan untuk shutdown yang mulus saat memasang OSS-HDFS.

• JindoFSx: Menambahkan dukungan untuk menggunakan karakter wildcard guna memfilter daftar file untuk prefetching cache.

• JindoFSx: Memperbaiki masalah di mana pembersihan cache tidak berlaku.

JindoData 4.6.7

JindoData 4.6.7 memperbaiki masalah berikut:

• JindoFuse: Menambahkan dukungan untuk mekanisme shutdown yang mulus.

• JindoFuse: Mengoptimalkan output log.

• JindoFuse: Memperbaiki masalah di mana `O_APPEND` atau `O_TRUNC` tidak didukung saat memasang OSS.

JindoData 4.6.6

Mengoptimalkan tingkat paralelisme untuk tugas `distjob` dan `distcp`. Tingkat paralelisme maksimum kini dibatasi sesuai jumlah tugas.

JindoData 4.6.5

JindoData 4.6.5 mencakup banyak perbaikan dan optimasi berdasarkan versi 4.6.4, antara lain:

• Menambahkan ServiceLoader untuk skema OSS yang mengarah ke `JindoOssFileSystem`.

• Mengoptimalkan penanganan pengecualian untuk metode `isDirectory()`. Saat dipanggil dengan path yang berisi karakter wildcard, seperti Path *, metode ini kini mengembalikan `false` alih-alih melemparkan pengecualian `IllegalPath`.

• Mengoptimalkan kit pengembangan perangkat lunak (SDK) Hadoop untuk mencegah `ConcurrentModificationException` yang dapat terjadi dalam beberapa skenario ketika konfigurasi Hadoop dimodifikasi secara konkuren.

• Mengoptimalkan logika retry untuk klien JindoMagicCommitter saat menulis ke OSS guna menangani kasus-kasus di mana direktori sementara tidak normal atau disk rusak. Optimasi ini meningkatkan tingkat keberhasilan penulisan pekerjaan dan mencegah pengecualian `InvalidPart`: Satu atau beberapa bagian yang ditentukan tidak ditemukan atau tag entitas yang ditentukan mungkin tidak cocok dengan tag entitas bagian tersebut..

JindoData 4.6.4

JindoData 4.6.4 menambahkan dukungan multi-platform.

• Untuk informasi lebih lanjut tentang platform yang didukung, lihat Unduh JindoData.

• Untuk platform Java, Anda dapat menerapkan beberapa paket `jindo-core` untuk mendukung multi-platform. Secara default, `jindo-core` mendukung sistem Linux utama. Untuk menggunakannya pada platform lain, tambahkan paket ekstensi platform yang sesuai.

• Paket dependensi untuk dukungan multi-platform telah diunggah ke Repositori Maven JindoData. Misalnya, untuk mengakses OSS saat membuat proyek menggunakan Maven, lihat konfigurasi dependensi di jindosdk_ide_hadoop.md.

Sebagai contoh, untuk menerapkan kluster Hadoop pada sistem Linux utama, tambahkan `jindo-core-4.6.4.jar` dan `jindo-sdk-4.6.4.jar` ke classpath yang ditentukan. Untuk menjalankan dan men-debug di macOS, Anda memerlukan `jindo-core-4.6.4.jar` dan `jindo-sdk-4.6.4.jar` ditambah paket ekstensi `jindo-core-macos-10_14-x86_64-4.6.4.jar`.

JindoData 4.6.2

JindoData 4.6.2 mencakup banyak perbaikan berdasarkan versi 4.6.1. Perbaikan untuk sistem penyimpanan JindoFS adalah sebagai berikut:

JindoData 4.6.1

• Sistem penyimpanan JindoFS

  • JindoFS: Mengurangi output log berlebihan.

  • JindoFS: Memperbaiki masalah di mana ukuran file salah saat inventaris metadata diekspor untuk file yang belum ditutup.

• Sistem akselerasi penyimpanan JindoFSx

  JindoFSx: Menambahkan dukungan untuk pembersihan otomatis direktori cache sementara.

• Dukungan JindoSDK dan alat

  • JindoSDK: Mengurangi output log berlebihan.

  • JindoSDK: Mengaktifkan optimasi path sisi server untuk operasi `du` dan `count` secara default.

  • JindoSDK: Mengurangi frekuensi pembaruan token Security Token Service (STS) untuk mencegah throttling akibat permintaan yang sering.

  • JindoSDK: Mengubah nama peran Resource Access Management (RAM) dalam URL bebas kredensial menjadi huruf kecil untuk mencegah kegagalan refresh token dalam layanan bebas kredensial ECS.

JindoData 4.6.0

• Sistem penyimpanan JindoFS

  • JindoFS: Mendukung ekspor inventaris file dari OSS-HDFS. Fitur ini membantu Anda memahami distribusi data dengan lebih baik dan melakukan pengembangan kustom.

  • JindoFS: Secara signifikan meningkatkan kinerja operasi `du` dan `count` melalui optimasi sisi server penuh dan inkremental.

  • JindoFS: Mendukung migrasi lancar dari HDFS ke OSS-HDFS, yang secara signifikan menyederhanakan proses migrasi data.

  • JindoFS: Mendukung akses protokol multi-jalur. Anda dapat menggunakan protokol berbeda untuk mengakses jalur backend yang sama.

• Sistem akselerasi penyimpanan JindoFSx

  • JindoFSx: Memperbaiki masalah di mana klien keluar secara tak terduga saat menulis ke cache.

  • JindoFSx: Memperbaiki masalah di mana klien keluar secara tak terduga selama pelaporan metrik.

  • JindoFSx: Memperbaiki masalah kebocoran memori saat menggunakan Ranger.

• Dukungan JindoSDK dan alat

  • JindoSDK: Mendukung verifikasi checksum CRC dan MD5 untuk penulisan pada tingkat file dan blok.

  • JindoSDK: Mendukung alat Jindo Sync untuk sinkronisasi data tanpa memerlukan lingkungan Hadoop.

  • JindoSDK: Mendukung OSS-HDFS TensorFlow Connector.

Versi JindoData 4.5.x

JindoData 4.5.1

• Ikhtisar

  Versi 4.5.1 merupakan peningkatan minor dari versi 4.5.0 yang mencakup perbaikan dan peningkatan penting. JindoFS meningkatkan stabilitas layanan dan penanganan pengecualian. JindoFS dan JindoFSx semakin meningkatkan algoritma prefetch adaptif untuk meningkatkan efisiensi prefetch. JindoDistCp mencakup banyak perbaikan dan optimasi untuk meningkatkan stabilitas proses penyalinan data. JindoFuse menggunakan desain dasar baru untuk secara signifikan meningkatkan kinerja.

• Fitur Utama

  • Sistem penyimpanan JindoFS

    • JindoFS: Meningkatkan penggunaan memori.

    • JindoFS: Menambahkan penanganan pengecualian dan peringatan berbasis log untuk kesalahan ASSUME_ROLE.

    • JindoFS: Mendukung pembaruan AccessKey dinamis selama retry.

    • JindoFS: Lebih lanjut meningkatkan algoritma prefetch adaptif untuk meningkatkan efisiensi prefetch.

    • JindoFS: Memperbaiki path baca dan tulis untuk skenario penulisan file acak.

    • JindoFS: Mendukung API `CheckAccess`.

  • Sistem akselerasi penyimpanan JindoFSx

    • JindoFSx: Lebih lanjut meningkatkan algoritma prefetch adaptif untuk meningkatkan efisiensi prefetch.

    • JindoFSx: Mendukung spasi dalam path.

    • JindoFSx: Mengurangi terjadinya hot spot selama pembacaan multi-replika.

  • Dukungan JindoSDK dan alat

    • Perintah Jindo kini menyediakan cakupan penuh perintah Hadoop.

    • Perintah Jindo kini mencakup dukungan native untuk HDFS, yang secara signifikan meningkatkan kinerja dan pengalaman pengguna.

    • JindoDistCp mendukung integrasi dengan Alibaba Cloud CloudMonitor.

    • JindoDistCp mendukung verifikasi checksum untuk data yang dimigrasikan dari OSS ke path HDFS.

    • JindoDistCp mendukung parameter pemisahan pekerjaan.

    • JindoDistCp memperbaiki logika penanganan kesalahan untuk penghapusan file sumber selama proses penyalinan.

    • JindoSDK mengoptimalkan penggunaan memori untuk pembacaan acak.

  • Dukungan POSIX JindoFuse

    • JindoFuse didesain ulang menggunakan API tingkat rendah untuk secara signifikan meningkatkan kinerja operasi seperti readdir.

    • JindoFuse memperbaiki masalah di mana program abnormal mencantumkan direktori root setelah JindoFSx dipasang.

JindoData 4.5.0

• Ringkasan

  Versi ini berfokus pada optimasi kinerja operasi metadata sistem penyimpanan JindoFS, menghasilkan peningkatan kinerja yang signifikan. Fitur penyimpanan bertingkat JindoFS ditingkatkan untuk mendukung penyimpanan Akses Jarang (IA) dan Penyimpanan Arsip Dingin. Dukungan untuk penulisan batch ditambahkan untuk mengoptimalkan kinerja pekerjaan ekstrak, transformasi, dan muat (ETL) berskala besar. Untuk SDK dan komponen ekosistem, disediakan SDK Java yang independen dari Hadoop.

• Fitur Utama

  • Sistem penyimpanan JindoFS

    • JindoFS: Mengoptimalkan operasi metadata, yang secara signifikan meningkatkan kinerja.

    • JindoFS: Meningkatkan fitur penyimpanan bertingkat untuk mendukung jenis penyimpanan IA dan Penyimpanan Arsip Dingin.

    • JindoFS: Menambahkan fitur penulisan batch untuk mengoptimalkan kinerja pekerjaan ETL berskala besar.

    • JindoFS: Memperbaiki masalah di mana mengakses OSS menyebabkan pengecualian layanan akibat kesalahan otorisasi sisi server.

  • Sistem akselerasi penyimpanan JindoFSx

    • JindoFSx: Memperbaiki masalah kebocoran handle file di layanan Storage.

    • JindoFSx: Memperbaiki masalah keamanan thread dalam pelaporan metrik sisi klien.

    • JindoFSx: Mengoptimalkan kinerja pembuatan direktori induk secara rekursif.

    • JindoFSx: Mengoptimalkan kinerja fitur rewrite path.

  • Dukungan JindoSDK dan alat

    • JindoSDK: Mendukung algoritma prefetch adaptif untuk meningkatkan efisiensi prefetch.

    • JindoSDK: Mendukung operasi rename atomik berbasis Tablestore.

    • JindoDistCp: Mengoptimalkan fitur `diff` untuk mendukung output file diff.

    • JindoSDK: Menerapkan penanganan terpadu untuk kesalahan retry, yang menyelesaikan kegagalan retry klien akibat perubahan alamat IP server.

    • JindoSDK: Menyediakan SDK Java yang independen dari Hadoop, menawarkan fungsionalitas yang sebanding dengan SDK Hadoop dan SDK Objek.

  • Dukungan POSIX JindoFuse

    JindoFuse: Memperbaiki masalah kebocoran memori yang disebabkan oleh operasi list saat caching diaktifkan di JindoFSx.

Versi JindoData 4.4.x

• Ikhtisar

  Sistem penyimpanan JindoFS kini mencakup fitur penyimpanan bertingkat dan pengarsipan data. Sistem ini memanfaatkan kemampuan penyimpanan bertingkat Alibaba Cloud OSS dan kompatibel dengan kebijakan penyimpanan bertingkat HDFS. Fitur ini memungkinkan Anda memilih kebijakan penyimpanan berbiaya lebih rendah untuk data yang jarang diakses guna mengurangi total biaya penyimpanan. Selain itu, JindoFS menambahkan dukungan untuk fitur HDFS AuditLog, yang secara signifikan meningkatkan kompatibilitas API, kesetaraan fitur, dan kemampuan migrasi data dengan Apache HDFS. Fitur ini juga meningkatkan impor data cepat untuk OSS dan migrasi dari instans JindoFS semi-terkelola. Fitur-fitur JindoFS disediakan melalui layanan Alibaba Cloud OSS-HDFS. Untuk informasi lebih lanjut, lihat Apa itu layanan OSS-HDFS?.

  Pada sistem akselerasi penyimpanan JindoFSx, versi JindoData 4.4.x mendukung cache lokal sisi klien (LocalCache), yang menyediakan akselerasi cache hanya sisi klien. Hal ini secara signifikan meningkatkan kemampuan caching metadata dan meningkatkan akselerasi cache untuk Alibaba Cloud NAS.

  Untuk SDK dan komponen ekosistem, kinerja dan throughput berbagai operasi secara signifikan ditingkatkan. SDK Objek kini didukung. SDK ini kompatibel dengan API penyimpanan objek OSS sekaligus secara signifikan meningkatkan kinerja berbagai operasi dan terintegrasi mulus dengan kemampuan akselerasi cache JindoFSx. Alat JindoDistJob diperkenalkan untuk mendukung migrasi penuh dan inkremental metadata file dari JindoFS semi-terkelola. Hal ini memungkinkan Anda beralih lancar ke solusi berbasis layanan JindoFS tanpa memigrasikan blok data. Alat migrasi JindoDistCp sangat ditingkatkan untuk mencapai migrasi tanpa kehilangan dari Apache HDFS ke layanan JindoFS, memastikan metadata file juga disalin.

• Fitur Utama

  • Sistem penyimpanan JindoFS

    • JindoFS mendukung penyimpanan bertingkat dan pengarsipan data, serta kompatibel dengan kebijakan penyimpanan HDFS.

    • JindoFS mendukung `BatchImport` untuk mengimpor data file secara batch.

    • JindoFS mendukung HDFS AuditLog.

    • JindoFS mendukung API `Concat` dan `SymLink`.

    • JindoFS mengoptimalkan proses pembersihan latar belakang untuk data file.

    • JindoFS mengoptimalkan kinerja operasi terkait `Lease` dan `Lock`.

  • Sistem akselerasi penyimpanan JindoFSx

    • JindoFSx mendukung plugin cache dan menyediakan mode cache sisi klien.

    • JindoFSx mendukung otorisasi berbasis plugin. Secara default, Anda tidak perlu menginstal dependensi pustaka KRB5 dan SASL.

    • JindoFSx secara signifikan mengoptimalkan kinerja cache metadata dan meningkatkan dukungan akselerasi cache untuk Alibaba Cloud NAS.

  • Dukungan JindoSDK dan alat

    • JindoSDK meningkatkan dukungan untuk HTTPS dan meningkatkan toleransi kesalahan di lingkungan jaringan lemah.

    • JindoSDK meningkatkan penerapan dengan menghapus dependensi pada pustaka KRB5 dan SASL secara default.

    • JindoSDK menambahkan dukungan untuk API penyimpanan objek OSS, yang secara signifikan meningkatkan kinerja operasi dan terintegrasi mulus dengan kemampuan akselerasi cache JindoFSx.

    • Alat JindoDistJob ditambahkan untuk mendukung migrasi cepat data dari JindoFS semi-terkelola dalam mode Block ke layanan JindoFS.

    • JindoDistCp secara signifikan meningkatkan kemampuan migrasi data dari Apache HDFS ke layanan JindoFS dan mendukung migrasi tanpa kehilangan metadata file.

  • Dukungan POSIX JindoFuse

    JindoFuse mengoptimalkan kinerja pembacaan sekuensial file besar.

Versi JindoData 4.3.x

• Ikhtisar

  JindoData 4.3.0 sepenuhnya mendukung arsitektur multi-cloud. Ini adalah solusi penyimpanan data lake yang mendukung multi-cloud, berbagai sistem penyimpanan, berbagai ekstensi akselerasi, berbagai protokol, dan berbagai bahasa pemrograman. Dukungan POSIX dalam sistem penyimpanan JindoFS telah ditingkatkan secara signifikan. Sistem JindoFSx untuk pertama kalinya mendukung ekstensi keamanan Kerberos+Ranger. JindoSDK dan alat ekosistem juga telah ditingkatkan secara signifikan dalam hal cakupan pengujian.

• Fitur Utama

  • Dukungan JindoSDK dan alat

    • JindoSDK mendukung penyimpanan multi-cloud, seperti Amazon S3, COS, dan OBS.

    • JindoSDK menyediakan alat JindoTable.

    • JindoSDK mengoptimalkan plugin Flink Connector.

    • JindoSDK meningkatkan JindoDistCp.

  • Sistem akselerasi penyimpanan JindoFSx

    • JindoFSx mendukung penyimpanan multi-cloud, seperti Amazon S3, COS, dan OBS.

    • JindoFSx mengoptimalkan caching data dan caching metadata.

    • JindoFSx mendukung solusi otorisasi Kerberos+Ranger.

    • JindoFSx secara signifikan meningkatkan metrik observabilitas.

    • JindoFSx terintegrasi dengan Fluid.

  • Sistem penyimpanan JindoFS

    • JindoFS mendukung kemampuan POSIX Lock dan Fallocate.

    • JindoFS mendukung peningkatan untuk kluster versi JindoFS lama dalam mode Block.

  • Dukungan POSIX JindoFuse

    • JindoFuse menambahkan dukungan untuk API terkait XAttr, seperti Setxattr, Getxattr, Listxattr, dan Removexattr.

    • JindoFuse mendukung kemampuan POSIX Lock dan Fallocate.

    • JindoFuse mendukung objek yang dapat ditambahkan di OSS, seperti fitur Append, Flush, dan read-while-writing.

Versi JindoData 4.2.x

• Ikhtisar

  JindoData 4.2.0 secara signifikan meningkatkan sistem akselerasi penyimpanan JindoFSx. Sistem ini menambahkan akselerasi cache untuk produk penyimpanan Apache HDFS dan Alibaba Cloud NAS, serta meningkatkan alat-alat seperti JindoFuse, JindoDistCp, dan JindoTable.

• Fitur Utama

  • Sistem akselerasi penyimpanan JindoFSx

    • Mendukung akselerasi cache transparan untuk Alibaba Cloud Apache HDFS (mempertahankan hdfs:// tetap tidak berubah) dan akselerasi mount terpadu (fsx://).

    • Mendukung akselerasi mount terpadu (fsx://) untuk produk penyimpanan Alibaba Cloud NAS.

    • Terpasang secara penuh dan mendukung layanan Alibaba Cloud OSS-HDFS (JindoFS), serta meningkatkan dukungan untuk penulisan path.

  • Dukungan JindoSDK dan alat

    • Memperkenalkan versi C/C++ pertama dari JindoSDK, yang menyediakan metode API mirip POSIX.

    • Mendukung POSIX JindoFuse. Alat JindoFuse ditingkatkan dan dibangun berdasarkan versi C/C++ dari JindoSDK.

    • Mendukung migrasi data JindoDistCp. Alat JindoDistCp direfaktor dan ditingkatkan dengan menyederhanakan serta menghapus fitur yang jarang digunakan dari versi 3.x untuk meningkatkan kegunaan dan ketangguhan.

    • Mendukung alat JindoTable. Alat JindoTable direfaktor dan ditingkatkan dengan menyederhanakan serta menghapus fitur yang jarang digunakan dari versi 3.x untuk meningkatkan kegunaan dan ketangguhan.

Versi JindoData 4.1.x

• Ringkasan

  JindoData 4.1.0 memperkenalkan fitur penting seperti penulisan acak pada layanan Alibaba Cloud OSS-HDFS (layanan JindoFS). Sistem ini juga menambahkan sistem akselerasi penyimpanan JindoFSx, yang mendukung caching terdistribusi untuk Alibaba Cloud OSS native dan layanan OSS-HDFS (layanan JindoFS).

• Fitur Utama

  • Sistem penyimpanan JindoFS

    • Kemampuan layanan JindoFS

      • Mendukung penulisan file acak, yang memungkinkan file dimodifikasi.

      • Mendukung keranjang daur ulang HDFS. Backend sistem membersihkan file di keranjang daur ulang berdasarkan waktu kedaluwarsanya.

      • Meningkatkan fitur snapshot HDFS untuk mendukung modifikasi file acak.

      • Meningkatkan mekanisme penghapusan direktori untuk secara signifikan meningkatkan kinerja operasi.

      • Menerapkan framework NsWorker, yang memungkinkan layanan meta global memindahkan sebagian pemrosesan berat ke node Follower dan Learner.

    • Dukungan CLI JindoShell

      • Memungkinkan Anda menggunakan perintah untuk mengatur waktu kedaluwarsa keranjang daur ulang HDFS.

      • Meningkatkan perintah dumpFile untuk menampilkan informasi tentang file penulisan acak.

    • Dukungan POSIX JindoFuse

      Mendukung modifikasi file acak (Seek dan Write).

  • Sistem akselerasi penyimpanan JindoFSx

    • Kemampuan inti JindoFSx

      • Mendukung akselerasi cache transparan untuk Alibaba Cloud OSS (mempertahankan oss:// tetap tidak berubah).

      • Mendukung akselerasi cache transparan untuk layanan Alibaba Cloud OSS-HDFS (layanan JindoFS) (mempertahankan oss:// tetap tidak berubah).

      • Menyediakan fitur namespace terpadu yang memungkinkan Anda memasang OSS atau OSS-HDFS ke namespace yang sama dan melakukan operasi terpadu menggunakan awalan fsx://.

      • Mendukung akselerasi cache untuk metadata file berskala besar.

      • Mendukung akselerasi pelatihan file kecil.

      • Mendukung akselerasi P2P, yang secara signifikan meningkatkan kinerja baca cache dalam skenario di mana banyak node pelatihan melakukan prefetch dan memuat file model secara simultan.

    • Dukungan Hadoop JindoSDK

      • Menyediakan JindoOssFileSystem untuk mendukung akselerasi cache transparan untuk OSS dan OSS-HDFS.

      • Menyediakan JindoFsxFileSystem untuk mendukung penggunaan dalam mode namespace terpadu.

    • Dukungan CLI JindoShell

      • Mendukung perintah cache data JindoFSx.

      • Mendukung perintah cache metadata JindoFSx.

      • Mendukung perintah manajemen namespace terpadu JindoFSx.

    • Dukungan POSIX JindoFuse

      • Mendukung pemasangan path oss:// dengan Fuse untuk membaca dan menulis ke cache JindoFSx.

      • Mendukung pemasangan path fsx:// dengan Fuse untuk membaca dan menulis ke cache JindoFSx.

Versi JindoData 4.0.x

• Ikhtisar

  JindoData 4.0.0 adalah versi pertama yang dirilis setelah peningkatan arsitektur komponen SmartData EMR Alibaba Cloud sebelumnya (hingga versi utama 3.8.0). Versi ini berfokus pada integrasi dan dukungan terhadap produk Alibaba Cloud OSS serta layanan Alibaba Cloud OSS-HDFS (layanan JindoFS).

  Catatan

  Sistem akselerasi penyimpanan JindoFSx tidak dirilis dalam JindoData 4.0.0.

• Fitur Utama

  • Layanan Alibaba Cloud OSS

    • Dukungan Hadoop JindoSDK

      • Menyediakan SDK Hadoop Java untuk Alibaba Cloud OSS yang sepenuhnya kompatibel dengan Hadoop OSS Connector dan secara signifikan meningkatkan kinerja.

      • Mendukung berbagai cara untuk mengatur penyedia kredensial, seperti konfigurasi, ECS Role, dan mekanisme bebas kredensial EMR.

      • Mendukung pengarsipan saat menulis, seperti Archive dan Deep Cold Archive.

    • Dukungan CLI JindoShell

      • Menyediakan ekstensi perintah tambahan untuk Hadoop dan HDFS Shell, menawarkan operasi berorientasi Hadoop untuk Alibaba Cloud OSS.

      • Mendukung perintah ekstensi ls2, yang dapat menampilkan status penyimpanan file atau objek di OSS, seperti Standard, IA, atau Archive, selain output perintah `ls` standar.

      • Mendukung perintah archive, yang memungkinkan Anda menentukan direktori untuk operasi pengarsipan.

      • Mendukung perintah restore, yang memungkinkan Anda menentukan direktori untuk operasi pemulihan.

    • Dukungan POSIX JindoFuse

      Ini adalah klien Fuse yang dioptimalkan untuk Alibaba Cloud OSS. Implementasi kode native-nya secara signifikan meningkatkan kinerja.

    • Migrasi data JindoDistCp

      Mendukung migrasi data dari kluster HDFS yang dikelola sendiri ke Alibaba Cloud OSS, dengan optimasi untuk file besar dan banyak file kecil.

  • Layanan Alibaba Cloud OSS-HDFS (layanan JindoFS)

    • Layanan JindoFS

      • Menambahkan opsi penyimpanan bucket baru untuk produk Alibaba Cloud OSS. Layanan ini menyediakan fitur akselerasi metadata, kompatibel biner, dan sepenuhnya selaras dengan fitur Apache HDFS, mendukung migrasi lift-and-shift untuk HDFS.

      • Secara native mendukung semantik direktori sistem file, secara signifikan mengoptimalkan operasi direktori, dan mendukung kemampuan rename atomik dan tingkat milidetik untuk direktori ekstra-besar.

      • Secara native mendukung semantik file sistem file, seperti lease penulisan HDFS, satu-tulis-banyak-baca, dan read-while-writing.

      • Mendukung operasi append, flush, sync, dan truncate pada file.

      • Mendukung snapshot HDFS dengan jumlah snapshot yang hampir tidak terbatas, yang memfasilitasi pencadangan data, pemulihan bencana, dan pemulihan.

      • Mendukung izin file. Anda dapat mengimpor dan mengatur informasi grup pengguna (UserGroupsMapping) menggunakan perintah JindoShell.

      • Mendukung mekanisme kontrol akses Hadoop Proxy User.

    • Dukungan Hadoop JindoSDK

      JindoSDK memiliki dukungan bawaan untuk mengakses layanan Alibaba Cloud OSS-HDFS (layanan JindoFS), menyediakan pengalaman akses dan penggunaan API HDFS yang komprehensif.

    • Dukungan CLI JindoShell

      • Menyediakan ekstensi perintah tambahan untuk Hadoop dan HDFS Shell, menawarkan operasi berorientasi Hadoop untuk layanan Alibaba Cloud OSS-HDFS (layanan JindoFS).

      • Memungkinkan Anda mengimpor dan mengatur informasi grup pengguna (UserGroupsMapping) menggunakan perintah.

      • Memungkinkan Anda mengatur aturan Hadoop Proxy User menggunakan perintah.

    • Dukungan POSIX JindoFuse

      Menyediakan klien Fuse yang dioptimalkan untuk layanan Alibaba Cloud OSS-HDFS (layanan JindoFS). Klien ini mendapat manfaat dari implementasi kode native penuh, yang secara signifikan meningkatkan kinerja.

• Masalah yang Diketahui

  • JindoSDK tidak mendukung penulisan file yang lebih besar dari 80 GB ke OSS.

  • JindoSDK tidak mendukung penulisan ke OSS dalam mode append.

  • JindoSDK tidak mendukung enkripsi berbasis klien untuk OSS.

  • JindoSDK tidak mendukung versi lama JindoFS dalam mode Block atau Cache.

  • Layanan Alibaba Cloud OSS-HDFS (layanan JindoFS) tidak mendukung peningkatan sistem dari versi lama JindoFS dalam mode Block. Anda harus menggunakan alat migrasi JindoDistCp untuk memigrasikan data dari sistem lama ke layanan baru.