E-MapReduce:Panduan pengguna JindoDistCp

Apa itu JindoDistCp

JindoDistCp adalah alat penyalinan file terdistribusi yang dikembangkan oleh tim Alibaba Cloud Data Lake Storage untuk transfer data skala besar di dalam dan antar kluster. Alat ini memanfaatkan MapReduce untuk mendistribusikan file, menangani kesalahan, serta memulihkan diri dari kegagalan. JindoDistCp menerima daftar file dan direktori sebagai input untuk tugas MapReduce, di mana setiap tugas menyalin sebagian dari daftar sumber. Alat ini mendukung penuh skenario penyalinan data antara Hadoop Distributed File System (HDFS), OSS-HDFS, OSS, dan S3, serta menyediakan berbagai parameter dan strategi kustom untuk penyalinan. JindoDistCp dioptimalkan khusus untuk menyalin data dari HDFS ke OSS-HDFS. Dengan menggunakan CopyCommitter kustom, alat ini melakukan penyalinan tanpa operasi rename (No-Rename) dan menjamin konsistensi data setelah proses selesai. Fitur-fiturnya sepenuhnya selaras dengan S3 DistCp dan HDFS DistCp, serta menawarkan peningkatan performa signifikan dibandingkan HDFS DistCp. JindoDistCp dirancang sebagai alat penyalinan data yang efisien, stabil, dan aman.

Persyaratan lingkungan

• JDK 1.8.0 atau versi lebih baru.

• Hadoop 2.3 atau versi lebih baru. Anda harus mengunduh versi terbaru file `jindo-distcp-tool-x.x.x.jar`. File JAR ini termasuk dalam paket `jindosdk-${version}.tar.gz`. Setelah mengekstrak paket tersebut, Anda dapat menemukan file JAR di direktori `tools/`. Untuk informasi lebih lanjut, lihat Unduhan JindoData.

  Catatan

  JindoDistCp diterapkan pada kluster yang menjalankan EMR V5.6.0 atau versi lebih baru dan EMR V3.40.0 atau versi lebih baru. Anda dapat menemukan file `jindo-distcp-tool-x.x.x.jar` di direktori `/opt/apps/JINDOSDK/jindosdk-current/tools`.

Parameter

--src dan --dest (wajib)

• `--src`: Menentukan jalur file sumber.

• `--dest`: Menentukan jalur file tujuan.

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

Anda dapat menentukan direktori tujuan menggunakan jalur `dest`. Misalnya, perintah di atas menyalin file dari `/data/hourly_table` ke direktori `hourly_table` dalam bucket `example-oss-bucket`. Perilaku ini berbeda dari Hadoop DistCp. Secara default, JindoDistCp menyalin semua file dari direktori sumber ke jalur tujuan yang ditentukan tetapi tidak menyertakan direktori root sumber. Anda dapat menentukan direktori root dalam jalur tujuan. Jika direktori tersebut tidak ada, direktori tersebut akan dibuat secara otomatis.

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

Gunakan --bandWidth

`--bandWidth`: Menentukan bandwidth yang dapat digunakan oleh satu node untuk tugas DistCp, dalam satuan MB. Parameter ini mencegah satu node mengonsumsi bandwidth terlalu banyak.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

Gunakan --codec

File sumber sering kali disimpan di OSS atau OSS-HDFS sebagai teks biasa yang tidak terkompresi, yang kurang ideal dari segi biaya penyimpanan maupun analisis data. Anda dapat menggunakan opsi `--codec` untuk menyimpan data secara efisien dengan mengompresi file secara online.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

Gunakan --filters

`--filters`: Menentukan file yang berisi aturan filter.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

Misalnya, jika file `filter.txt` berisi .*test.*, file yang jalurnya mengandung string "test" tidak akan disalin ke OSS.

Gunakan --srcPrefixesFile

`--srcPrefixesFile`: Menentukan file yang berisi aturan inklusi.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

Misalnya, jika file `prefixes.txt` berisi .*test.*, hanya file yang jalurnya mengandung string "test" yang akan disalin ke OSS.

Gunakan --parallelism

`--parallelism`: Menentukan parameter `mapreduce.job.maps` untuk tugas MapReduce. Nilai default parameter ini di lingkungan EMR adalah 10. Anda dapat menyesuaikan nilai parameter ini berdasarkan sumber daya kluster Anda untuk mengontrol konkurensi tugas DistCp.

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

Gunakan --taskBatch

`--taskBatch`: Menentukan jumlah file yang diproses oleh setiap tugas DistCp. Nilai default-nya adalah 1.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

Gunakan --tmp

`--tmp`: Menentukan direktori temporary di HDFS untuk menyimpan data sementara. Nilai default-nya adalah `/tmp`, yang berkorespondensi dengan `hdfs:///tmp/`.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

Konfigurasikan AccessKey untuk mengakses OSS atau OSS-HDFS

`--hadoopConf`: Jika Anda tidak berada di lingkungan EMR atau jika layanan akses tanpa password bermasalah, Anda dapat menggunakan opsi ini untuk menentukan AccessKey guna mengakses OSS atau OSS-HDFS.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

Gunakan --disableChecksum

`--disableChecksum`: Menonaktifkan verifikasi checksum file.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

Gunakan --deleteOnSuccess

`--deleteOnSuccess`: Memindahkan data alih-alih menyalinnya. Opsi ini mirip dengan operasi `mv`. Opsi ini pertama-tama menyalin file, lalu menghapusnya dari sumber.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

Gunakan --enableTransaction

`--enableTransaction`: Secara default, JindoDistCp menjamin integritas tingkat tugas. Anda dapat menggunakan parameter ini untuk menjamin integritas tingkat pekerjaan dan mengaktifkan dukungan transaksional antar pekerjaan.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

Gunakan --ignore

`--ignore`: Mengabaikan pengecualian yang terjadi selama migrasi data. Error tidak menghentikan tugas. Sebaliknya, error dilaporkan sebagai nilai JindoCounter. Jika CMS diaktifkan, notifikasi juga akan dikirimkan.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

Gunakan --diff

`--diff`: Membandingkan file di sumber dan tujuan. Jika file sumber belum disinkronkan ke tujuan, file yang berisi perbedaan akan dihasilkan di direktori saat ini. Jika tugas JindoDistCp Anda melibatkan kompresi atau dekompresi, `--diff` tidak dapat menunjukkan perbedaan file yang benar karena ukuran file berubah selama proses tersebut.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

JindoCounter
DIFF_FILES=1

Jika `--dest` Anda adalah jalur HDFS, format `/path`, `hdfs://hostname:ip/path`, dan `hdfs://headerIp:ip/path` didukung. Format `hdfs:///path`, `hdfs:/path`, atau format kustom lainnya tidak didukung.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

Gunakan --update

`--update`: Mengaktifkan sinkronisasi inkremental. Opsi ini melewatkan file dan direktori yang identik serta hanya menyinkronkan file dan direktori baru atau yang telah berubah dari sumber ke tujuan.

Jika tugas JindoDistCp gagal, Anda dapat menggunakan parameter ini untuk melanjutkan dari titik kegagalan dan hanya menyalin file yang tersisa. Anda juga dapat menggunakan parameter ini untuk menyalin file baru yang ditambahkan ke sumber setelah tugas JindoDistCp sebelumnya selesai.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

Tulis data ke OSS dalam kelas penyimpanan Cold Archive, Archive, atau IA

`--policy`: Menentukan kelas penyimpanan untuk data yang ditulis ke OSS. Anda dapat mengatur parameter ini ke Cold Archive, Archive, atau IA. Jika Anda tidak menentukan parameter ini, data akan ditulis ke kelas penyimpanan Standard secara default.

• Tulis data ke kelas penyimpanan Cold Archive (coldArchive) di OSS

  Fitur ini hanya tersedia di wilayah tertentu. Untuk informasi lebih lanjut, lihat Kelas penyimpanan OSS. Perintah berikut memberikan contoh:

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20

• Tulis data ke kelas penyimpanan Archive (archive) di OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20

• Tulis data ke kelas penyimpanan IA (ia) di OSS

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20

Gunakan --preserveMeta

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

Gunakan --jobBatch

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000

Gunakan --enableCMS

`--enableCMS`: Mengaktifkan fitur peringatan CMS.

Counter JindoDistCp

Counter JindoDistCp merangkum hasil tugas JindoDistCp. Tabel berikut menjelaskan counter tersebut.