E-MapReduce:Gunakan Jindo DistCp

Apa itu Jindo DistCp?

Jindo DistCp adalah alat salin terdistribusi yang dikembangkan oleh tim penyimpanan data lake Alibaba Cloud untuk menyalin file di dalam atau antar kluster berskala besar. Alat ini menggunakan MapReduce untuk mendistribusikan file, menangani kesalahan, dan memulihkan data. File dan direktori digunakan sebagai input tugas map, dengan setiap tugas menyalin sebagian dari file dan direktori dalam daftar input. Jindo DistCp mendukung penyalinan data penuh antara Hadoop Distributed File System (HDFS), OSS-HDFS, Object Storage Service (OSS), dan Amazon Simple Storage Service (Amazon S3). Jindo DistCp juga menyediakan berbagai parameter dan kebijakan salinan. Saat menyalin data dari HDFS ke OSS-HDFS, Anda dapat menggunakan CopyCommitter kustom untuk menyalin file tanpa mengganti nama file, memastikan konsistensi dengan file sumber. Jindo DistCp mendukung semua fitur yang disediakan oleh Amazon S3 DistCp dan HDFS DistCp, serta meningkatkan efisiensi, stabilitas, dan keamanan penyalinan data secara signifikan dibandingkan dengan HDFS DistCp.

Persyaratan lingkungan

• Anda perlu menginstal Java Development Kit (JDK) 1.8.0.

• Jika Anda menggunakan Hadoop 2.3 atau versi lebih baru, unduh paket JAR terbaru Jindo DistCp. Paket jindosdk-${version}.tar.gz terbaru dapat diunduh dari tautan ini. Ekstrak paket yang diunduh dan temukan file jindo-distcp-tool-x.x.x.jar di folder /tools.

  Catatan

  Jindo DistCp diterapkan di kluster E-MapReduce (EMR) V5.6.0 atau versi minor lebih baru, serta kluster EMR V3.40.0 atau versi minor lebih baru. File jindo-distcp-tool-x.x.x.jar dapat ditemukan di direktori /opt/apps/JINDOSDK/jindosdk-current/tools.

Parameter

--src dan --dest (Diperlukan)

• --src: Menentukan direktori file sumber.

• --dest: Menentukan direktori file tujuan.

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

Gunakan parameter --dest untuk menentukan direktori tujuan. Contoh perintah di atas menyalin file dari direktori /data/hourly_table ke direktori /hourly_table di bucket OSS bernama example-oss-bucket. Berbeda dengan HDFS DistCp, Jindo DistCp secara default hanya menyalin file di direktori sumber ke direktori tujuan yang ditentukan, tanpa menyalin direktori. Untuk mengatasi hal ini, tentukan direktori dalam parameter --dest. Jika direktori tidak ada di direktori tujuan, Jindo DistCp akan membuatnya.

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

--bandWidth

--bandWidth: Menentukan bandwidth yang digunakan oleh tugas DistCp. Satuan: MB. Parameter ini mencegah satu tugas DistCp menggunakan terlalu banyak sumber daya bandwidth.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

--codec

File tujuan di OSS atau OSS-HDFS biasanya adalah file teks yang tidak dikompres. File teks tidak ideal untuk pengendalian biaya penyimpanan atau analisis data. Jindo DistCp memungkinkan Anda mengonfigurasi parameter --codec untuk mengompres file tujuan secara online, membantu menghemat sumber daya penyimpanan.

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Ditemukan 6 item
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

--filters

--filters: Menentukan file yang berisi kondisi filter.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

Sebagai contoh, file filter.txt berisi string .*test.*. Dalam hal ini, file yang jalurnya mengandung string test tidak disalin ke OSS.

-srcPrefixesFile

--srcPrefixesFile: Menentukan file yang berisi kondisi pencocokan.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

Sebagai contoh, file prefixes.txt berisi string .*test.*. Dalam hal ini, hanya file yang jalurnya mengandung string test yang disalin ke OSS.

--parallelism

--parallelism: Menentukan paralelisme pekerjaan DistCp. Parameter ini setara dengan parameter mapreduce.job.maps untuk pekerjaan MapReduce. Nilai default dari parameter mapreduce.job.maps adalah 10 di EMR. Tentukan nilai parameter --parallelism berdasarkan penggunaan sumber daya kluster.

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

--taskBatch

--taskBatch: Menentukan jumlah file yang dapat diproses oleh tugas DistCp. Nilai default: 1.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

--tmp

--tmp: Menentukan direktori sementara HDFS yang digunakan untuk menyimpan data sementara. Nilai default adalah /tmp, yang menunjukkan hdfs:///tmp/.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

--hadoopConf

--hadoopConf: Menentukan pasangan AccessKey yang digunakan untuk mengakses OSS atau OSS-HDFS dalam lingkungan non-EMR atau skenario di mana akses tanpa AccessKey tidak didukung. Gunakan parameter --hadoopConf untuk menentukan pasangan AccessKey.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

-disableChecksum

--disableChecksum: Menentukan apakah akan menonaktifkan fitur checksum file.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

-deleteOnSuccess

--deleteOnSuccess: Menentukan apakah akan memigrasi data alih-alih menyalin data. Saat mengonfigurasi parameter ini, operasi salinan mirip dengan operasi mv. Jindo DistCp menyalin file sumber dan kemudian menghapus file sumber dari direktori sumber.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

--enableTransaction

--enableTransaction: Menentukan apakah akan mengaktifkan transaksi untuk pekerjaan. Transaksi membantu memastikan integritas data pada tingkat pekerjaan. Secara default, Jindo DistCp memastikan integritas data pada tingkat tugas.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

--ignore

--ignore: Menentukan apakah akan mengabaikan pengecualian yang terjadi selama proses penyalinan data untuk mencegah pengecualian mengganggu pekerjaan yang sedang berlangsung. Pengecualian tersebut ditampilkan di counter Jindo DistCp. Jika fitur pemantauan dan peringatan CloudMonitor diaktifkan, sistem akan mengirimkan notifikasi kepada Anda menggunakan metode yang ditentukan saat pengecualian terjadi.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

--diff

--diff: Menentukan apakah akan menggunakan mode DIF. Dalam mode DIF, file dihasilkan untuk mencatat perbedaan antara file sumber dan tujuan. Jika file sumber gagal disalin ke direktori tujuan, file dihasilkan di direktori tempat perintah dijalankan untuk mencatat perbedaan antara file sumber dan tujuan. Jika Jindo DistCp telah melakukan operasi kompresi atau dekompresi selama proses salinan, --diff tidak mengembalikan perbedaan ukuran file yang akurat.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

JindoCounter
DIFF_FILES=1

Jika direktori tujuan adalah direktori HDFS, Anda dapat menentukan direktori dalam format /path, hdfs://hostname:ip/path, atau hdfs://headerIp:ip/path. Format lainnya, seperti hdfs:///path dan hdfs:/path, tidak didukung.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

--update

--update: Menentukan apakah akan menggunakan mode UPDATE. Dalam mode UPDATE, hanya file sumber tambahan yang disalin, seperti file sumber yang tidak ada di direktori tujuan atau file sumber yang berbeda dari file tujuan.

Jika pekerjaan Jindo DistCp terganggu dan file gagal disalin ke direktori tujuan, gunakan parameter --update untuk menyalin file-file tersebut. Jika file tertentu ditambahkan ke direktori sumber, Anda juga dapat menggunakan parameter --update untuk menyalin file tambahan ke direktori tujuan.

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

--policy

--policy: Menentukan kelas penyimpanan file yang disalin ke OSS, seperti Cold Archive, Archive, atau IA. Jika parameter ini tidak dikonfigurasi, kelas penyimpanan Standard digunakan secara default.

• Cold Archive

  Hanya wilayah tertentu yang mendukung kelas penyimpanan ini. Untuk informasi lebih lanjut, lihat Ikhtisar. Contoh perintah:

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20

• Archive

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20

• IA

   jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20

--preserveMeta

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

--jobBatch

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000

--enableCMS

--enableCMS: Menentukan apakah akan mengaktifkan fitur pemantauan dan peringatan CloudMonitor.

Counter Jindo DistCp

Counter Jindo DistCp menjelaskan hasil eksekusi pekerjaan Jindo DistCp. Tabel berikut menjelaskan counter spesifik.