E-MapReduce：Jindo DistCp使用說明

Jindo DistCp參數詳細資料如下：

• --src和--dest

• --parallelism

• --srcPattern

• --deleteOnSuccess

• --outputCodec

• --outputManifest和--requirePreviousManifest

• --outputManifest和--previousManifest

• --copyFromManifest

• --srcPrefixesFile

• --groupBy和-targetSize

• --enableBalancePlan

• --enableDynamicPlan

• --enableTransaction

• --diff

• 查看Distcp Counters

• 使用OSS AccessKey

• 使用歸檔或低頻寫入OSS

• 清理殘留檔案

例如，您可以執行以下命令，將/opt/tmp下的檔案拷貝到OSS Bucket。

jindo distcp --src /opt/tmp --dest oss://<yourBucketName>/tmp

例如，將HDFS上/opt/tmp目錄拷貝到OSS Bucket，可以執行以下命令。

jindo distcp --src /opt/tmp --dest oss://<yourBucketName>/tmp --parallelism 20

執行以下命令，查看/data/incoming/hourly_table/2017-02-01/03下的檔案。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

返回資訊如下。

Found 6 items
-rw-r-----   2 root hadoop       2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt

執行以下命令，複製以log結尾的檔案。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --srcPattern .*\.log --parallelism 20

執行以下命令，查看目標bucket的內容。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

返回資訊如下，顯示只複製了以log結尾的檔案。

Found 2 items
-rw-rw-rw-   1       4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log
-rw-rw-rw-   1       4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log

例如，執行以下命令，您可以將/data/incoming/下的hourly_table檔案移動到OSS Bucket中，並刪除源位置檔案。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --deleteOnSuccess --parallelism 20

目標檔案夾中的檔案已經使用gz轉碼器壓縮了。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

返回資訊如下：

Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz

Jindo DistCp目前的版本支援轉碼器gzip、gz、lzo、lzop、snappy以及關鍵字none和keep（預設值）。關鍵字含義如下：

• none表示儲存為未壓縮的檔案。如果檔案已壓縮，則Jindo DistCp會將其解壓縮。

• keep表示不變更檔壓縮形態，按原樣複製。

如果您需要產生資訊清單檔，則指定--requirePreviousManifest為false。當前outputManifest檔案預設且必須為gz類型壓縮檔。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --outputManifest=manifest-2020-04-17.gz --requirePreviousManifest=false --parallelism 20

查看outputManifest檔案內容。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz > before.lst
cat before.lst 

返回資訊如下。

{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/000151.sst","baseName":"2017-02-01/03/000151.sst","srcDir":"oss://<yourBucketName>/hourly_table","size":2252}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log","baseName":"2017-02-01/03/1.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log","baseName":"2017-02-01/03/2.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109","baseName":"2017-02-01/03/OPTIONS-000109","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt","baseName":"2017-02-01/03/emp01.txt","srcDir":"oss://<yourBucketName>/hourly_table","size":1016}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt","baseName":"2017-02-01/03/emp06.txt","srcDir":"oss://<yourBucketName>/hourly_table","size":1016}

例如，在源檔案夾中新增加了兩個檔案，命令如下所示。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --outputManifest=manifest-2020-04-18.gz --previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz --parallelism 20

執行以下命令，查看運行期間複製的檔案。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-18.gz > current.lst
diff before.lst current.lst 

返回資訊如下。

3a4,5
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/5.log","baseName":"2017-02-01/03/5.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/6.log","baseName":"2017-02-01/03/6.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}

使用--outputManifest產生資訊清單檔後，您可以使用--copyFromManifest指定--outputManifest產生的資訊清單檔，並將dest目錄產生的資訊清單檔中包含的檔案資訊拷貝到新的目錄下。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

樣本如下，查看hourly_table下檔案。

hdfs dfs -ls oss://<yourBucketName>/hourly_table

返回資訊如下。

Found 4 items
drwxrwxrwx   -          0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-01
drwxrwxrwx   -          0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-02

執行以下命令，複製hourly_table下檔案到folders.txt。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --srcPrefixesFile file:///opt/folders.txt --parallelism 20

查看folders.txt檔案的內容。

cat folders.txt 

返回資訊如下。

hdfs://emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01
hdfs://emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02

例如，執行以下命令，查看如下檔案夾中的資料。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

返回資訊如下。

Found 8 items
-rw-r-----   2 root hadoop       2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r-----   2 root hadoop       4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/5.log
-rw-r-----   2 root hadoop       4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/6.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt

執行以下命令，將如下檔案夾中的TXT檔案合并為不超過10M的檔案。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --targetSize=10 --groupBy='.*/([a-z]+).*.txt' --parallelism 20

經過合并後，可以看到兩個TXT檔案被合并成了一個檔案。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03/
Found 1 items
-rw-rw-rw-   1       2032 2020-04-17 21:18 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp2

在您要拷貝的資料大小均衡、小檔案和大檔案混合的情境下，因為DistCp預設的執行計畫是隨機進行檔案分配的，所以您可以指定--enableBalancePlan來更改Jindo DistCp的作業分配計劃，以達到更好的DistCp效能。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --enableBalancePlan --parallelism 20

當您要拷貝的資料大小分化嚴重、小檔案資料較多的情境下，您可以指定--enableDynamicPlan來更改Jindo DistCp的作業分配計劃，以達到更好的DistCp效能。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --enableDynamicPlan --parallelism 20

例如，執行以下命令，查看/data/incoming/。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --diff

如果全部任務完成則會提示如下資訊。

INFO distcp.JindoDistCp: distcp has been done completely

如果src的檔案未能同步到dest上，則會在目前的目錄下產生manifest檔案，您可以使用--copyFromManifest和--previousManifest拷貝剩餘檔案，從而完成資料大小和檔案個數的校正。如果您的DistCp任務包含壓縮或者解壓縮，則--diff不能顯示正確的檔案差異，因為壓縮或者解壓縮會改變檔案的大小。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --dest oss://<yourBucketName>/hourly_table --previousManifest=file:///opt/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

執行以下命令，在MapReduce的Counter資訊中尋找Distcp Counters的資訊。

Distcp Counters
        Bytes Destination Copied=11010048000
        Bytes Source Read=11010048000
        Files Copied=1001

Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0

命令樣本如下。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --ossKey <yourAccessKeyId> --ossSecret <yourAccessKeySecret> --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 20

在您的Distcp任務寫入OSS時，您可以通過如下模式寫入OSS，資料存放區：

• 使用歸檔（--archive）樣本命令如下。

  jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --policy archive --parallelism 20

• 使用低頻（--ia）樣本命令如下。

  jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --policy ia --parallelism 20

命令樣本如下。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --cleanUpPending --parallelism 20