E-MapReduce:Jindo DistCpを使う

Jindo DistCpを使用する場合、次のオプションを指定してデータをコピーできます。

• -- srcと -- dest

• -- parallelism

• -- srcPattern

• -- deleteOnSuccess

• -- outputCodec

• -- outputManifestおよび -- requirePreviousManifest

• -- outputManifestおよび -- previousManifest

• -- copyFromManifest

• -- srcPrefixesFile

• -- groupByおよび-targetSize

• -- enableBalancePlan

• -- enableDynamicPlan

• -- enableTransaction

• -- diff

• チェックDistCpカウンタ

• AccessKeyペアを使用したOSSへのアクセス

• OSS IAまたはアーカイブストレージへのデータの書き込み

• 残留ファイルのクリーンアップ

たとえば、次のコマンドを実行して、HDFSの /opt/tmpディレクトリ内のファイルをOSSバケットにコピーできます。

jindo distcp -- src /opt/tmp -- dest oss://<yourBucketName>/tmp

たとえば、次のコマンドを実行して、HDFSの /opt/tmpディレクトリ内のファイルをOSSバケットにコピーできます。

jindo distcp -- src /opt/tmp -- dest oss://<yourBucketName>/tmp -- parallelism 20

次のコマンドを実行して、/data/incoming/hourly_table/2017-02-01/03ディレクトリのファイルを表示します。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

次の情報が返されます。

6アイテムを見つけました
-rw-r ---- 2ルートhadoop 2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r ---- 2ルートhadoop 1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r ---- 2ルートhadoop 1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt 

次のコマンドを実行して、ログファイルをコピーします。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- srcPattern。*\.log -- 並列処理20

次のコマンドを実行して、宛先OSSバケット内のファイルを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

次の情報が返されます。 ソースディレクトリ内のログファイルのみがコピーされます。

2商品を見つけました
-rw-rw- 1 4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log
-rw-rw- 1 4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log 

たとえば、次のコマンドを実行して、/data/incoming/hourly_table内のファイルをOSSバケットにコピーし、コピーしたファイルをソースディレクトリから削除できます。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- deleteOnSuccess -- 並列処理20

次のコマンドを実行して、宛先ディレクトリのファイルを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

次の情報が返されます。 宛先ディレクトリのファイルはGZ形式で圧縮されます。

6アイテムを見つけました
-rw-rw- 1 938 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/000151 .sst.gz
-rw-rw- 1 1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log.gz
-rw-rw- 1 1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log.gz
-rw-rw- 1 1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw- 1 506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw- 1 506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz 

このパラメーターは、gzip、gz、lzo、lzop、snappy、none、またはkeepに設定できます。 デフォルト値: keep どれもの説明とキープ:

• none: Jindo DistCpはコピーしたファイルを圧縮しません。 ファイルが圧縮されている場合、Jindo DistCpはそれらを解凍します。

• keep: Jindo DistCpは、圧縮を変更せずにファイルをコピーします。

マニフェストファイルを生成する場合は、-- requirePreviousManifestをfalseに設定します。 デフォルトでは、ファイルはGZ形式で圧縮されています。 これは唯一サポートされている形式です。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- outputManifest=manifest-2020-04-17.gz -- requirePreviousManifest=false -- 並列処理20

次のコマンドを実行して、ファイルの内容を表示します。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz > before.lst
. lst

次の情報が返されます。

{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/000151.sst" 、"baseName":"2017-02-01/03/000151.sst" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":2252}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log" 、"baseName":"2017-02-01/03/1.log" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log" 、"baseName":"2017-02-01/03/2.log" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109" 、"baseName":"2017-02-01/03/OPTIONS-000109" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt","baseName":"2017-02-01/03/emp01.txt","srcDir":"oss://<yourBucketName>/hourly_table","size":1016}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt" 、"baseName":"2017-02-01/03/emp06.txt" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":1016} 

たとえば、2つのファイルがソースディレクトリに追加されます。 次のコマンドを実行して、新しく追加されたファイルをコピーします。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table-outputManifest=manifest-2020-04-18.gz-previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz-並列処理20

次のコマンドを実行して、コピーしたファイルを表示します。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-18.gz > current.lst
. lst current.lst

次の情報が返されます。

3a4,5
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/5.log" 、"baseName":"2017-02-01/03/5.log" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":4891}
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/6.log" 、"baseName":"2017-02-01/03/6.log" 、"srcDir":"oss://<yourBucketName>/hourly_table" 、"size":4891} 

-- copyFromManifestを使用して、以前に -- outputManifestによって生成されたマニフェストファイルを指定し、マニフェストファイルにリストされているファイルを宛先ディレクトリにコピーできます。 例：

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz -- copyFromManifest -- parallelism 20

次のコマンドを実行して、hourly_tableの下のサブフォルダーを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table

次の情報が返されます。

4商品を見つけました
drwxrwxrwx - 0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-01
drwxrwxrwx - 0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-02 

次のコマンドを実行して、hourly_tableの下のすべてのファイルをコピー先フォルダにコピーします。 folders.txtという名前のファイルが生成されます。 hourly_tableの下の各サブフォルダに対応するプレフィックスが含まれています。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- srcPrefixesFileファイル: /// opt/folders.txt -- 並列処理20

次のコマンドを実行して、folders.txtファイルの内容を表示します。

猫folders.txt

次の情報が返されます。

hdfs:// emr-header-1.cluster-50466:9000 /データ /受信 /hourly_table/2017-02-01
hdfs:// emr-header-1.cluster-50466:9000 /データ /受信 /hourly_table/2017-02-02 

次のコマンドを実行して、指定したフォルダ内のファイルを表示します。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

次の情報が返されます。

は8アイテムを見つけました
-rw-r ---- 2ルートhadoop 2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/5.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/6.log
-rw-r ---- 2ルートhadoop 4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r ---- 2ルートhadoop 1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r ---- 2ルートhadoop 1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt 

次のコマンドを実行して、フォルダ内のTXTファイルをそれぞれ10 MB以下のサイズのファイルにマージします。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table-targetSize=10 -- groupBy='.*/([a-z]+).*.txt' -- 並列処理20

次のコマンドを実行して、宛先ディレクトリのファイルを表示します。 2つのTXTファイルが1つにマージされます。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03 /
1商品を見つけました
-rw-rw- 1 2032 2020-04-17 21:18 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp2 

小さいファイルと大きいファイルの両方をコピーする場合でも、小さいファイルと大きいファイルのサイズに大きな違いがない場合は、-- enableBalancePlanを使用してジョブ割り当て計画を最適化できます。 これにより、Jindo DistCpのコピーパフォーマンスが向上します。 アプリケーションプランを指定しない場合、ファイルはランダムに割り当てられます。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- enableBalancePlan -- 並列処理20

コピーするファイルのサイズが大きく異なり、ほとんどのファイルが小さなファイルである場合は、-- enableDynamicPlanを使用してジョブ割り当て計画を最適化できます。 これにより、Jindo DistCpのコピーパフォーマンスが向上します。

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- enableDynamicPlan -- 並列処理20

例：

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- diff

すべてのファイルをコピーすると、次の情報が返されます。

INFO distcp.JindoDistCp: distcpは完全に

一部のファイルがコピーされない場合、これらのファイルのリストを含むマニフェストファイルがコピー先ディレクトリに生成されます。 次に、-- copyFromManifestと -- previousManifestを使用して、リスト内のファイルを宛先ディレクトリにコピーできます。 このようにして、データ量およびファイル量が検証される。 Jindo DistCpがコピープロセス中に圧縮または解凍操作を実行した場合、-- diffは正確なファイルサイズの違いを返しません。

jindo distcp -- src /data/incoming/hourly_table-dest oss://<yourBucketName>/hourly_table-dest oss://<yourBucketName>/hourly_table-previousManifest=ファイル: /// opt/manifest-2020-04-17.gz-copyFromManifest -- parallelism 20

次のコマンドを実行して、MapReduceのカウンタ情報のDistCp Countersを確認します。

Distcpカウンタ
        コピー先バイト数=11010048000
        バイトソース読み取り=11010048000
        コピーされたファイル=1001

シャッフルエラー
        BAD_ID=0
        接続=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0 

例：

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- key <yourAccessKeyId> -- secret <yourAccessKeySecret> -- endPoin t oss-cn-hangzhou.aliyuncs.com -- 並列処理20

DistCpタスクを使用してOSSにデータを書き込む場合、OSSアーカイブまたは低頻度アクセス (IA) ストレージにデータを書き込むことができます。

• アーカイブストレージクラス (-- Archive) の例:

  jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- policy archive -- parallelism 20

• IAストレージクラス (-- ia) の例:

  jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- policy ia-- parallelism 20

例：

jindo distcp -- src /data/incoming/hourly_table -- dest oss://<yourBucketName>/hourly_table -- cleanUpPending -- 並列処理20