E-MapReduce:Jindo DistCp の使用

たとえば、次のコマンドを実行して、HDFS の /opt/tmp ディレクトリにあるファイルを OSS バケットにコピーできます。

jindo distcp --src /opt/tmp --dest oss://<yourBucketName>/tmp

たとえば、次のコマンドを実行して、HDFS の /opt/tmp ディレクトリにあるファイルを OSS バケットにコピーできます。

jindo distcp --src /opt/tmp --dest oss://<yourBucketName>/tmp --parallelism 20

次のコマンドを実行して、/data/incoming/hourly_table/2017-02-01/03 ディレクトリ内のファイルを表示します。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

次の情報が返されます。

Found 6 items
-rw-r-----   2 root hadoop       2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt

ログ ファイルをコピーするには、次のコマンドを実行します。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --srcPattern .*\.log --parallelism 20

次のコマンドを実行して、コピー先の OSS バケット内のファイルを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

次の情報が返されます。コピー元のディレクトリにあるログ ファイルのみがコピーされます。

Found 2 items
-rw-rw-rw-   1       4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log
-rw-rw-rw-   1       4891 2020-04-17 20:52 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log

たとえば、次のコマンドを実行して、/data/incoming/hourly_table 内のファイルを OSS バケットにコピーし、コピーされたファイルをコピー元のディレクトリから削除できます。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --deleteOnSuccess --parallelism 20

次のコマンドを実行して、コピー先のディレクトリ内のファイルを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03

次の情報が返されます。コピー先のディレクトリ内のファイルは GZ 形式で圧縮されています。

Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz

このパラメーターは、gzip、gz、lzo、lzop、snappy、none、または keep に設定できます。デフォルト値：keep。none と keep の説明：

• none：Jindo DistCp はコピーされたファイルを圧縮しません。ファイルが圧縮されている場合、Jindo DistCp はファイルを解凍します。

• keep：Jindo DistCp は、圧縮を変更せずにファイルをコピーします。

マニフェスト ファイルを生成する場合は、--requirePreviousManifest を false に設定します。デフォルトでは、ファイルは GZ 形式で圧縮されます。これが唯一サポートされている形式です。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --outputManifest=manifest-2020-04-17.gz --requirePreviousManifest=false --parallelism 20

次のコマンドを実行して、ファイルの内容を表示します。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz > before.lst
cat before.lst 

次の情報が返されます。

{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/000151.sst","baseName":"2017-02-01/03/000151.sst","srcDir":"oss://<yourBucketName>/hourly_table","size":2252}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/1.log","baseName":"2017-02-01/03/1.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/2.log","baseName":"2017-02-01/03/2.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/OPTIONS-000109","baseName":"2017-02-01/03/OPTIONS-000109","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt","baseName":"2017-02-01/03/emp01.txt","srcDir":"oss://<yourBucketName>/hourly_table","size":1016}
{"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt","baseName":"2017-02-01/03/emp06.txt","srcDir":"oss://<yourBucketName>/hourly_table","size":1016}

たとえば、コピー元のディレクトリに 2 つのファイルが追加されています。新しく追加されたファイルをコピーするには、次のコマンドを実行します。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --outputManifest=manifest-2020-04-18.gz --previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz --parallelism 20

コピーされたファイルを表示するには、次のコマンドを実行します。

hadoop fs -text oss://<yourBucketName>/hourly_table/manifest-2020-04-18.gz > current.lst
diff before.lst current.lst 

次の情報が返されます。

3a4,5
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/5.log","baseName":"2017-02-01/03/5.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}
> {"path":"oss://<yourBucketName>/hourly_table/2017-02-01/03/6.log","baseName":"2017-02-01/03/6.log","srcDir":"oss://<yourBucketName>/hourly_table","size":4891}

--copyFromManifest を使用して、以前に --outputManifest によって生成されたマニフェスト ファイルを指定し、マニフェスト ファイルにリストされているファイルをコピー先のディレクトリにコピーできます。例：

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --previousManifest=oss://<yourBucketName>/hourly_table/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

次のコマンドを実行して、hourly_table の下のサブフォルダーを表示します。

hdfs dfs -ls oss://<yourBucketName>/hourly_table

次の情報が返されます。

Found 4 items
drwxrwxrwx   -          0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-01
drwxrwxrwx   -          0 1970-01-01 08:00 oss://<yourBucketName>/hourly_table/2017-02-02

次のコマンドを実行して、hourly_table の下のすべてのファイルをコピー先のフォルダーにコピーします。folders.txt という名前のファイルが生成されます。これには、hourly_table の下の各サブフォルダーに対応するプレフィックスが含まれています。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --srcPrefixesFile file:///opt/folders.txt --parallelism 20

次のコマンドを実行して、folders.txt ファイルの内容を表示します。

cat folders.txt 

次の情報が返されます。

hdfs://emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-01
hdfs://emr-header-1.cluster-50466:9000/data/incoming/hourly_table/2017-02-02

次のコマンドを実行して、指定されたフォルダー内のファイルを表示します。

hdfs dfs -ls /data/incoming/hourly_table/2017-02-01/03

次の情報が返されます。

Found 8 items
-rw-r-----   2 root hadoop       2252 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/000151.sst
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/1.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/2.log
-rw-r-----   2 root hadoop       4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/5.log
-rw-r-----   2 root hadoop       4891 2020-04-17 21:08 /data/incoming/hourly_table/2017-02-01/03/6.log
-rw-r-----   2 root hadoop       4891 2020-04-17 20:42 /data/incoming/hourly_table/2017-02-01/03/OPTIONS-000109
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp01.txt
-rw-r-----   2 root hadoop       1016 2020-04-17 20:47 /data/incoming/hourly_table/2017-02-01/03/emp06.txt

次のコマンドを実行して、フォルダー内の TXT ファイルをそれぞれ 10 MB 以下のサイズのファイルにマージします。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --targetSize=10 --groupBy='.*/([a-z]+).*.txt' --parallelism 20

次のコマンドを実行して、コピー先のディレクトリ内のファイルを表示します。2 つの TXT ファイルが 1 つにマージされています。

hdfs dfs -ls oss://<yourBucketName>/hourly_table/2017-02-01/03/
Found 1 items
-rw-rw-rw-   1       2032 2020-04-17 21:18 oss://<yourBucketName>/hourly_table/2017-02-01/03/emp2

小さいファイルと大きいファイルの両方をコピーする必要があるが、小さいファイル間と大きいファイル間でファイル サイズに大きな違いがない場合は、--enableBalancePlan を使用してジョブ割り当てプランを最適化できます。これにより、Jindo DistCp のコピー パフォーマンスが向上します。アプリケーション プランを指定しない場合、ファイルはランダムに割り当てられます。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --enableBalancePlan --parallelism 20

コピーするファイルのサイズが大きく異なり、ほとんどのファイルが小さいファイルの場合は、--enableDynamicPlan を使用してジョブ割り当てプランを最適化できます。これにより、Jindo DistCp のコピー パフォーマンスが向上します。

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --enableDynamicPlan --parallelism 20

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --diff

INFO distcp.JindoDistCp: Jindo DistCp job exit with 0

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --dest oss://<yourBucketName>/hourly_table --previousManifest=file:///opt/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

hadoop jar jindo-distcp-3.5.0.jar --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --update --parallelism 20

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --queue yarnqueue

hadoop jar jindo-distcp-3.5.0.jar --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --update --parallelism 20

hadoop jar jindo-distcp-3.5.0.jar --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table -filters /path/to/filterfile.txt --parallelism 20

.*\.tmp.
.*\.staging.*

例：

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --key <yourAccessKeyId> --secret <yourAccessKeySecret> --endPoint oss-cn-hangzhou.aliyuncs.com --parallelism 20

• コールド アーカイブ ストレージ クラスの例（--policy coldArchive ）

  hadoop jar jindo-distcp-3.5.0.jar --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --policy coldArchive --parallelism 20

  説明 コールド アーカイブ ストレージ クラスは、一部のリージョンでのみ使用できます。サポートされているリージョンの詳細については、「概要」をご参照ください。
• アーカイブ ストレージ クラスの例（--policy archive // ポリシーアーカイブ）

  jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --policy archive --parallelism 20

• 低頻度アクセス（IA）ストレージ クラスの例（--policy ia ）

  jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --policy ia --parallelism 20

1. アラート連絡先またはアラート連絡先グループを作成します。詳細については、「アラート連絡先またはアラート連絡先グループの作成」をご参照ください。
2. アラート トークンを取得します。
   1. 左側のナビゲーション ペインで、[アラート] > [アラート連絡先] を選択します。
   2. [アラート連絡先] ページで、[アラート連絡先グループ] タブをクリックします。
   3. アラート連絡先グループを見つけて、[外部アラートへのアクセス] をクリックします。

      表示されるパネルに表示されているアラート トークンを記録します。

3. パネルで、[テスト コマンド] をクリックして、次の表に示す環境変数を設定します。

   パラメーター	説明
   cmsAccessKeyId	Alibaba Cloud アカウントの AccessKey ID。
   cmsAccessSecret	Alibaba Cloud アカウントの AccessKey シークレット。
   cmsRegion	クラスターが存在するリージョンの ID（例：cn-hangzhou）。
   cmsToken	手順 2 で取得したアラート トークン。
   cmsLevel	アラート レベル。次のレベルがサポートされています。 INFO：メールと DingTalk チャットボット WARN：テキスト メッセージ、メール、および DingTalk チャットボット CRITICAL：電話、テキスト メッセージ、メール、および DingTalk チャットボット

   例：

   export cmsAccessKeyId=<your_key_id>
   export cmsAccessSecret=<your_key_secret>
   export cmsRegion=cn-hangzhou
   export cmsToken=<your_cms_token>
   export cmsLevel=WARN
   
   hadoop jar jindo-distcp-3.5.0.jar \
   --src /data/incoming/hourly_table \
   --dest oss://yang-hhht/hourly_table \
   --enableCMS

例：

jindo distcp --src /data/incoming/hourly_table --dest oss://<yourBucketName>/hourly_table --cleanUpPending --parallelism 20

jindo distcp jindo-distcp-2.7.3.jar --src s3a://yourbucket/ --dest oss://<your_bucket>/hourly_table --s3Key yourkey --s3Secret yoursecret --s3EndPoint s3-us-west-1.amazonaws.com 

<configuration>
    <property>
        <name>fs.s3a.access.key</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.s3a.secret.key</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.s3.endpoint</name>
        <value>s3-us-west-1.amazonaws.com</value>
    </property>
</configuration>

jindo distcp /tmp/jindo-distcp-2.7.3.jar --src s3://smartdata1/ --dest s3://smartdata1/tmp --s3EndPoint  s3-us-west-1.amazonaws.com

JindoDistcpCounter
  BYTES_EXPECTED=10000
  BYTES_SKIPPED=10000
  FILES_EXPECTED=11
  FILES_SKIPPED=11
Shuffle Errors
  BAD_ID=0
  CONNECTION=0
  IO_ERROR=0
  WRONG_LENGTH=0
  WRONG_MAP=0
  WRONG_REDUCE=0