E-MapReduce:Jindo DistCp の使用

Jindo DistCp は JAR パッケージを提供します。 hadoop jar コマンドを一連のパラメーターと共に使用して、ファイルをコピーできます。

コマンド例：

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table // ソースディレクトリ /data/hourly_table 内のファイルを example-oss-bucket という名前の OSS バケットの /hourly_table ディレクトリにコピーします。

単一のファイルをコピーする場合は、--dest パラメーターでディレクトリを指定します。コマンド例：

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp // /test.txt ファイルを example-oss-bucket という名前の OSS バケットの /tmp ディレクトリにコピーします。

コマンド例：

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6 // DistCp タスクが使用する帯域幅を 6 MB に制限します。

--codec パラメーターは、ファイルの圧縮と解凍に使用するコーデックを指定します。有効な値：gzip、gz、lzo、lzop、snappy、none、keep。デフォルト値：keep。 none と keep の説明：

• none：ソースファイルを圧縮せずにコピーします。ソースファイルが圧縮されている場合、Jindo DistCp はファイルを解凍します。

• keep：ファイルの圧縮や解凍を行わずにソースファイルをコピーします。

コマンド例：

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz // gz コーデックを使用してファイルを圧縮します。

コマンドを実行した後、コピー先ディレクトリ内のファイルを確認できます。出力は、ファイルが gz コーデックを使用して圧縮されていることを示しています。

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt // filter.txt ファイルにフィルター条件を指定します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt // prefixes.txt ファイルに一致条件を指定します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20 // 並列度を 20 に設定します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1 // タスクバッチサイズを 1 に設定します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp // 一時ディレクトリを /tmp に設定します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret // AccessKey ペアを指定します。

OSS または OSS-HDFS にアクセスするために使用する AccessKey ペアを Hadoop の core-site.xml ファイルに追加することもできます。これにより、AccessKey ペアを毎回入力する必要がなくなります。たとえば、EMR コンソールの Hadoop-Common サービスの core-site.xml ファイルに次の情報を追加できます。

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration> // core-site.xml ファイルに AccessKey ペアを追加します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum // チェックサム機能を無効にします。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess // コピー後にソースファイルを削除します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction // トランザクションを有効にします。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore // 例外を無視します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff // DIF モードを有効にします。

コピー先ファイルがソースファイルと異なる場合、コマンドを実行したディレクトリにファイルの違いを記録するファイルが生成され、次の情報が表示されます。

JindoCounter
DIFF_FILES=1

ソースファイルとコピー先ファイルのメタデータの違いを表示する場合は、--diff パラメーターと --preserveMeta パラメーターを設定できます。コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta // DIF モードを有効にし、メタデータも比較します。

コマンド例：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update // UPDATE モードを有効にします。

--preserveMeta：データコピー処理中にメタデータ（Owner、Group、Permission、Atime、Mtime、Replication、BlockSize、XAttrs、ACL メタデータなど）をコピーするかどうかを指定します。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta // メタデータをコピーします。

--jobBatch：OSS にデータをコピーするときに、DistCp ジョブで処理できるファイル数を指定します。デフォルト値：10000。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000 // jobBatch を 50000 に設定します。