E-MapReduce:JindoDistCp ユーザーガイド

JindoDistCp は JAR パッケージとして提供されています。hadoop jar コマンドで一連のパラメーターを使用して、移行操作を実行できます。

コマンドの例は次のとおりです。

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table  --dest oss://example-oss-bucket/hourly_table

単一のファイルをコピーする場合、宛先にはディレクトリを指定する必要があります。

hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp

以下はコマンドの例です。

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6

--codec はファイル圧縮のコーデックを指定します。gzip、gz、lzo、lzop、snappy のエンコーダー、およびキーワード none と keep (デフォルト) をサポートしています。キーワードの説明は次のとおりです：

• none：ファイルを非圧縮で保存します。ソースファイルがすでに圧縮されている場合、JindoDistCp は解凍します。

• keep (デフォルト)：圧縮状態を変更せずに、そのままファイルをコピーします。

コマンドの例は次のとおりです：

jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz

コマンドの実行後、宛先フォルダー内のファイルは gz コーデックを使用して圧縮されます。

[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw-   1        938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw-   1       1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw-   1        506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz

次にコマンドの例を示します。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt

次にコマンド例を示します。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt

コマンドの例は次のとおりです。

 jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20

以下はコマンドの例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1

以下はコマンドの例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table  --tmp /tmp

次にコマンド例を示します。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret

毎回 AccessKey を入力しなくても済むように、Hadoop の core-site.xml ファイルに、OSS または OSS-HDFS 用の AccessKey ID と AccessKey Secret を事前に設定できます。EMR コンソールで、Hadoop-Common サービスの core-site.xml ページに次の設定を追加します。

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>
</configuration>

以下はコマンド例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum

以下はコマンドの例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess

コマンドの例を次に示します。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction

以下はコマンドの例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore

以下はコマンドの例です：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff

差分が見つかった場合、差分を含むファイルがカレントディレクトリに生成され、次のメッセージが表示されます：

JindoCounter
DIFF_FILES=1

ファイルメタデータの差分を確認するには、--diff --preserveMeta コマンドを実行します：

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta

以下はコマンドの例です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

--preserveMeta ：メタデータをデータとともに移行することを指定します。メタデータには、所有者、グループ、パーミッション、Atime、Mtime、レプリケーション、ブロックサイズ、XAttrs、ACL が含まれます。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta

--jobBatch：DistCp タスクが OSS にデータを書き込む場合、--jobBatch を使用して、各 DistCp ジョブが処理するファイル数を指定できます。デフォルト値は 10,000 です。

 jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000