E-MapReduce:特定のシナリオでのJindo DistCpの使用

Jindo DistCpの一般的な使用シナリオ:

• シナリオ 1：大量のHDFSデータまたは多数のHDFSファイル（数百万または数千万）をOSSにインポートする場合、最適化に必要なパラメーターは何ですか？
• シナリオ 2：Jindo DistCpを使用してOSSにデータをインポートした後、データの整合性をどのように検証しますか？
• シナリオ 3：DistCpタスクがHDFSデータのOSSへのインポートに失敗した場合、再開可能なアップロードをサポートするために必要なパラメーターは何ですか？
• シナリオ 4：Jindo DistCpを使用してHDFSデータをOSSにインポートするときに生成される可能性のあるファイルを処理するために必要なパラメーターは何ですか？
• シナリオ 5：Jindo DistCpタスクが存在するYARNキューと、タスクに割り当てられる使用可能な帯域幅を指定するために必要なパラメーターは何ですか？
• シナリオ 6：OSSコールドアーカイブ、アーカイブ、またはIAストレージにデータを書き込むときに必要なパラメーターは何ですか？
• シナリオ 7：小規模ファイルの割合と特定のファイルサイズに基づいてファイル転送を高速化するために必要なパラメーターは何ですか？
• シナリオ 8：Amazon S3をデータソースとして使用する場合、必要なパラメーターは何ですか？
• シナリオ 9：OSSにファイルをコピーし、コピーしたファイルをLZOまたはGZ形式で圧縮する場合、必要なパラメーターは何ですか？
• シナリオ 10：特定のルールに一致するファイル、または同じ親ディレクトリのいくつかのサブディレクトリにあるファイルをコピーする場合、必要なパラメーターは何ですか？
• シナリオ 11：ファイル数を減らすために、特定のルールに一致するファイルをマージする場合、必要なパラメーターは何ですか？
• シナリオ 12：コピー操作後に元のファイルを削除する場合、必要なパラメーターは何ですか？
• シナリオ 13：CLIでOSSのAccessKeyペアとエンドポイント情報を指定したくない場合はどうすればよいですか？

EMRを使用していない場合、HDFSデータをオブジェクトストレージサービス（OSS）にインポートするには、次の条件を満たす必要があります。

• HDFSからデータを読み取ることができる。
• OSSのAccessKey ID、AccessKeyシークレット、およびエンドポイントを取得している。宛先OSSバケットにデータを書き込むことができる。
• OSSバケットのストレージクラスがアーカイブではない。
• MapReduceタスクを送信できる。
• Jindo DistCpのJARパッケージがダウンロードされている。

例：

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 10

数百万または数千万のファイルなど、大量のデータまたは多数のファイルをOSSにインポートするには、並列処理を大きな値に設定して並列処理を増やすことができます。また、enableBatch をtrueに設定して最適化することもできます。最適化コマンド：

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 500 --enableBatch

次のいずれかの方法を使用して、データの整合性を検証できます。

• Jindo DistCpカウンター
  MapReduceタスクのカウンター情報でDistCpカウンターを確認します。

  Distcp Counters
          Bytes Destination Copied=11010048000
          Bytes Source Read=11010048000
          Files Copied=1001
      
  Shuffle Errors
          BAD_ID=0
          CONNECTION=0
          IO_ERROR=0
          WRONG_LENGTH=0
          WRONG_MAP=0
          WRONG_REDUCE=0

  ここで：

  • Bytes Destination Copiedは、宛先ディレクトリにコピーするファイルのサイズをバイト単位で指定します。
  • Bytes Source Readは、ソースディレクトリから読み取るファイルのサイズをバイト単位で指定します。
  • Files Copiedは、コピーされたファイルの数を指定します。
• Jindo DistCp --diff

  --diff パラメーターで終わるコマンドを実行して、ソースディレクトリと宛先ディレクトリのファイルを比較します。このコマンドは、ソースディレクトリと宛先ディレクトリのファイルの名前とサイズを比較し、コピーされていないファイルまたはコピーに失敗したファイルを識別し、コマンドが送信されたディレクトリにマニフェストファイルを生成します。

  シナリオ 1で説明されているコマンドに --diff を追加します。例：シナリオ 1

  hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

  すべてのファイルがコピーされると、次の情報が返されます。

  INFO distcp.JindoDistCp: distcp has been done completely

DistCpタスクが失敗し、コピーに失敗したファイルのみをコピーするために再開可能なアップロードを実行する場合は、シナリオ 1で説明されているコマンドに基づいて、次の操作を実行します。

1. --diff を追加して、すべてのファイルがコピーされているかどうかを確認します。

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

   すべてのファイルがコピーされると、次の情報が返されます。

   INFO distcp.JindoDistCp: distcp has been done completely.

2. 一部のファイルがコピーされていない場合は、マニフェストファイルが生成されます。この場合、--copyFromManifest と --previousManifest を使用して残りのファイルをコピーします。例：

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --dest oss://destBucket/hourly_table --previousManifest=file:///opt/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

   file:///opt/manifest-2020-04-17.gz は、マニフェストファイルが格納されているパスです。

--更新シナリオ 1で説明されているコマンドに

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 10 --update

を追加して、増分ファイルをコピーします。

シナリオ 1で説明されているコマンドに、次の2つのパラメーターを追加します。これら2つのパラメーターは、一緒に、または個別に使用できます。

• --queue：YARNキューの名前。
• --bandwidth：指定された帯域幅のサイズ（MB/秒）。

例：

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --queue yarnqueue --bandwidth 6 --parallelism 10

シナリオ 1で説明されているコマンドのOSSのAccessKey ID、AccessKeyシークレット、およびエンドポイントを指定するパラメーターを、次のAmazon S3のパラメーターに置き換えます。

• --s3Key：Amazon S3のAccessKey ID
• --s3Secret：Amazon S3のAccessKeyシークレット
• --s3EndPoint：Amazon S3のエンドポイント

例：

hadoop jar jindo-distcp-<version>.jar --src s3a://yourbucket/ --dest oss://destBucket/hourly_table --s3Key yourkey --s3Secret yoursecret --s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10

シナリオ 1で説明されているコマンドに --outputCodec を追加します。例：シナリオ 1

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --outputCodec=gz --parallelism 10

--outputCodecは、gzip、gz、lzo、lzop、snappy、none、またはkeepに設定できます。デフォルト値：keep。 noneとkeepの説明：

• none：Jindo DistCpはコピーされたファイルを圧縮しません。ファイルが既に圧縮されている場合、Jindo DistCpはファイルを解凍します。
• keep：Jindo DistCpは、圧縮を変更せずにファイルをコピーします。

シナリオ 1で説明されているコマンドに次のパラメーターを追加します。

• --targetSize：マージされたファイルの最大サイズ（MB）
• --groupBy：マージルール。正規表現です。

例：

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --targetSize=10 --groupBy='.*/([a-z]+).*.txt' --parallelism 20

シナリオ 1で説明されているコマンドに --deleteOnSuccess を追加します。例：シナリオ 1

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://destBucket/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --deleteOnSuccess --parallelism 10

Jindo DistCpでは、OSSのAccessKey ID、AccessKeyシークレット、およびエンドポイントを core-site.xml ファイルに保存できるため、情報を繰り返し指定する必要はありません。

• OSSのAccessKey ID、AccessKeyシークレット、およびエンドポイントを保存する場合は、次の情報を core-site.xml ファイルに保存します。

  <configuration>
      <property>
          <name>fs.jfs.cache.oss-accessKeyId</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-accessKeySecret</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-endpoint</name>
          <value>oss-cn-xxx.aliyuncs.com</value>
      </property>
  </configuration>

• Amazon S3のAccessKey ID、AccessKeyシークレット、およびエンドポイントを保存する場合は、次の情報を core-site.xml ファイルに保存します。

  <configuration>
      <property>
          <name>fs.s3a.access.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3a.secret.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3.endpoint</name>
          <value>s3-us-west-1.amazonaws.com</value>
      </property>
  </configuration>