E-MapReduce:Jindo DistCp に関する FAQ

オブジェクトが低速でリストされる場合はどうすればよいですか？

• 問題の説明

  Jindo DistCp を使用すると、オブジェクトが低速でリストされ、次のメッセージが返されます。

  Successfully list objects with prefix xxx/yyy/ in bucket xxx recursive 0 result 315 dur 100036.615031MS

  このメッセージでは、dur 100036.615031MS は、オブジェクトのリストにかかった時間 (ミリ秒単位) を示しています。 通常の場合、1,000 個のオブジェクトストレージサービス (OSS) オブジェクトを 1 秒以内にリストできます。 通常の速度に基づいて、ディレクトリ内のオブジェクトのリストにかかる時間が正常かどうかを判断できます。 たとえば、上記のメッセージは、ディレクトリ内の 315 個のオブジェクトのリストに 100 秒かかったことを示しています。 これは異常です。

• 解決策

  次のコマンドを実行して、クライアントのメモリを増やします。

  export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Xmx4096m"

チェックサム関連のエラーが発生した場合はどうすればよいですか？

• 問題の説明

  Jindo DistCp を使用すると、次のエラーメッセージが報告されます。

  Failed to get checksum store.

• 解決策

  デフォルトでは、OSS-HDFS はチェックサムアルゴリズム COMPOSITE_CRC を使用します。 HDFS の dfs.checksum.combine.modefs.oss.checksum.combine.mode パラメーターが MD5MD5CRC に設定されている場合は、 パラメーターの値を MD5MD5CRC に変更する必要があります。 コマンド例:

  hadoop jar jindo-distcp-${version}.jar --src /data --dest oss://destBucket/ --hadoopConf fs.oss.checksum.combine.mode=MD5MD5CRC

オブジェクトストレージサービス (OSS) オブジェクトを OSS-HDFS にコピーするときにエラーが発生した場合はどうすればよいですか？

• 問題の説明

  Jindo DistCp を使用して OSS オブジェクトを OSS-HDFS にコピーすると、次のエラーメッセージが返されます。

  Exception raised while copying data file, verify checksum failed

• 解決策

  Jindo DistCp を使用して HDFS から OSS にオブジェクトを移行していない場合は、--disableChecksum パラメーターを構成してチェックサム機能を無効にする必要があります。サンプルコマンド:

  hadoop jar jindo-distcp-${version}.jar --src oss://ossBucket/ --dest oss://dlsBucket/ --disableChecksum

Jindo DistCp が正常に実行されたかどうかを確認するにはどうすればよいですか？

--ignore パラメーターを追加せずに Jindo DistCp を実行し、コピー処理中に例外が発生した場合、システムはエラーを報告し、コピー操作を停止します。 --ignore パラメーターを追加して Jindo DistCp を実行した場合は、COPY_FAILED や CHECKSUM_DIFF などの Jindo DistCp カウンターの情報を表示して、データが完全かどうかを確認できます。 詳細については、「Jindo DistCp の使用」トピックのJindo DistCp カウンターをご参照ください。