Object Storage Service:HDFS データを OSS に移行する

前提条件

EMR V3.28.0 以降のバージョンを実行する EMR クラスターを作成済みであること。詳細については、「クラスターの作成」をご参照ください。

EMR V3.28.0 以降のバージョンを実行する EMR クラスターでは、Shell コマンドを介して Jindo DistCp を使用できます。詳細については、「Jindo DistCp 使用ガイド」をご参照ください。EMR V3.28.0 より前のバージョンを実行する EMR クラスターでは、互換性の問題が発生する可能性があります。チケットを送信することで解決できます。

セルフマネージド ECS クラスターを使用する場合、Hadoop 2.7+ または Hadoop 3.x 環境と、MapReduce ジョブを実行する機能が必要です。

ステップ 1: JAR パッケージのダウンロード

1. EMR クラスターにログインします。

   1. EMR on ECS コンソールにログインします。

   2. 作成した EMR クラスターをクリックします。

   3. [ノード管理] タブをクリックし、ノードグループの左側にある をクリックします。

   4. ECS ID をクリックします。ECS インスタンスページで、インスタンス ID の右側にある [リモート接続] をクリックします。

   キーペアまたはパスワードを使用して Secure Shell (SSH) プロトコルで Windows または Linux 環境からクラスターにログインする場合は、「クラスターへのログイン」をご参照ください。

2. 最新バージョンの Jindosdk-${version}.tar.gz パッケージをダウンロードして解凍します。ダウンロードリンクについては、「JindoData のダウンロード」をご参照ください。

ステップ 2: OSS AccessKey の構成

OSS AccessKey は、次のいずれかの方法で構成できます。

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --parallelism 10

ステップ 3: データの移行またはコピー

1. 次のコマンドを実行して、HDFS 内のデータを表示します。

   hdfs dfs -ls /

   次の結果が返されます。

   Found 8 items
   drwxrwxrwx   - admin  supergroup          0 2023-10-26 10:55 /.sysinfo
   drwxrwxrwx   - hadoop supergroup          0 2023-10-26 10:55 /apps
   drwxrwxrwx   - root   supergroup          0 2022-08-03 15:54 /data
   -rw-r-----   1 root   supergroup         13 2022-08-25 11:45 /examplefile.txt
   drwxrwxrwx   - spark  supergroup          0 2023-10-26 14:49 /spark-history
   drwx-wx-wx   - hive   supergroup          0 2023-10-26 13:35 /tmp
   drwxrwxrwx   - hive   supergroup          0 2023-10-26 14:48 /user
   drwxrwxrwx   - hadoop supergroup          0 2023-10-26 14:48 /yarn

2. jindo-distjob-tool-${version}.jar パッケージがあるディレクトリに切り替えます。

   cd /opt/apps/JINDOSDK/jindosdk-current/tools

3. HDFS から OSS にデータを移行します。

   完全なデータ移行またはコピー

   指定された HDFS ディレクトリ /tmp から宛先の OSS パス oss://examplebucket にデータの完全な移行またはコピーを実行するには、次のサンプルコマンドを実行します。

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --parallelism 10

   次の表に、サンプルコマンドのパラメーターとオプションを示します。

   パラメーターとオプション	説明	例
   --src	移行またはコピーする HDFS データのソースパス。	/tmp/
   --dest	移行またはコピーしたデータを格納する OSS の宛先パス。	oss://examplebucket/
   --hadoopConf	OSS にアクセスする権限を持つ AccessKey ID、AccessKey Secret、およびエンドポイントを指定します。 AccessKey ID と AccessKey Secret の取得方法の詳細については、「AccessKey の作成」をご参照ください。 OSS がサポートするリージョンと対応するエンドポイントのリストについては、「エンドポイントとデータセンター」をご参照ください。 重要 ECS 環境では、oss-cn-xxx-internal.aliyuncs.com などの内部 OSS エンドポイントを使用することをお勧めします。	--hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com
   --parallelism	クラスターリソースに基づいてタスクの同時実行性を調整します。	10

   増分データ移行またはコピー

   最後の完全な移行またはコピーの後にソースパスの新しいデータのみをコピーする場合は、--update オプションを使用して増分データ移行またはコピーを実行できます。

   次のサンプルコマンドは、指定された HDFS ディレクトリ /tmp から宛先の OSS パス oss://examplebucket/ にデータの増分移行またはコピーを実行します。

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --update --parallelism 10

   --update オプションを使用すると、チェックサムがデフォルトで有効になります。チェックサムを有効にすると、DistCp はソースパスと宛先パスにあるファイルのファイル名、ファイルサイズ、およびチェックサムを比較します。ソースパスにあるファイルのファイル名、ファイルサイズ、またはチェックサムが宛先パスにあるファイルと異なる場合、増分移行またはコピータスクが自動的にトリガーされます。

   ソースパスと宛先パスにあるファイルのチェックサムを比較する必要がない場合は、--disableChecksum オプションを追加してチェックサム検証を無効にできます。以下はサンプルコマンドです。

   hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --update --disableChecksum --parallelism 10

付録 1: Jindo DistCp でサポートされているパラメーターとオプション

Jindo DistCp は一連のパラメーターとオプションを提供します。次のコマンドを実行して、各パラメーターとオプションの具体的な使用方法を取得できます。

hadoop jar jindo-distcp-tool-${version}.jar --help

次の表に、パラメーター、オプション、およびそのサンプル値を示します。

付録 2: シナリオ例

シナリオ 1: JindoDistCp を使用してデータが正常に転送された後、データ整合性をどのように検証しますか？

JindoDistCp は、データ整合性を検証するために次の 2 つのメソッドを提供します。

• メソッド 1: DistCp カウンター

  DistCp カウンター情報の BYTES_EXPECTED や FILES_EXPECTED などのパラメーターを使用して、データ整合性を検証できます。

  例
      JindoDistcpCounter
          BYTES_COPIED=10000
          BYTES_EXPECTED=10000
          FILES_COPIED=11
          FILES_EXPECTED=11
          ...
      Shuffle Errors
          BAD_ID=0
          CONNECTION=0
          IO_ERROR=0
          WRONG_LENGTH=0
          WRONG_MAP=0
          WRONG_REDUCE=0

  次の表に、この例に含まれる可能性のあるカウンターパラメーターを示します。

  パラメーター	説明
  BYTES_COPIED	正常にコピーされたバイト数。
  BYTES_EXPECTED	コピーが期待されるバイト数。
  FILES_COPIED	正常にコピーされたファイル数。
  FILES_EXPECTED	コピーが期待されるファイル数。
  FILES_SKIPPED	増分コピー中にスキップされたファイル数。
  BYTES_SKIPPED	増分コピー中にスキップされたバイト数。
  COPY_FAILED	コピーに失敗したファイル数。値が 0 でない場合、アラートがトリガーされます。
  BYTES_FAILED	コピーに失敗したバイト数。
  DIFF_FILES	ソースパスと宛先パスの間で異なるファイル数。値が 0 でない場合、アラートがトリガーされます。
  DIFF_FAILED	比較操作が異常だったファイル数。これは DIFF_FILES の数に含まれます。
  SRC_MISS	ソースパスに存在しないファイル数。これは DIFF_FILES の数に含まれます。
  DST_MISS	宛先パスに存在しないファイル数。これは DIFF_FILES の数に含まれます。
  LENGTH_DIFF	ソースと宛先でサイズが一致しないファイル数。これは DIFF_FILES の数に含まれます。
  CHECKSUM_DIFF	チェックサム検証に失敗したファイル数。これは COPY_FAILED の数に含まれます。
  SAME_FILES	ソースパスと宛先パスで同一のファイル数。

• メソッド 2: --diff オプションを使用する

  サンプルコマンドで --diff オプションを使用して、ソースパスと宛先パスのファイル名とサイズを比較できます。

  hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --diff

シナリオ 2: OSS に書き込まれたファイルを低頻度アクセス、アーカイブ、またはコールドアーカイブとして保存するには、どのパラメーターを使用すればよいですか？

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --policy ia --parallelism 10

アーカイブストレージタイプを指定するには、--policy ia を --policy archive に置き換えます。コールドアーカイブストレージタイプを指定するには、--policy ia を --policy coldArchive に置き換えます。さらに、コールドアーカイブは一部のリージョンでのみサポートされています。詳細については、「コールドアーカイブ」をご参照ください。

シナリオ 3: 移行またはコピータスクが完了した後、宛先パスのデータのみを保持し、ソースパスから指定されたデータを削除するには、どのパラメーターを使用すればよいですか？

--deleteOnSuccess オプションを使用すると、移行またはコピータスクが完了した後に、宛先の OSS パスのデータのみを保持し、ソースの HDFS パスから指定されたデータを削除できます。

hadoop jar jindo-distcp-tool-${version}.jar --src /tmp/ --dest oss://examplebucket/ --hadoopConf fs.oss.accessKeyId=LTAI**************** --hadoopConf fs.oss.accessKeySecret=yourAccessKeySecret --hadoopConf fs.oss.endpoint=oss-cn-hangzhou.aliyuncs.com --deleteOnSuccess --parallelism 10