Object Storage Service:Hive テーブルとパーティションの OSS-HDFS サービスへの移行

前提条件

開始する前に、以下を確認してください。

• バージョン 3.36.0 以降 (3.39.x を除く)、またはバージョン 5.2.0 以降 (5.5.x を除く) を実行している E-MapReduce (EMR) クラスター。

• データが書き込まれたパーティション化された Hive テーブル。このトピックの例では、パーティションキーが dt の test_table という名前のテーブルを使用します。

• ご利用のバケットで OSS-HDFS が有効になっており、アクセス権限が設定されていること。詳細については、「非 EMR クラスターの OSS-HDFS への接続」をご参照ください。

仕組み

MoveTo は、2 つのステップで Hive テーブルまたはパーティションを移行します。まずデータを宛先パスにコピーし、次に Hive メタストア内のパーティションの場所を更新します。メタデータの更新は自動的に行われるため、後続のクエリは手動での操作なしで新しい場所を指すようになります。JindoTable は、移行中のデータ整合性とセキュリティを確保するための保護機能も提供します。

移行の範囲を絞り込むには、-c を使用してフィルター条件を渡します。たとえば、キーの値がしきい値を超えるパーティションのみ、または特定の日付より前に作成されたパーティションのみを移行します。

完全な移行を実行する前に、-e (explain) フラグを使用して、データを転送せずにどのパーティションが移動されるかをプレビューします。これにより、コミットする前に範囲を確認できます。

パーティションの OSS-HDFS への移行

1. SSH 経由で EMR クラスターにログインします。詳細については、「クラスターへのログイン」をご参照ください。

2. explain モードを使用して、移行するパーティションをプレビューします。" dt > 'v' " を、ご利用のパーティションに一致するフィルター条件に置き換えます。

      sudo jindotable -moveTo \
        -t tdb.test_table \
        -d oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table \
        -c " dt > 'v' " \
        -e

   期待される出力：

      Found 1 partitions to move:
            dt=value-2
      MoveTo finished for table tdb.test_table to destination oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table with condition " dt > 'v' " (explain only).

3. 移行を実行します。データを移動するには、-e フラグを削除します。

      sudo jindotable -moveTo \
        -t tdb.test_table \
        -d oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table \
        -c " dt > 'v' "

   期待される出力：

      Found 1 partitions in total, and all are successfully moved.
      Successfully moved partitions:
          dt=value-2
      No failed partition.
      MoveTo finished for table tdb.test_table to destination oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table with condition " dt > 'v' ".

4. パーティションの場所を検証します。

      sudo hive> desc formatted test_table partition (dt='value-2');

   出力で、Location が OSS-HDFS パスを指していることを確認します。

      Location: oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table/dt=value-2

5. (任意) パーティションを Hadoop 分散ファイルシステム (HDFS) に戻します。HDFS の宛先ディレクトリにすでにデータが含まれている場合、移行は New location is not empty but -overWrite is not enabled というエラーで失敗します。-o を追加して上書きします。

      sudo jindotable -moveTo \
        -t tdb.test_table \
        -d hdfs://<hdfs-path>/user/hive/warehouse/tdb.db/test_table \
        -c " dt > 'v' " \
        -o

   期待される出力：

      Found 1 partitions in total, and all are successfully moved.
      Successfully moved partitions:
          dt=value-2
      No failed partition.
      MoveTo finished for table tdb.test_table to destination hdfs:///user/hive/warehouse/tdb.db/test_table with condition " dt > 'v' ", overwriting new locations.

パラメーター

sudo jindo table -moveTo と sudo jindotable -moveTo はどちらも同じパラメーターを受け入れます。

sudo jindo table -moveTo \
  -t <dbName.tableName> \
  -d <destination path> \
  [-c "<condition>" | -fullTable] \
  [-b/-before <before days>] \
  [-p/-parallel <parallelism>] \
  [-s/-storagePolicy <OSS storage policy>] \
  [-o/-overWrite] \
  [-r/-removeSource] \
  [-skipTrash] \
  [-e/-explain] \
  [-l/-logDir <log directory>]

コマンドラインからヘルプを取得するには、次を実行します。

sudo jindo table -help moveTo

トラブルシューティング