すべてのプロダクト
Search

このプロダクト

    OpenLake:Paimon FileSystem カタログの DLF への移行

    ドキュメントセンター

    OpenLake:Paimon FileSystem カタログの DLF への移行

    最終更新日:Jan 15, 2026

    このトピックでは、Realtime Compute for Apache Flink で JAR ジョブをデプロイして、Paimon FileSystem カタログを DLF に移行する方法について説明します。

    前提条件

    操作手順

    ステップ 1： JAR ジョブの作成

    1. Realtime Compute for Apache Flink 管理コンソールにログインします。

    2. フルマネージド Flink ワークスペースのリストで、対象のワークスペース名をクリックします。

    3. 左側のナビゲーションウィンドウで、[オペレーションセンター] > [Deployments] を選択します。

    4. [Deploy Job] をクリックし、[JAR Job] を選択して、次のパラメーターを設定します。

      パラメーター

      説明

      例

      デプロイメントモード

      このパラメーターは [Batch Mode] に固定されています。

      Batch Mode

      デプロイメント名

      JAR ジョブの名前を入力します。

      migrate_paimon

      [Engine Version]

      リアルタイムコンピューティングエンジンバージョンを選択します。

      vvr-8.0.11-flink-1.17

      [JAR URI]

      paimon-flink-action JAR パッケージをアップロードします。

      paimon-flink-action-1.3-SNAPSHOT-for-clone-20250909.jar パッケージをアップロードします。以前にアップロードしたことがある場合は、ドロップダウンリストから選択します。

      [Entry Point Class]

      プログラムのエントリポイントクラスです。

      空白のままにします。

      [Entry Point Main Arguments]

      main メソッドに渡されるパラメーターです。

      ここでは空白のままにします。具体的なパラメーターはジョブによって異なります。詳細については、ステップ 2 をご参照ください。

      追加の依存関係

      アタッチする依存関係ファイルのパスまたはファイル名を指定します。

      paimon-ali-vvr-8.0-vvp-1.3-ali-SNAPSHOT-for-clone-20250909.jar パッケージをアップロードします。以前にアップロードしたことがある場合は、ドロップダウンリストから選択します。

      説明

      デプロイメントパラメーターの詳細については、「JAR ジョブのデプロイ」をご参照ください。

    5. [Deploy] をクリックして JAR ジョブを作成します。

    ステップ 2： パラメーターの調整とジョブの開始

    Flink ジョブは、カタログ全体、データベース全体、または単一のテーブルを移行できます。移行の目的に応じて、Entry Point Main Arguments パラメーターを調整します。

    1. [Job O&M] ページで、作成した JAR ジョブを見つけ、[Details] をクリックします。

    2. [Deployment Details] ページの右上隅にある [Edit] をクリックし、Entry Point Main Arguments パラメーターを指定します。

      ソーステーブルのタイプによって、方法は異なります：

      clone
--parallelism '<parallelism>'
--database '<database-name>'
--table '<table-name>'
--catalog_conf 'metastore=filesystem'
--catalog_conf "warehouse=<warehouse>"
--catalog_conf 'fs.oss.endpoint=<fs.oss.endpoint>'
--catalog_conf 'fs.oss.accessKeyId=<fs.oss.accessKeyId>'
--catalog_conf 'fs.oss.accessKeySecret=<fs.oss.accessKeySecret>'
--target_database '<target-database-name>'
--target_table '<target-table-name>'
--target_catalog_conf 'metastore=rest'
--target_catalog_conf 'warehouse=<target-warehouse>'
--target_catalog_conf 'uri=<dlf.next.endpoint>'
--target_catalog_conf 'token.provider=dlf'
--target_catalog_conf 'dlf.access-key-id=<dlf.access-key-id>'
--target_catalog_conf 'dlf.access-key-secret=<dlf.access-key-secret>'
--clone_from 'paimon'
--where '<filter-spec>'

      次の表に設定項目を説明します。

      設定項目

      説明

      必須

      備考

      parallelism

      ジョブの並列度。

      いいえ

      例： 16

      database-name

      クローンする FileSystem カタログデータベースの名前。

      いいえ

      例： my_database

      table-name

      クローンする FileSystem カタログデータテーブルの名前。

      いいえ

      例： my_table

      warehouse

      クローンする FileSystem カタログの OSS リポジトリのパス。

      はい

      フォーマットは oss://<bucket>/<object> です。フォーマットの説明：

      • bucket：ご利用の OSS バケットの名前。

      • object：データが格納されているパス。

      バケット名とオブジェクト名は、OSS コンソールで確認できます。

      fs.oss.endpoint

      OSS サービスのエンドポイント。

      はい

      エンドポイントの取得方法の詳細については、「リージョンとエンドポイント」をご参照ください。

      OSS の例： oss-cn-hangzhou-internal.aliyuncs.com。

      OSS-HDFS の例：

      cn-hangzhou.oss-dls.aliyuncs.com

      fs.oss.accessKeyId

      OSS に対する読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。

      はい

      既存の AccessKey を使用するか、新しい AccessKey を作成します。詳細については、「AccessKey の作成」をご参照ください。

      説明

      AccessKey Secret の漏洩リスクを軽減するため、AccessKey Secret は作成時にのみ表示され、後から取得することはできません。AccessKey Secret は安全に保管してください。

      fs.oss.accessKeySecret

      OSS に対する読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey Secret。

      はい

      target-database-name

      クローンされた DLF データベースの名前。

      いいえ

      例： target_database

      target-table-name

      クローンされた DLF データテーブルの名前。

      いいえ

      例： targety_table

      target-warehouse

      クローンされた DLF データカタログの名前。

      はい

      データカタログ名は、DLF コンソールで確認できます。詳細については、「データカタログ」をご参照ください。

      dlf.next.endpoint

      DLF サービスのエンドポイント。

      はい

      詳細については、「エンドポイント」をご参照ください。

      例： cn-hangzhou-vpc.dlf.aliyuncs.com

      dlf.access-key-id

      DLF サービスへのアクセスに必要な AccessKey ID。

      はい

      既存の AccessKey を使用するか、新しい AccessKey を作成します。詳細については、「AccessKey の作成」をご参照ください。

      説明

      AccessKey Secret の漏洩リスクを軽減するため、AccessKey Secret は作成時にのみ表示され、後から取得することはできません。AccessKey Secret は安全に保管してください。

      dlf.access-key-secret

      DLF サービスへのアクセスに必要な AccessKey Secret。

      はい

      clone_from

      クローンするソーステーブルのタイプ。

      はい

      'paimon'

      filter-spec

      クローン時のパーティションに対するフィルター条件。

      いいえ

      dt = '2024-10-01'

      重要

      • データベース全体を移行する場合は、table-name および target-table-name パラメーターを設定しないでください。

      • データカタログ全体を移行する場合は、database-name および target-database-name パラメーターを設定しないでください。

      • データカタログまたはデータベース全体を移行する場合、--excluded_tables <excluded-tables-spec> パラメーターを設定することで、特定のテーブルを除外できます。例： my_db.my_tbl,my_db2.my_tbl2。単一テーブルの移行では、このパラメーターを設定しないでください。

    3. パラメーターを設定した後、[Deployment Details] ページで [Save] をクリックします。

    4. [Job O&M] ページで、対象の JAR ジョブの横にある [Start] をクリックします。その後、デフォルトのパラメーターでジョブを開始します。

    ステップ 3： 結果の検証

    ジョブのステータスが [完了] に変わったら、DLF コンソールにログインし、移行が成功したことを確認します。

    • カタログ全体の移行の場合： DLF のカタログ構造、データベース、およびテーブルが、FileSystem カタログのものと一致していることを確認します。

    • データベース全体の移行の場合： DLF のデータベースとテーブルの構造が、FileSystem カタログのものと一致していることを確認します。

    • 単一テーブルの移行の場合： DLF のテーブル構造が、FileSystem カタログのものと一致していることを確認します。