すべてのプロダクト
Search

このプロダクト

    Dataphin:Paimon データソースの作成

    ドキュメントセンター

    Dataphin:Paimon データソースの作成

    最終更新日:Oct 25, 2025

    Paimon データソースを作成することで、Dataphin が Paimon からビジネスデータを読み取ったり、Paimon にデータを書き込んだりできるようになります。このトピックでは、Paimon データソースの作成方法について説明します。

    権限要件

    データソースの作成権限を持つカスタムグローバルロール、およびスーパー管理者、データソース管理者、ディビジョンアーキテクト、プロジェクト管理者ロールのみがデータソースを作成できます。

    制限事項

    • Paimon データソースは、データソースコードおよびコンピューティングソースの物理テーブルの形式でのアクセスをサポートしていません。

    • HDFS ストレージのみがサポートされています。

    手順

    1. Dataphin のホームページで、上部のナビゲーションバーにある [管理センター] > [データソース管理] をクリックします。

    2. [データソース] ページで、[+データソースの作成] をクリックします。

    3. [データソースの作成] ページの [ビッグデータ] セクションで、[Paimon] を選択します。

      最近 Paimon を使用したことがある場合は、[最近使用] セクションで Paimon を選択することもできます。また、検索ボックスに Paimon のキーワードを入力して、すばやく検索することもできます。

    4. [Paimon データソースの作成] ページで、データソースの基本情報を構成します。

      パラメーター

      説明

      データソース名

      名前は次の要件を満たす必要があります:

      • 中国語の文字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。

      • 長さは 64 文字を超えることはできません。

      データソースコード

      データソースコードを構成した後、Flink SQL ノードでデータソース内のテーブルを datasource_code.table_name または datasource_code.schema.table_name の形式で参照できます。対応する環境のデータソースに自動的にアクセスするには、変数形式 ${datasource_code}.table または ${datasource_code}.schema.table を使用します。詳細については、「Dataphin データソーステーブルを使用するノードを開発する」をご参照ください。

      重要

      • データソースコードは、構成後に変更することはできません。

      • データソースコードを構成した後にのみ、アセットディレクトリおよびアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。

      • Flink SQL では、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。

      バージョン

      Paimon データソースのバージョンを選択します。次のバージョンがサポートされています: Aliyun EMR 3.x Hive 2.3.5、Aliyun EMR 5.x Hive 3.1.x、CDH 6.x Hive 2.1.1、CDP 7.x Hive 3.1.3、および AsiaInfo DP 5.x Hive 3.1.0。

      データソースの説明

      データソースの簡単な説明。128 文字を超えることはできません。

      データソース構成

      構成するデータソースを選択します:

      • データソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。

      • データソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。

      タグ

      タグに基づいてデータソースを分類し、タグ付けすることができます。タグの作成方法の詳細については、「データソースタグの管理」をご参照ください。

    5. データソースと Dataphin 間の接続パラメーターを構成します。

      データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方の接続情報を構成する必要があります。データソース構成で [本番データソース] を選択した場合は、[本番データソース] の接続情報のみを構成する必要があります。

      説明

      通常、本番データソースと開発データソースは、開発データソースと本番データソース間の環境分離を実現するために、異なるデータソースとして構成する必要があります。これにより、開発データソースが本番データソースに与える影響を軽減します。ただし、Dataphin は、同じパラメーター値を持つ同じデータソースとして構成することもサポートしています。

      パラメーター

      説明

      カタログ構成

      カタログタイプ

      [Hive] のみがサポートされており、変更することはできません。

      ウェアハウス

      Paimon テーブルのルートストレージパスを入力します。

      core-site.xml の fs.defaultFS パラメーターの値と、hive-site.xml の hive.metastore.warehouse.dir パラメーターの値を入力します。

      説明

      Object Storage Service (OSS) はサポートされていません。

      Hive Thrift Uri

      [hive-site.xml] の [hive.metastore.uris] のパラメーター値を入力します。

      メタデータ構成

      メタデータ取得方法

      [メタデータベース] と [HMS] の両方のメソッドがサポートされています。

      • メタデータベースメソッド

        • データベースタイプ: MySQL データベースタイプのみがサポートされており、バージョン MySQL5.1.43、MySQL5.6/5.7、および MySQL8 が含まれます。

        • JDBC URL: メタデータベースの JDBC URL を入力します。接続形式は jdbc:mysql://host:port/dbname です。

        • ユーザー名、パスワード: メタデータデータベースにアクセスするためのユーザー名とパスワードを入力します。

      • HMS メソッド

        • 認証方法: [認証なし]、[LDAP]、および [Kerberos] メソッドをサポートしています。

          説明

          Kerberos メソッドを使用する場合、[クラスター構成] で Kerberos オプションを有効にする必要があります。

        • hive-site.xml: hive-site.xml 構成ファイルをアップロードします。リアルタイム開発が有効になっている場合、このファイルも使用されます。

        • Keytab ファイル: Kerberos メソッドの場合、Keytab ファイルをアップロードする必要があります。

        • プリンシパル: Kerberos メソッドの場合、プリンシパルパラメーターを入力する必要があります。

      クラスター構成

      NameNode

      クラスターの NameNode アドレスを入力します。

      複数の NameNode を追加するには、+[追加] をクリックして追加します。

      構成ファイル

      クラスターの [hdfs-site.xml] および [core-site.xml] 構成ファイルをアップロードします。

      Kerberos

      Kerberos を介してクラスターにアクセスするには、この設定項目を有効にし、次の情報を構成します。

      • Kerberos 構成方法: クラスターの KDC サーバー構成方法を選択します。KDC サーバーと krb5 ファイル構成の両方がサポートされています。

        • KDC サーバー: KDC サーバー構成方法の場合、KDC サーバーのアドレスを入力する必要があります。複数の設定項目がサポートされており、セミコロン (;) で区切られます。

        • Krb5 ファイル構成: krb5 ファイル構成方法の場合、krb5 構成ファイルをアップロードする必要があります。

      • HDFS 構成: クラスターの HDFS 構成情報を入力します。

        • HDFS Keytab ファイル: クラスターの HDFS Keytab ファイル構成ファイルをアップロードします。

        • HDFS プリンシパル: クラスターの Kerberos 認証のプリンシパルを入力します。例: XXXX/hadoopclient@xxx.xxx。

      Hive 構成

      JDBC URL

      Hive の JDBC URL を入力します。接続形式は jdbc:hive2://host:port/dbname です。

      ユーザー名、パスワード

      クラスターへの非 Kerberos アクセスの場合、Hive の認証ユーザー名とパスワードを入力します。

      説明

      タスクの正常な実行を保証するために、入力したユーザーが必要なデータ権限を持っていることを確認してください。

      Hive Keytab ファイル

      クラスターへの Kerberos アクセスの場合、Hive の Hive Keytab ファイル構成ファイルをアップロードします。

      Hive プリンシパル

      クラスターへの Kerberos アクセスの場合、Kerberos 認証プリンシパルを入力します。例: XXXX/hadoopclient@xxx.xxx。

      構成ファイル

      Hive の hive-site.xml 構成ファイルをアップロードします。

      重要

      Flink SQL タスクは、統合内の認証情報を無視し、Flink エンジンの認証情報を使用して Hive データソースにアクセスします。

    6. [デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。

    7. [接続テスト] を実行するか、直接 [OK] をクリックして保存し、Paimon データソースの作成を完了します。

      [接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。直接 [OK] をクリックすると、システムは選択されたすべてのクラスターの接続を自動的にテストしますが、選択されたすべてのクラスターが接続に失敗した場合でも、データソースは正常に作成できます。