TDH Inceptor データソースを作成することで、Dataphin が TDH Inceptor からビジネスデータを読み取ったり、TDH Inceptor にデータを書き込んだりできるようになります。このトピックでは、TDH Inceptor データソースを作成する方法について説明します。
制限事項
データソースの作成 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメイン設計者、または プロジェクト管理者 ロールが割り当てられているユーザーのみが、データソースを作成できます。
手順
Dataphin ホームページの上部ナビゲーションバーで、[管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ビッグデータ] セクションの [TDH Inceptor] を選択します。
最近 TDH Inceptor を使用したことがある場合は、[最近使用したデータソース] セクションで TDH Inceptor を選択することもできます。また、検索ボックスに TDH Inceptor のキーワードを入力して、すばやくフィルタリングすることもできます。
[TDH Inceptor データソースの作成] ページで、データソースの基本情報を構成します。
パラメーター
説明
データソース名
名前は次の要件を満たしている必要があります。
名前には、漢字、英字、数字、アンダースコア (_)、およびハイフン (-) のみを含めることができます。
名前は 64 文字を超えることはできません。
データソースコード
データソースコードを構成した後、Flink_SQL タスクで
data source code.table name
またはdata source code.schema.table name
の形式でデータソース内のテーブルを参照できます。現在の環境に基づいて対応する環境内のデータソースに自動的にアクセスする必要がある場合は、${data source code}.table
または${data source code}.schema.table
の変数形式でデータソースにアクセスします。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成された後、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
バージョン
6.2.x または 9.3.x を選択できます。
データソースの説明
データソースの簡単な説明。128 文字を超えることはできません。
[データソースの構成]
構成するデータソースを選択します。
データソースが本番データソースと開発データソースを区別する場合、[本番 + 開発データソース] を選択します。
データソースが本番データソースと開発データソースを区別しない場合、[本番データソース] を選択します。
タグ
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方の接続情報を構成する必要があります。データソース構成で [本番データソース] を選択した場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明一般的に、本番データソースと開発データソースは異なるデータソースとして構成し、開発データソースと本番データソース間の環境分離を実現し、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin は、同じデータソース、つまり同じパラメーター値で構成することもサポートしています。
パラメーター
説明
クラスタ構成
NameNode
NameNode は、HDFS クラスタ内の NameNode ノードのホスト名または IP アドレスとポートです。
構成例:
host=192.x.x.169,webUiPort=,ipcPort=8020
。TDH 環境では、webUiPort
とIPCport
はデフォルトで 50070 と 8020 です。実際の状況に応じて対応するポートを入力できます。構成ファイル
hdfs-site.xml
やcore-site.xml
などの Hadoop 構成ファイルをアップロードするために使用されます。これらの構成ファイルは、Hadoop クラスタからエクスポートできます。認証タイプ
HDFS クラスタで認証が不要な場合は、[認証なし] を選択します。HDFS クラスタで認証が必要な場合、Dataphin は [kerberos] の選択をサポートしています。
[Kerberos] を認証方式として選択した場合は、次の認証情報を構成する必要があります。
Kerberos 構成方法:
KDDC サーバー:KDC の統合サービスアドレス。複数の構成がサポートされており、セミコロン (;) で区切ります。
Krb5 ファイル構成: Krb5 ファイルをアップロードする必要があります。
HDFS 構成:
HDFS keytab ファイル:HDFS の keytab ファイル。これは Kerberos 認証ファイルです。
HDFS プリンシパル:Kerberos 認証プリンシパル名。例:
xxxx/hadoopclient@xxx.xxx
。
Inceptor 構成
JDBC URL
Inceptor に接続するための JDBC URL を構成します。形式は
jdbc:hive2//host:port/dbname
です。認証タイプ
Inceptor クラスタが認証を必要としない場合は、[認証なし] を選択します。Inceptor クラスタが認証を必要とする場合、Dataphin は [LDAP] または [Kerberos] を選択することをサポートしています。実際の状況に応じて選択できます。詳細は次のとおりです。
[Kerberos]:このオプションを選択した後、Keytab ファイルをアップロードし、プリンシパルを構成する必要があります。Keytab ファイルは Kerberos 認証ファイルです。プリンシパルの例は
xxxx/hadoopclient@xxx.xxx
です。[LDAP]:このオプションを選択した後、LDAP 認証のユーザー名とパスワードを構成する必要があります。
ユーザー名
Inceptor のユーザー名を設定します。
メタデータベース構成
メタデータ取得方法
Metadatabase メソッドと HMS メソッドによる取得をサポートしています。
メタデータベースメソッド:データベースタイプ、バージョン、JDBC URL、認証方法、ユーザー名、およびパスワードを構成する必要があります。
[データベースタイプ]:クラスタで使用されているメタデータベースタイプに基づいてデータベースタイプを選択します。サポートされているオプションには、[MySQL]、[PostgreSQL]、および [Inceptor] が含まれます。
[バージョン]:データベースタイプが [MySQL] の場合は、対応するバージョンを選択する必要があります。サポートされているバージョンには、[MySQL 5.1.43]、[MySQL 5.6/5.7]、および [MySQL 8.0] が含まれます。
[JDBC URL]:対応するメタデータベースの接続アドレスを入力します。
[mysql]: 形式は
jdbc:mysql://host:port/dbname
です。[postgresql]: 形式は
jdbc:postgresql://host:port/dbname
です。[Inceptor]:形式は
jdbc:hive2://host:port/dbname
です。
認証方式: データベースの種類が Inceptor の場合、認証方式を入力する必要があります。3 つの認証方式、[認証なし]、[LDAP]、[Kerberos] がサポートされています。
Kerberos 認証方法を使用する場合は、クラスタ構成セクションで認証方法として [Kerberos] を選択する必要があります。
[ユーザー名]、[パスワード]:メタデータベースにログインするためのユーザー名とパスワード。
HMS メソッド:認証方法WordPress アプリケーションを構成します。 を構成し、 をアップロードする必要があります。
認証方法: [認証なし]、[LDAP]、および [Kerberos] をサポートしています。
Kerberos 認証方式を使用する場合は、クラスター構成セクションで認証方式として [Kerberos] を選択する必要があります。また、[Keytab ファイル] をアップロードし、[プリンシパル] を入力する必要もあります。
Hyperscale (Citus)
[デフォルトのリソースグループ] を選択します。このリソースグループは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] を直接クリックして、TDH Inceptor データソースの作成を保存して完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に通信できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスタの接続を自動的にテストします。ただし、選択したすべてのクラスタが接続に失敗した場合でも、データソースは正常に作成されます。