Dataphin:TDH Inceptor コンピュートソースを作成する

前提条件

• メタデータウェアハウスの初期化中に TDH Inceptor をメタデータウェアハウスまたはメタデータベース取得方法として使用するには、次の条件を満たす必要があります。

  • dataphin_meta プロジェクトが TDH Inceptor に作成されている。

  • メタデータウェアハウスの初期化中に TDH Inceptor で構成されたユーザーは、dataphin_meta プロジェクトのテーブルに対する書き込み権限と作成権限を持っている必要があります。

  • メタデータウェアハウスの初期化中に TDH Inceptor がメタデータベース取得方法として使用される場合、Inceptor メタデータ構成のユーザーは、dataphin_meta プロジェクトのテーブルに対する書き込み権限と作成権限を持っている必要があります。

    

制限事項

• ユーザー定義関数 (UDF) はサポートされていません: UDF に同じ名前の JAR パッケージを登録すると、Inceptor サービスが停止し、正常に再起動できなくなる可能性があります。クラスファイルが同じで名前が異なる JAR パッケージを登録すると、UDF の実行結果が予測不能になる可能性があります。そのため、Dataphin では、TDH Inceptor エンジンでの UDF の登録は許可されていません。UDF を追加する必要がある場合は、TDH Inceptor クライアントを使用して追加し、UDF 名が一意であり、クラスター全体でクラス名が一致していることを確認してください。

• MySQL メタデータベースまたは HMS を介してメタデータ情報を取得する場合、次の情報は取得できません。

  • アセットの概要、データブロック、およびプロジェクトデータボリューム情報。

  • アセットディレクトリ内のテーブルデータボリューム、パーティションデータボリューム、およびパーティションレコード数。

  • リソース管理におけるストレージ関連のメトリック情報。

  • メタデータウェアハウス共有モデルの dim_dataphin_table および dim_dataphin_partition のデータボリュームとレコード数。

• TDH Inceptor システムライブラリを介してメタデータ情報を取得する場合、次の情報は取得できません。

  • アセットディレクトリ内のパーティションレコード数情報。

  • メタデータウェアハウス共有モデルの dim_dataphin_table および dim_dataphin_partition のレコード数。

• TDH Inceptor エンジンは、タスクの優先順位の設定をサポートしていません。

  優先順位が異なるタスクに異なるリソースを割り当てるには、異なる優先度キューに異なるユーザー名を設定できます。Inceptor SQL タスクで優先順位を設定した後、Dataphin は対応するユーザーを使用してこれらのタスクを TDH Inceptor エンジンに送信します。ここで設定するユーザーは、Inceptor リソースキューに対する送信権限を持っている必要があります。

手順

1. Dataphin ホームページの上部メニューバーで、[計画] > [コンピューティングソース] を選択します。

2. [コンピューティングソース] ページで、[コンピューティングソースを追加] をクリックし、[TDH Inceptor コンピュートソース] を選択します。

3. [TDH Inceptor コンピュートソースの作成] ページで、次のパラメーターを構成します。

   1. [コンピューティングエンジンのソースの基本情報] 領域のパラメーターを構成します。

      パラメーター	説明
      コンピューティングソースの種類	コンピューティングソースの種類として [TDH Inceptor] を選択します。
      コンピューティングソース名	名前は次の要件を満たしている必要があります。 日本語、数字、英大文字と英小文字、アンダースコア (_)、およびハイフン (-) のみを含めることができます。 名前は最大 64 文字まで使用できます。
      コンピューティングソースの説明	コンピューティングソースの簡単な説明 (最大 128 文字)。

   2. [クラスターの基本情報] 領域のパラメーターを構成します。

      パラメーター	説明
      nameNode	デフォルト値は、システムの初期化中に構成された NameNode パラメーター値です。変更はサポートされていません。
      構成ファイル	core-site.xml、hdfs-site.xml、hive-site.xml、yarn-site.xml、およびその他の構成ファイルを含む HDFS 構成ファイルをアップロードします。 Transwarp の運用およびメンテナンス担当者に連絡するか、Transwarp クラスタ運用およびメンテナンスインターフェイスにログインし、HDFS サービス > その他の操作 > サービス構成のダウンロード を選択して構成ファイルを取得できます。
      認証タイプ	TDH Inceptor クラスターに Kerberos 認証がある場合は、認証方式として Kerberos を選択します。Kerberos は、シングルサインオン (SSO) をサポートする、対称鍵暗号に基づく身分認証プロトコルです。認証されると、クライアントは HBase や HDFS などの複数のサービスにアクセスできます。 Kerberos 認証を選択した後、Krb5 認証ファイルをアップロードするか、KDC サーバーアドレスを構成します。 Krb5 認証ファイル: Kerberos 認証用の Krb5 ファイルをアップロードします。 KDC サーバーアドレス: KDC サーバーアドレスは、Kerberos 認証を完了するために必要です。複数の KDC サーバーサービスアドレスがサポートされており、コンマ (,) で区切られます。

   3. [HDFS 接続情報] 領域のパラメーターを構成します。

      パラメーター	説明
      実行ユーザー名、パスワード	コンピューティング実行マシンにログインするために使用するユーザー名とパスワードを入力します。これは、MapReduce タスクの実行、HDFS の読み取りと書き込みなどに必要です。 重要 MapReduce タスクを送信するために必要な権限があることを確認してください。
      認証タイプ	HDFS に Kerberos 認証が構成されている場合は、認証方式として Kerberos を選択します。Kerberos は、シングルサインオン (SSO) をサポートする安全な身分認証プロトコルであり、認証されたクライアントは HBase や HDFS などのさまざまなサービスにアクセスできます。 Kerberos 認証を選択したら、Keytab ファイルをアップロードし、プリンシパルアドレスを構成します。 Keytab ファイル: Kerberos 認証に必要な Keytab ファイルをアップロードします。 プリンシパル: Kerberos 認証に関連付けられたユーザー名。 認証が選択されていない場合は、HDFS アクセス用のユーザー名を構成します。

   4. [inceptor 構成] 領域のパラメーターを構成します。

      パラメーター	説明
      JDBC URL	Hive サーバーのエンドポイントを指定します。形式は jdbc:hive2://{エンドポイント}:{ポート}/{データベース名} です。
      認証タイプ	エンジン構成に基づいて Inceptor の認証ファイルを選択します。オプションには、[認証なし]、[LDAP]、[kerberos] があります。 認証なし: 認証は不要です。 LDAP: アクセス用のユーザー名とパスワードを構成します。 Kerberos: HDFS Kerberos 認証ファイルをアップロードし、Hive プリンシパルを構成します。
      開発環境タスクの実行ユーザー	開発環境のタスクの実行ユーザー名を入力します。
      定期スケジュールタスクの実行ユーザー	定期スケジュールタスクの実行ユーザー名を入力します。
      優先タスクキュー	優先実行ユーザーに [デフォルトの実行ユーザーを使用] または [カスタム] を選択します。 [カスタム] を選択した場合は、優先順位の異なるタスクを実行するためのユーザー名を構成します。 説明 優先度キューは、Hadoop クラスターで異なる Yarn キューを作成し、それぞれの Yarn キューで優先順位の異なるタスクを実行することによって、リソース割り当てを管理します。

   5. [inceptor メタデータ接続情報] 領域のパラメーターを構成します。

      パラメーター	説明
      メタデータ取得方法	次のサポートを提供します：[メタデータデータベース] および HMSメタデータ取得のメソッドとして、それぞれ特定の構成の詳細が必要です。 メタデータデータベース取得方法では、以下を構成する必要があります。データベースの種類、データベース バージョン (データベースの種類が MySQL の場合のみ)JDBC URL、認証の種類、ユーザー名、パスワード (データベースの種類が MySQL の場合のみ)。 HMS取得方法では、以下を構成する必要があります:認証の種類。 説明 [メタデータベース] 取得方法を選択した場合は、最初に core-site.xml および hdfs-site.xml 構成ファイルをアップロードしてください。 [HMS] 取得方法を選択した場合は、最初に core-site.xml、hdfs-site.xml、および hive-site.xml 構成ファイルをアップロードしてください。
      データベースの種類	データベースの種類として [inceptor] または [mysql] を選択します。 MySQL の場合は、データベースの [バージョン] も選択します。オプションには、[mysql 5.6/5.7]、[mysql 8]、[mysql 5.1.43] があります。
      JDBC URL	対応するメタデータベースのエンドポイントを入力します。 [MySQL] をデータベースの種類として選択した場合は、jdbc:mysql://<エンドポイント>:<ポート>/<データベース名> の形式を使用します。[Inceptor] データベースの場合は、jdbc:postgresql://<エンドポイント>:<ポート>/<データベース名> の形式を使用する必要があります。
      認証タイプ	認証に [認証なし] または [LDAP] を選択します。
      ユーザー名、パスワード	メタデータベースのログイン資格情報のユーザー名とパスワードを入力します。

4. [接続テスト] をクリックして、コンピューティングソースへの接続性を検証します。

5. 接続テストが成功したら、[送信] をクリックして構成を完了します。