Dataphin:Create TDH Inceptor compute source

前提条件

• メタデータウェアハウスとして、またはメタデータウェアハウスの初期化時にメタデータの取得方法として TDH Inceptor を使用する場合は、次の要件を満たす必要があります。

  • TDH Inceptor に dataphin_meta という名前のプロジェクトが作成されていること。

  • メタデータウェアハウスの初期化時に TDH Inceptor 用に設定されたユーザーは、dataphin_meta プロジェクト内のテーブルへのデータ書き込み権限とテーブル作成権限が必要です。

  • メタデータウェアハウスの初期化時に TDH Inceptor をメタデータの取得方法として使用する場合、Inceptor メタデータ設定のユーザーは、dataphin_meta プロジェクト内のテーブルへのデータ書き込み権限とテーブル作成権限が必要です。

    

制限

• Dataphin はユーザー定義関数 (UDF) の登録をサポートしていません：Dataphin では、TDH Inceptor DPI エンジンを使用する際に UDF を登録することはできません。これは、重複した名前の JAR パッケージを追加して UDF を登録すると、Inceptor サービスが停止し、再起動できなくなる可能性があるためです。同様に、同じクラスファイルを含む異なる名前の JAR パッケージを追加すると、UDF の実行結果が予測不能になる可能性があります。UDF を追加するには、TDH Inceptor クライアントを使用してください。UDF 名が一意であり、クラス名がクラスター全体で一貫していることを確認してください。

• メタデータベースまたは Hive メタストア (HMS) からメタデータを取得する場合、次の情報を取得することはできません。

  • アセット概要、データプレート、およびプロジェクトのデータ量情報。

  • アセットディレクトリ内のテーブルデータ量、パーティションデータ量、およびパーティションレコード数。

  • リソース管理におけるストレージ関連のメトリック情報。

  • メタデータウェアハウスの共有モデルにおける dim_dataphin_table および dim_dataphin_partition のデータ量とレコード数。

• TDH Inceptor システムライブラリからメタデータを取得する場合、次の情報を取得することはできません。

  • アセットディレクトリ内のパーティションレコード数。

  • メタデータウェアハウスの共有モデルにおける dim_dataphin_table および dim_dataphin_partition のレコード数。

• TDH Inceptor DPI エンジンはノードの優先度設定をサポートしていません。

  異なる優先度のノードに異なるリソースを割り当てるには、優先度キューごとに異なるユーザー名を設定できます。Inceptor SQL ノードに異なる優先度を設定すると、Dataphin は対応するユーザーを使用してこれらのノードを TDH Inceptor DPI エンジンに送信します。設定するユーザーには、Inceptor リソースキューに対する送信権限が必要です。詳細については、「Inceptor User Manual」をご参照ください。

操作手順

1. Dataphin のホームページの上部メニューで、[Planning] > [Compute Source] を選択します。

2. [Compute Source] ページで、[Add Compute Source] をクリックし、[TDH Inceptor Compute Source] を選択します。

3. [Create TDH Inceptor Compute Source] ページで、パラメーターを設定します。

   1. [Basic Information] セクションで、パラメーターを設定します。

      パラメーター	説明
      [Compute Source Type]	コンピューティングソースタイプとして [TDH Inceptor] を選択します。
      [Compute Source Name]	命名規則は次のとおりです： 名前には、漢字、数字、英字、アンダースコア (_)、ハイフン (-) のみを含めることができます。 名前の長さは 64 文字までです。
      [Compute Source Description]	コンピューティングソースの簡単な説明。説明は 128 文字までです。

   2. [Cluster Basic Information] セクションで、パラメーターを設定します。

      パラメーター	説明
      [nameNode]	デフォルトでは、システム初期化時に設定された NameNode の値が使用されます。この値は変更できません。
      [Configuration File]	HDFS 設定ファイルをアップロードします。ファイルには、core-site.xml、hdfs-site.xml、hive-site.xml、yarn-site.xml、およびその他の設定ファイルを含める必要があります。 Transwarp O&M エンジニアに連絡するか、Transwarp クラスター O&M インターフェイスにログインし、HDFS Service > More Operations > Download Service Configuration を選択して設定ファイルを取得できます。
      [Authentication Type]	TDH Inceptor クラスターが Kerberos 認証を使用している場合は、認証方法として Kerberos を選択します。Kerberos は、シングルサインオン (SSO) をサポートする対称キーベースの認証プロトコルであり、認証されたクライアントが HBase や HDFS などの複数のサービスにアクセスできるようになります。 Kerberos 認証を選択した後、Krb5 認証ファイルをアップロードするか、KDC サーバーアドレスを設定します。 Krb5 認証ファイル：Kerberos 認証用の Krb5 ファイルをアップロードします。 KDC サーバーアドレス：Kerberos 認証を完了するための KDC サーバーのアドレスです。複数の KDC サーバーアドレスを設定できます。コンマ (,) で区切ります。

   3. [HDFS Connection Information] セクションで、パラメーターを設定します。

      パラメーター	説明
      [Execution Username]、[Password]	コンピューティング実行マシンのユーザー名とパスワード。これらの認証情報は、MapReduce ノードの実行や HDFS の読み書きに使用されます。 重要 MapReduce ノードを送信する権限があることを確認してください。
      [Authentication Type]	HDFS が Kerberos 認証を使用している場合は、認証方法として Kerberos を選択します。Kerberos は、SSO をサポートする対称キーベースの認証プロトコルであり、認証されたクライアントが HBase や HDFS などの複数のサービスにアクセスできるようになります。 Kerberos 認証を選択した後、keytab ファイルをアップロードし、プリンシパルアドレスを設定します。 [keytab ファイル]：Kerberos 認証用の keytab ファイルをアップロードします。 [プリンシパル]：対応する Kerberos 認証のユーザー名です。 認証なしを選択した場合は、HDFS にアクセスするためのユーザー名を設定します。

   4. [Inceptor Configuration] セクションで、パラメーターを設定します。

      パラメーター	説明
      [JDBC URL]	HiveServer2 エンドポイントを設定します。形式は jdbc:hive2://{endpoint}:{port}/{database_name} です。
      [Authentication Type]	Inceptor の認証タイプを選択します。利用可能なオプションは [No Authentication]、[LDAP]、[Kerberos] です。 [No Authentication]：認証は不要です。 [LDAP]：アクセス用のユーザー名とパスワードを設定します。 [Kerberos]：HDFS Kerberos 認証ファイルをアップロードし、Hive プリンシパルを設定します。
      [Execution User For Development Environment Tasks]	開発環境のノードの実行ユーザー名です。
      [Execution User For Periodic Scheduling Tasks]	定期スケジューリングノードの実行ユーザー名です。
      [Priority Task Queue]	優先タスクにユーザーを割り当てる方法を選択します。[Use Default Execution User] または [Custom] を選択できます。 [Custom] を選択した場合は、異なる優先度のノードを実行するためのユーザー名を設定する必要があります。 説明 優先度キューは、Hadoop クラスター上に異なる YARN キューを作成することでリソースを割り当てます。ノードは、その優先度に基づいて対応する YARN キューに送信されます。

   5. [Inceptor Metadata Connection Information] セクションで、パラメーターを設定します。

      パラメーター	説明
      [Metadata Retrieval Method]	メタデータ取得方法として [メタデータベース] と [HMS] をサポートしています。必要な設定は、選択した方法によって異なります。 メタデータベース 方式では、データベースタイプ、データベースバージョン (MySQL のみ)、JDBC URL、認証タイプ、ユーザー名、パスワード (MySQL のみ) を設定します。 HMS 方式では、認証タイプ を設定します。 説明 メタデータベース 取得方法を選択した場合は、まず core-site.xml と hdfs-site.xml の設定ファイルをアップロードしてください。 HMS 取得方法を選択した場合は、まず core-site.xml、hdfs-site.xml、hive-site.xml の設定ファイルをアップロードしてください。
      [Database Type]	[Inceptor] または [MySQL] を選択します。 MySQL を選択した場合は、データベースの [Version] も選択する必要があります。有効な値には、[MySQL 5.6/5.7]、[MySQL 8]、[MySQL 5.1.43] があります。
      [JDBC URL]	メタデータベースのエンドポイントを入力します。 データベースタイプとして [MySQL] を選択した場合は、jdbc:mysql://{endpoint}:{port}/{database_name} の形式を使用します。データベースタイプとして [Inceptor] を選択した場合は、jdbc:hive2://{endpoint}:{port}/{database_name} の形式を使用します。
      [Authentication Type]	[No Authentication] または [LDAP] を選択します。
      [Username]、[Password]	メタデータベースのユーザー名とパスワードを入力します。

4. [Test Connection] をクリックして、コンピューティングソースへの接続を検証します。

5. 接続テストに成功したら、[Submit] をクリックします。