Dataphin:Hadoop を使用したメタウェアハウスの初期化

前提条件

メタウェアハウスに Hadoop を使用する場合、メタデータベースにアクセス可能にするか、または Hive Metastore サービスを提供してメタデータを取得する必要があります。

背景情報

Dataphin は、メタデータベースに直接接続するか、または Hive Metastore サービスを使用することによってメタデータを取得します。次の表は、各メソッドの利点と欠点を比較したものです。

制限事項

メタウェアハウステナントのスーパー管理者 または システム管理者 のロールを持つアカウントのみがシステムを初期化できます。

操作手順

1. Dataphin ホームページの上部のナビゲーションバーで、[管理センター] > [システム設定] を選択します。

2. 左側のナビゲーションウィンドウで、[システム O&M] > [ウェアハウス設定] を選択します。「メタデータデプロイメント」構成ウィザードページで、インストール手順をよく読み、「開始」をクリックします。

3. 初期化エンジン選択ページで、[Hadoop] エンジンタイプを選択します。

   重要

   メタウェアハウスがすでに初期化されている場合、最後に成功した初期化で使用されたエンジンタイプがデフォルトで選択されます。互換性のないコンピュートエンジンに切り替えると、ガバナンス機能が利用できなくなる可能性があります。

   Hadoop タイプのエンジンには、Aliyun E-MapReduce 3.X、Aliyun E-MapReduce 5.x、CDH 5.X、CDH 6.X、FusionInsight 8.X、AsiaInfo DP 5.3 Hadoop、および Cloudera Data Platform 7.x が含まれます。Hadoop タイプのコンピュートエンジンの構成パラメーターは同じです。このトピックでは、Aliyun E-MapReduce 3.X を例として使用します。

   • クラスター構成

     説明

     OSS-HDFS クラスターストレージは、Aliyun E-MapReduce 5.x Hadoop エンジンタイプのみでサポートされています。

     HDFS クラスターストレージ

     パラメーター	説明
     NameNode	NameNode は HDFS のファイルシステムの名前空間を管理し、外部クライアントからのアクセスを制御します。 [追加] をクリックします。 ［Add NameNode］ダイアログボックスで、NameNode のホスト名とポート番号を入力し、［OK］をクリックします。 情報は自動的にフォーマットされます。例：host=hostname,webUiPort=50070,ipcPort=8020。
     設定ファイル	core-site.xml や hdfs-site.xml など、クラスター構成ファイルをアップロードしてクラスターパラメーターを構成します。 Hive Metastore サービスを使用してメタデータを取得する場合、hdfs-site.xml、hive-site.xml、core-site.xml、および hivemetastore-site.xml ファイルをアップロードする必要があります。FusionInsight 8.X および Aliyun E-MapReduce 5.x Hadoop コンピュートエンジンの場合、hivemetastore-site.xml ファイルもアップロードする必要があります。
     履歴ログ	クラスターのログパスを構成します。例：tmp/hadoop-yarn/staging/history/done。
     認証方式	[認証なし] または [Kerberos] を選択できます。Kerberos は、共通鍵暗号方式に基づく身分認証プロトコルであり、クラスターコンポーネント間の認証によく使用されます。Kerberos を有効にすると、クラスターのセキュリティが向上します。 Kerberos 認証を選択した場合、次のパラメーターを構成します。 Kerberos 構成方法 KDCサーバー: Kerberos 認証を支援するために、統合KDCサービスアドレスを入力します。 Krb5 ファイル構成: Kerberos 認証用に krb5 ファイルをアップロードします。 HDFS 構成 [HDFS Keytab ファイル]: HDFS Keytab ファイルをアップロードします。 [HDFS プリンシパル]: Kerberos 認証用のプリンシパル名を入力します。例: XXXX/hadoopclient@xxx.xxx。

     OSS-HDFS クラスターストレージ

     初期化エンジンとして Aliyun E-MapReduce 5.x Hadoop を選択した場合、クラスターストレージタイプを OSS-HDFS として構成できます。

     パラメーター	説明
     クラスター ストレージ	クラスターストレージタイプは次の方法で確認できます。 クラスターが作成されていない場合：次の図に示すように、Aliyun E-MapReduce 5.x Hadoop クラスター作成ページでストレージタイプを表示できます。 既存のクラスターの場合：次の図に示すように、Aliyun E-MapReduce 5.x Hadoop クラスターの詳細ページでストレージタイプを表示できます。
     クラスターのストレージルートディレクトリ	クラスターストレージのルートディレクトリを入力します。次の図に示すように、Aliyun E-MapReduce 5.x Hadoop クラスターの詳細ページでこの情報を確認できます。 重要 入力したパスにエンドポイントが含まれている場合、Dataphin はデフォルトでそのエンドポイントを使用します。含まれていない場合、Dataphin は `core-site.xml` ファイルに設定されているバケットレベルのエンドポイントを使用します。バケットレベルのエンドポイントが設定されていない場合、Dataphin は `core-site.xml` ファイルのグローバルエンドポイントを使用します。詳細については、「OSS-HDFS にアクセスするためのエンドポイントを設定する」をご参照ください。
     構成ファイル	core-site.xml や hive-site.xml など、クラスター構成ファイルをアップロードしてクラスターパラメーターを構成します。Hive Metastore サービスを使用してメタデータを取得するには、hive-site.xml、core-site.xml、および hivemetastore-site.xml ファイルをアップロードする必要があります。
     履歴ログ	クラスターのログパスを構成します。例：tmp/hadoop-yarn/staging/history/done。
     [AccessKey ID]、[AccessKey Secret]	クラスターの OSS にアクセスするための AccessKey ID と AccessKey シークレットを入力します。既存の AccessKey を使用するか、新しい AccessKey を作成できます。詳細については、「」をご参照ください。「AccessKey ペアの作成」をご参照ください。漏洩リスクを軽減するため、AccessKey シークレットは作成時に一度だけ表示され、後から取得することはできません。安全に保管してください。 重要 ここに入力された認証情報は、core-site.xml ファイルで構成された AccessKey よりも優先されます。
     認証方式	「[認証なし]」または「[Kerberos]」を選択できます。Kerberos は、共通鍵暗号方式に基づく身分認証プロトコルであり、クラスターのコンポーネント間の認証に頻繁に使用されます。Kerberos を有効にすると、クラスターのセキュリティが向上します。Kerberos 認証を選択した場合、krb5 ファイルをアップロードする必要があります。

   • Hive 構成

     パラメーター	説明
     JDBC URL	Hive に接続するための JDBC URL を入力します。
     認証方式	クラスター 認証が「認証なし」に設定されている場合、サポートされる Hive 認証方式は [認証なし] および [LDAP] です。 クラスター認証が Kerberos に設定されている場合、サポートされる Hive 認証方式は、認証なし、LDAP、およびKerberos です。 説明 この認証方式は、Aliyun E-MapReduce 3.x、Aliyun E-MapReduce 5.x、Cloudera Data Platform 7.x、AsiaInfo DP 5.3、および Huawei FusionInsight 8.x のみでサポートされています。
     ユーザー名、パスワード	Hive にアクセスするためのユーザー名とパスワード。 認証なし：ユーザー名を入力する必要があります。 LDAP 認証：ユーザー名とパスワードを入力する必要があります。 Kerberos 認証：入力は不要です。
     Hive キータブ ファイル	Kerberos 認証が有効になっている場合、このパラメーターは必須です。 keytab ファイルをアップロードします。このファイルは Hive サーバーから取得できます。
     Hive プリンシパル	Kerberos 認証が有効になっている場合、このパラメーターは必須です。 Hive Keytab ファイルに対応する Kerberos プリンシパル名を入力します。例：XXXX/hadoopclient@xxx.xxx。
     実行エンジン	要件に基づいて実行エンジンを選択します。各コンピュートエンジンでサポートされているエンジンは次のとおりです。 Aliyun E-MapReduce 3.X：MapReduce、Spark。 Aliyun E-MapReduce 5.X：MapReduce、Tez。 CDH 5.X：MapReduce。 CDH 6.X：MapReduce、Spark、Tez。 FusionInsight 8.X：MapReduce。 AsiaInfo DP 5.3 Hadoop：MapReduce。 Cloudera Data Platform 7.x：Tez。 説明 実行エンジンを設定した後、メタウェアハウステナント内のコンピュート設定、コンピュートソース、およびタスクは、指定された Hive 実行エンジンを使用します。再初期化した場合、これらのコンポーネントは、新しく構成された実行エンジンにリセットされます。

   • メタデータ取得方法

     メタデータは、次の 3 つのいずれかの方法で取得できます：[メタデータベース]、[HMS (Hive Metastore サービス)]、および [DLF]。各メソッドの構成詳細は異なります。

     • メタデータベース経由で取得

       パラメーター	説明
       データベースの種類	Hive メタデータベースのデータベースタイプを選択します。Dataphin は [MySQL] をサポートしています。 サポートされている MySQL バージョンには、MySQL 5.1.43、MYSQL 5.6/5.7、および MySQL 8 が含まれます。
       JDBC URL	ターゲットデータベースの JDBC 接続 URL を入力します。例： MySQL データベースの接続 URL 形式は jdbc:mysql://host:port/dbname です。
       ユーザー名、パスワード	ターゲットデータベースのユーザー名とパスワード。

     • HMS 経由で取得

       Kerberos が有効な HMS 経由でメタデータを取得する場合、keytab ファイルをアップロードし、プリンシパルを入力する必要があります。

       パラメーター	説明
       Keytab ファイル	Hive メタストアの Kerberos 認証 keytab ファイル。
       プリンシパル	Hive メタストアの Kerberos 認証プリンシパル。

     • DLF 経由で取得

       重要

       DLF メタデータ取得は、[Aliyun E-MapReduce 5.x（Hive 3.1.x 対応）] のみでサポートされています。

       パラメーター	説明
       エンドポイント	クラスターの DLF データカタログが配置されているリージョンのエンドポイントを入力します。エンドポイントの取得方法については、「」および「DLF リージョンとエンドポイント」をご参照ください。
       AccessKey ID、AccessKey シークレット	クラスターの所有者であるアカウントの AccessKey ID および AccessKey シークレットを入力します。既存の AccessKey を使用するか、新しい AccessKey を作成できます。詳細については、「AccessKey ペアの作成」をご参照ください。漏洩リスクを軽減するため、AccessKey シークレットは作成時に一度だけ表示され、その後取得することはできません。安全に保管してください。

   • メタデータプロダクションプロジェクト

     メタプロジェクト: メタデータの生成および処理に使用される論理プロジェクト。推奨値は dataphin_meta です。初期化の失敗を防ぐため、再初期化時にこの名前を変更しないでください。

4. [接続のテスト] をクリックします。接続テストが成功した後、[次へ] をクリックします。

5. 初期化ページで、[開始] をクリックします。

   説明

   初期化プロセスは完了までに約 15 分かかります。

6. 成功メッセージが表示されたら、[完了] をクリックして構成を完了します。

次のステップ

メタデータを初期化した後、Dataphin インスタンスのコンピュートエンジンを構成できます。メタウェアハウスエンジンが Hadoop に設定されている場合、ビジネステナントのコンピュートエンジンは、MaxCompute を除く任意のエンジンタイプにすることができます。手順については、「コンピュート設定」をご参照ください。