Dataphin での大数据パイプライン用 Hadoop クラスターセットアップ - Dataphin

制限

Hadoop クラスター管理は、コンピュートエンジンが CDH5.x、CDH6.x、Cloudera Data Platform 7.x、E-MapReduce3.x、E-MapReduce5.x、AsiaInfo DP5.3、または Huawei FusionInsight 8.x の場合にのみ利用できます。

権限

スーパー管理者、システム管理者、および「Hadoop クラスター - 管理」グローバルロールを持つユーザーは、Hadoop クラスターを作成および管理できます。これらのユーザーは、Hadoop コンピュートソースを作成する際にどのユーザーがクラスターをリファレンスできるかを指定し、クラスター管理者を割り当てることもできます。
クラスター管理者は、担当するクラスターを管理できます。
「コンピュートソース管理 - 作成」グローバルロールを持つユーザーは、Hadoop コンピュートソースを作成する際に、使用権限のある Hadoop クラスターをリファレンスできます。

Hadoop クラスタの作成

Dataphin ホームページの上部メニューバーで、[プランニング] > [コンピュートソース] を選択します。
[コンピュートソース] ページで、[Hadoop クラスターの管理] をクリックします。
[Hadoop クラスターの管理] ダイアログボックスで、[+ Hadoop クラスターの作成] をクリックします。

[Hadoop クラスターの作成] ページで、次のパラメーターを設定します。

基本情報

パラメーター	説明
クラスタ名	クラスターの名前を入力します。名前には、英字、数字、アンダースコア (_)、ハイフン (-) のみを使用できます。長さは 128 文字までです。
クラスタ管理者	現在のテナント配下のメンバーを 1 人以上選択し、このクラスターのクラスター管理者として指定します。クラスター管理者は、現在のクラスターの編集、履歴バージョンの表示、削除などの管理操作を実行できます。
説明 (オプション)	クラスターの簡単な説明を入力します。説明は 128 文字までです。

クラスターのセキュリティコントロール
[使用可能者]：コンピュートソースを作成する際に、クラスターの構成をリファレンスできるユーザーを指定します。[「コンピュートソースの作成」権限を持つロール] または [指定されたユーザー]を選択できます。
- 「コンピューティングソースの作成」権限を持つロール：デフォルトで選択されています。
- [指定されたユーザー] ：1 つ以上の個人アカウントとユーザーグループを選択できます。

クラスター構成

パラメーター	説明
クラスタストレージ	[HDFS] または [OSS-HDFS] を選択します。 [HDFS] を選択した場合、NameNode 設定項目で NameNode を追加できます。 [OSS-HDFS] を選択した場合、クラスターストレージのルートディレクトリ、AccessKey ID、および AccessKey Secret も設定する必要があります。説明注：このパラメーターは、コンピュートエンジンが E-MapReduce 5.x の場合にのみ設定可能です。他のすべてのコンピュートエンジンでは、デフォルト値は HDFS です。
NameNode	[+ 追加] をクリックして [NameNode の追加] ダイアログボックスを開き、パラメーターを設定します。複数の NameNode を追加できます。 NameNode は、HDFS クラスター内の NameNode のホスト名または IP アドレスとポートです。設定例： NameNode：193.168.xx.xx Web UI ポート：50070 IPC ポート: 8020 Web UI ポートまたは IPC ポートの少なくとも 1 つを選択します。設定後、NameNode は `host=192.168.xx.xx,webUiPort=50070,ipcPort=8020` となります。説明注：このパラメーターは、[クラスターストレージ] が [HDFS] に設定されている場合に設定可能です。
[クラスタストレージのルートディレクトリ]	EMR クラスターの基本情報から取得できます。フォーマットは `oss://<Bucket>.<Endpoint>/` です。説明注：このパラメーターは、コンピュートエンジンが E-MapReduce 5.x で、[クラスターストレージ] が [OSS-HDFS] に設定されている場合にのみ設定可能です。
AccessKey ID, AccessKey Secret	OSS アクセス用の AccessKey ID と AccessKey Secret を入力します。説明ここでの設定は、core-site.xml で設定された AccessKey よりも高い優先度を持ちます。注：このパラメーターは、コンピュートエンジンが E-MapReduce 5.x で、[クラスターストレージ] が [OSS-HDFS] に設定されている場合にのみ設定可能です。
core-site.xml	現在のコンピュートエンジン用の core-site.xml、hdfs-site.xml、hive-site.xml、hivemetastore-site.xml、yarn-site.xml、およびその他の設定ファイルをアップロードします。説明コンピュートエンジンが E-MapReduce 5.x で、[クラスターストレージ] が [OSS-HDFS] に設定されている場合、hdfs-site.xml ファイルをアップロードする必要はありません。 [Hive メタデータ取得方法] が [HMS] に設定されている場合、hive-site.xml ファイルをアップロードする必要があります。コンピュートエンジンが E-MapReduce 5.x または Huawei FusionInsight 8.x で、[Hive メタデータ取得方法] が [HMS] に設定されている場合、hivemetastore-site.xml ファイルをアップロードする必要があります。
hdfs-site.xml
hive-site.xml (オプション)
hivemetastore-site.xml (オプション)
yarn-site.xml (オプション)
その他の構成ファイル (オプション)
タスク実行マシン	MapReduce または Spark JAR が実行されるマシンの接続アドレスを設定します。フォーマットは `hostname:port` または `ip:port` です。ポートは任意で、デフォルトは 22 です。
実行ユーザー名, パスワード	MapReduce タスクの実行や HDFS の読み書きなどの操作のためにタスク実行マシンにログインするためのユーザー名とパスワードです。このユーザーがタスク送信権限を持っていることを確認してください。
認証タイプ	この機能は、[認証なし] および [kerberos] 認証をサポートしています。 Kerberos は、対称キー技術に基づく ID 認証プロトコルです。他のサービスに ID 認証を提供でき、シングルサインオン (SSO) をサポートします。つまり、クライアントは一度認証されると、HBase や HDFS などの複数のサービスにアクセスできます。 [認証タイプ] が [Kerberos] に設定されている場合、[Kerberos 構成方法] も選択する必要があります。 [krb5 認証ファイル]：Kerberos 認証用の krb5 ファイルをアップロードします。 [KDC サーバーアドレス]：Kerberos 認証を補助する KDC サーバーのアドレスです。複数の KDC サーバーアドレスをセミコロン (;) で区切って設定できます。説明注：コンピュートエンジンが E-MapReduce 5.x の場合、[krb5 ファイル構成] 方法のみがサポートされます。

HDFS 情報の構成

パラメーター

説明

認証タイプ

[認証なし] と [kerberos] をサポートします。

Hadoop クラスターが Kerberos 認証を使用する場合、HDFS Kerberos を有効にし、Keytab ファイルをアップロードし、プリンシパルを設定する必要があります。

[keytab ファイル]：keytab ファイルをアップロードします。keytab ファイルは HDFS サーバーから取得できます。
[プリンシパル]： HDFS Keytab ファイルに対応する Kerberos 認証ユーザー名を入力します。

説明

注：このパラメーターは、コンピュートエンジンが E-MapReduce 5.x で、[クラスターストレージ] が [OSS-HDFS] に設定されている場合は不要です。

HDFS ユーザー (オプション)

ファイルアップロード用のユーザー名を指定します。空白のままにすると、デフォルトで実行ユーザー名が使用されます。

説明

注：このパラメーターは、[認証タイプ] が [認証なし] に設定されている場合にのみ設定可能です。

Hive コンピュートエンジン構成

パラメーター	説明
JDBC URL	次の 3 種類の接続アドレスのいずれかを設定できます： Hive サーバーの接続アドレス。フォーマットは `jdbc:hive://{connection_address}:{port}/{database_name}` です。 ZooKeeper の接続アドレス。例：`jdbc:hive2://zk01:2181,zk02:2181,zk03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2`。 Kerberos が有効な接続アドレス。フォーマットは `jdbc:hive2://{connection_address}:{port}/{database_name};principal=hive/_HOST@xx.com` です。
認証タイプ	[認証なし]、[LDAP]、および [kerberos] 認証に対応しています。 [認証なし]：Hive サービスのユーザー名が必要です。 [LDAP]：Hive サービスのユーザー名とパスワードが必要です。 [kerberos]：Hadoop クラスターが Kerberos 認証を使用する場合、Hive Kerberos を有効にし、Keytab ファイルをアップロードし、プリンシパルを設定する必要があります。キータブファイル：キータブファイルをアップロードします。キータブファイルは Hive サーバーから取得できます。 [プリンシパル]：Hive Keytab ファイルに対応する Kerberos 認証ユーザー名を入力します。
ユーザー名	Hive サービスのユーザー名を入力します。説明注：このパラメーターは、[認証タイプ] が [認証なし] または [LDAP] に設定されている場合に設定可能です。指定されたユーザーはタスク実行権限を持っている必要があります。これにより、タスクが正しく実行されることが保証されます。
パスワード	Hive サービスユーザーのパスワードを入力します。説明注：このパラメーターは、[認証タイプ] が [LDAP] に設定されている場合にのみ設定可能です。
実行エンジン	[デフォルト]：このコンピュートソースにアタッチされたプロジェクト配下のタスク (論理テーブルタスクを含む) は、デフォルトでこの実行エンジンを使用します。 [カスタム]：別のコンピュートエンジンタイプを選択します。

Hive メタデータ構成

[メタデータ取得方法]：次のいずれかの方法を選択できます：[メタデータベース]、[HMS]、または [DLF]。必要な設定は、選択した方法によって異なります。

重要

注：DLF メソッドは、コンピュートエンジンが E-MapReduce 5.x の場合にのみ利用可能です。
注：DLF メソッドを使用してメタデータを取得する場合、まず hive-site.xml 設定ファイルをアップロードする必要があります。

メタデータ取得方法	パラメーター	説明
メタデータデータベース	データベースタイプ	クラスターで使用されているメタデータベースのタイプに基づいてデータベースを選択します。Dataphin は MySQL をサポートしています。サポートされている MySQL のバージョンは、MySQL 5.1.43、MySQL 5.6/5.7、MySQL 8 です。
	JDBC URL	ターゲットデータベースの JDBC 接続アドレスを入力します。例： MySQL：フォーマットは `jdbc:mysql://{connection_address}[,failoverhost...]{port}/{database_name} [?propertyName1][=propertyValue1][&propertyName2][=propertyValue2]...` です。
	ユーザー名、パスワード	メタデータベースにログインするためのユーザー名とパスワードを入力します。
HMS	認証タイプ	HMS 取得方法は、認証なし、LDAP、Kerberos をサポートしています。Kerberos 認証の場合は、Keytab ファイルをアップロードし、プリンシパルを設定する必要があります。
DLF	エンドポイント	ご利用のクラスターが配置されているリージョンの DLF エンドポイントを入力します。エンドポイントを取得するには、「DLF のリージョンとエンドポイント」をご参照ください。
DLF	AccessKey ID、AccessKey Secret	クラスターが配置されているアカウントの AccessKey ID と AccessKey Secret を入力します。 AccessKey ID と AccessKey Secret は、「ユーザー情報管理」ページで取得できます。

Spark JAR サービス構成

重要

注：パフォーマンス上の理由から、Spark 実行マシンまたはローカルクライアント構成を変更する際には、接続性と有効性のテストは実行されません。変更後、開発者モジュールに移動し、テストプログラムを実行して Spark サービスが利用可能かどうかを確認してください。

パラメーター	説明
Spark 実行マシン	Hadoop クラスターに Spark がデプロイされている場合、[Spark SQL タスク] を有効にできます。説明注：[クラスター構成] で指定されたタスク実行マシン上の Spark クライアントを使用する場合、まず実行マシン上でクライアントをデプロイして設定する必要があります (例：環境変数の設定、実行ユーザーの作成、ユーザーへの権限付与)。ただし、サポートされる実行マシンは 1 台のみであり、高可用性や負荷分散は実現できません。Spark ジョブが送信された後、Dataphin からそのログを表示したり、停止したりすることはできません。
実行ユーザー名、パスワード	コンピュート実行マシンにログインするためのユーザー名とパスワードを入力します。説明注：ユーザーが Spark-submit 権限を持っていることを確認してください。
Spark ローカルクライアント	Spark ローカルクライアントを有効または無効にできます。有効になっていてタスクからリファレンスされている場合、無効にすることはできません。Spark ローカルクライアントを使用して Spark プログラムを実行するには、yarn-site.xml 設定ファイルをアップロードし、Dataphin と YARN 間のポート接続が正常であることを確認する必要があります。 [+ クライアントの追加] をクリックして [クライアントの追加] ダイアログボックスを開きます。[クライアント名] を入力し、[クライアントファイル] をアップロードします。 [クライアント名]：英字、数字、アンダースコア (_)、ハイフン (-)、ピリオド (.) のみを使用できます。長さは 32 文字までです。クライアント名は、同じ Hadoop クラスター内で一意 (大文字と小文字を区別) である必要があります。 [クライアントファイル]：クライアントファイルをアップロードします。.tgz および .zip 形式のみがサポートされています。説明注：対応するバージョンの Spark クライアントは https://spark.apache.org/downloads.html からダウンロードできます。カスタムクライアントは、コミュニティ版と同じディレクトリ構造を持ち、Hadoop クライアントを含み、完全な圧縮パッケージ (.tgz または .zip) としてアップロードする必要があります。Dataphin は、アップロードされたクライアントを使用してスケジューリングクラスター経由でジョブを送信し、ジョブの完全なライフサイクル管理を可能にします。クライアントがアップロードされた後、クライアントリストのアイコンをクリックして、対応するクライアントを編集できます。新しいクライアントファイルをアップロードすると、既存のファイルが上書きされます。アイコンをクリックすると、対応するクライアントが削除されます。説明注：アップロードされたクライアントがタスク (ドラフトステータスのタスクを含む) によってリファレンスされている場合、クライアント名を編集したり、クライアントを削除したりすることはできません。
認証タイプ	[認証なし] または [kerberos] 認証をサポートしています。 Hadoop クラスターが Kerberos 認証を使用する場合、Spark Kerberos を有効にし、Keytab ファイルをアップロードし、プリンシパルを設定する必要があります。 Keytab ファイル：keytab ファイルをアップロードします。keytab ファイルは Spark サーバーから取得できます。プリンシパル: Spark Keytab ファイルに対応する Kerberos 認証ユーザー名を入力します。

Spark SQL サービス構成

パラメーター	説明
Spark SQL タスク	Hadoop クラスターに Spark がデプロイされている場合、[Spark SQL タスク] を有効にできます。
Spark バージョン	現在、3.x のみがサポートされています。
サービスタイプ	Spark JDBC アクセス用のサーバータイプを選択します。
JDBC URL	JDBC 接続方法を入力します。例：`jdbc:hive2://host1:port1/` または `jdbc:kyuubi://host1:port1/`。データベース名を入力する必要はありません。
認証タイプ	[認証なし]、 [LDAP] 、および [Kerberos] 認証に対応しています。 [認証なし]：Spark サービスのユーザー名が必要です。 [LDAP]：Spark サービスのユーザー名とパスワードが必要です。 [Kerberos]：Hadoop クラスターが Kerberos 認証を使用する場合、Spark Kerberos を有効にし、Keytab ファイルをアップロードし、プリンシパルを設定する必要があります。 [Keytab ファイル]：keytab ファイルをアップロードします。keytab ファイルは Spark サーバーから取得できます。 [プリンシパル]：Spark Keytab ファイルに対応する Kerberos 認証ユーザー名を入力します。説明注：[認証なし] および [LDAP] 方法では、タスクが正しく実行されることを保証するために、指定されたユーザーがタスク実行権限を持っている必要があります。
ユーザー名	Spark サービスのユーザー名を入力します。説明注：このパラメーターは、[認証タイプ] が [認証なし] または [LDAP] に設定されている場合に設定可能です。指定されたユーザーはタスク実行権限を持っている必要があります。これにより、タスクが正しく実行されることが保証されます。
パスワード	Spark サービスユーザーのパスワードを入力します。説明注：このパラメーターは、[認証タイプ] が [LDAP] に設定されている場合にのみ設定可能です。
SQL タスクキュー設定	サービスタイプによって、異なる SQL タスクキューが使用されます。詳細は以下のとおりです。 Spark Thrift Server：タスクキューは設定できません。 Kyuubi：HDFS 接続情報の優先度付きキュー設定を使用します。これは、Kyuubi がリソーススケジューリングに YARN を使用する場合にのみ有効です。本番タスクは Connection shared レベルを使用します。 Livy：HDFS 接続情報の優先度付きキュー設定を使用します。これは、Livy がリソーススケジューリングに YARN を使用する場合にのみ有効です。アドホッククエリと本番タスクの両方が新しい接続を使用して実行されます。 MapReduce (MRS)：HDFS 接続情報の優先度付きキュー設定を使用します。

Impala タスク構成

パラメーター	説明
Impala タスク	Hadoop クラスターに Impala がデプロイされている場合、Impala タスクを有効にできます。
JDBC URL	Impala の JDBC 接続方法を入力します。例：`jdbc:impala://host:port/`。スキーマを入力する必要はありません。
認証タイプ	対応しているのは、[認証なし]、[LDAP]、および [kerberos] の認証です。 [認証なし]：Impala のユーザー名が必要です。 [LDAP]：Impala のユーザー名とパスワードが必要です。 [kerberos]：Keytab ファイルのアップロードとプリンシパルの設定が必要です。
ユーザー名	Impala のユーザー名を入力します。説明注：このパラメーターは、[認証タイプ] が [認証なし] または [LDAP] に設定されている場合に設定可能です。指定されたユーザーはタスク実行権限を持っている必要があります。これにより、タスクが正しく実行されることが保証されます。
パスワード	Impala ユーザーのパスワードを入力します。説明注：このパラメーターは、[認証タイプ] が [LDAP] に設定されている場合にのみ設定可能です。
開発者タスクリクエストプール	開発者タスク用の Impala リクエストプールの名前を入力します。
自動トリガータスクリクエストプール	定期タスク用の Impala リクエストプールの名前を入力します。

[接続テスト] をクリックします。システムは各サービスへの接続を自動的にテストします。
接続テストが成功した場合、設定を保存できます。テストが失敗した場合、[接続テスト失敗] ダイアログボックスが表示されます。このダイアログボックスには、テストに失敗したサービスとそのエラー詳細が表示されます。
接続テストが成功した後、[保存] をクリックして Hadoop クラスターを作成します。

Hadoop クラスタを管理する

Dataphin ホームページの上部メニューバーで、[プランニング] > [コンピュートソース] を選択します。
[コンピューティングソース] ページで、[hadoop クラスタの管理] をクリックします。
[Hadoop クラスターの管理] ダイアログボックスで、Hadoop クラスターのリストを表示します。リストには、クラスター名、クラスター管理者、関連コンピュートソース、作成情報、変更情報などの情報が表示されます。
- [関連コンピュートソース]：関連するコンピュートソースの総数を表示します。アイコンをクリックすると、関連コンピュートソースのリストが表示されます。コンピュートソース名をクリックすると、その詳細ページに移動します。
- [作成情報]：クラスターを作成したユーザーと作成時間を表示します。
- [変更情報]：クラスターを最後に編集したユーザーと変更時間を表示します。
説明
注：コンピュートタスクは 1 つのクラスターでしか実行できません。そのため、異なる Hadoop クラスターのデータを結合することはできません。
(任意) 検索ボックスにクラスター名を入力して、あいまい検索を実行できます。

Hadoop クラスターリストの [操作] 列で、クラスターに対する管理操作を実行できます。サポートされている操作は次のとおりです。

操作	説明
表示	対象のクラスターの [アクション] 列にあるアイコンをクリックすると、クラスターの現在のバージョンの詳細が表示されます。Manage Hadoop Cluster 権限を持つユーザーは、クラスター構成ファイルをダウンロードできます。
編集	対象のクラスターの [操作] 列にあるアイコンをクリックして、Hadoop クラスターの編集ページを開きます。Hadoop クラスターの編集ページでは、既存の構成を変更できます。Spark Jar、Spark SQL、または Impala タスクのサービス構成が有効化ステータスで、クラスターに関連付けられているコンピューティングソースで対応するサービスが有効になっている場合、関連サービスをシャットダウンすることはできません。編集後、クラスターの基本情報とクラスターのセキュリティコントロールのみを変更した場合、接続テストは不要です。直接保存できます。その他の変更を行った場合は、再度接続テストを行う必要があります。テストが成功した後、[保存] をクリックします。表示されるダイアログボックスで、[変更説明] を入力し、[OK] をクリックします。
複製	対象のクラスターの[アクション] 列にあるアイコンをクリックします。システムは自動的にクラスターのすべてのデータをクローンし、「Hadoop クラスターの作成」ページを開きます。その後、既存の構成を変更できます。
バージョン履歴	対象のクラスターの [操作] 列にあるアイコンをクリックし、[履歴] を選択します。ダイアログボックスが開き、バージョン名、修飾子、変更内容の説明など、現在のクラスターの各バージョンに関する情報が表示されます。このダイアログボックスでは、[表示]、[比較]、および [ロールバック] 操作を実行できます。表示: 対象のバージョンの [アクション] 列にあるアイコンをクリックします。「Hadoop クラスターの表示」ページにリダイレクトされ、現在のクラスターバージョンの詳細を表示できます。Hadoop Cluster-Manage 権限を持つユーザーは、クラスター構成ファイルをダウンロードできます。比較: ターゲットバージョンの [操作] 列のアイコンをクリックして、バージョン比較ページに移動します。このページでは、フィルタードロップダウンリストからさまざまなバージョンを選択できます。デフォルトでは、Hadoop クラスターの現在のバージョンがターゲットバージョンと比較されます。ロールバック: 対象のバージョンの[アクション]列にあるアイコンをクリックし、表示されたダイアログボックスで[OK]をクリックします。 [OK] をクリックすると、システムはそのバージョンのクラスター情報に対して自動的に接続テストを実行します。テストが成功した場合、ロールバックが続行されます。ロールバックが失敗した場合、失敗とその理由を示すメッセージが表示されます。接続テストが失敗した場合、ロールバックは終了し、接続テストに失敗したサービスを示すダイアログボックスが表示されます。
削除	説明注：Hadoop クラスターは、関連するコンピュートソースがない場合にのみ削除できます。注：削除されたクラスターは復元できません。対象のクラスターの [Actions] 列にあるアイコンをクリックして [Delete] を選択し、表示されたダイアログボックスで [OK] をクリックします。