権限の説明
スーパー管理者、システム管理者、およびAmazon EMR Cluster - Management 権限を持つカスタムグローバルロールは、Amazon EMR クラスタを作成および管理できます。 これらのユーザーは、Amazon EMR 計算ソースの作成時にどのユーザーがクラスタを参照できるかを指定したり、クラスタのクラスタ管理者を指定したりすることもできます。
クラスタ管理者は、自分が担当するクラスタを管理できます。
Compute Source Management - Create Custom グローバルロールを持つユーザーは、Amazon EMR 計算ソースの作成時に、使用権限を持つ Amazon EMR クラスタを選択できます。
Amazon EMR クラスタの作成
Dataphin ホームページの上部メニューバーで、[計画] > [計算ソース] を選択します。
[計算ソース] ページで、[Amazon EMR クラスタの管理] をクリックします。
[Amazon EMR クラスタの管理] ダイアログボックスで、[+ Amazon EMR クラスタの作成] をクリックします。
[Amazon EMR クラスタの作成] ページで、次のパラメータを構成します。
基本情報
パラメータ
説明
[クラスタ名]
現在のクラスタの名前を入力します。 使用できる文字は、漢字、英字、数字、アンダースコア（_）、およびハイフン（-）のみです。 名前は 128 文字以内にする必要があります。
[クラスタ管理者]
現在のテナントから 1 人以上のメンバーを選択し、現在のクラスターのクラスター管理者として設定します。クラスター管理者は、現在のクラスターを管理できます。これには、編集、履歴バージョンの表示、削除操作などが含まれます。
[説明] (オプション)
現在のクラスタの簡単な説明を入力します。 説明は 128 文字以内にする必要があります。
クラスタセキュリティ制御
利用可能なメンバー: コンピュートソースの作成時に現在のクラスターの構成情報を参照できるユーザーを指定します。[「コンピューティングソースの作成」権限を持つロール] または [指定ユーザー] を選択できます。
[コンピューティングソースの作成 権限を持つロール]：デフォルトで選択されています。
[指定ユーザー]: 1 つ以上の個人アカウントとグループを選択できます。
クラスタ構成
パラメータ
説明
[プライマリノードパブリック DNS]
パブリック DNS を介して VPC プライベート DNS が取得されます。 Hive と Spark はどちらもプライベート DNS を介して接続します。 フォーマットは
ec2-<public_ip>.<region>.compute.amazonaws.comです。[キーファイル (*.pem)]
プライマリノード EC2 にアクセスするためのキーペア (EMR クラスタの作成時に設定されたキーペア)。
[core-site.xml]
関連するクラスタ構成ファイルを自分でアップロードするか、[クラスタ構成の取得] をクリックして (最初にプライマリノードパブリック DNS を入力し、キーファイルをアップロードする必要があります)、プライマリノードから関連ファイルをダウンロードできます。
[yarn-site.xml]
[hive-site.xml]
[hdfs-site.xml]
[クラスタストレージ]
現在、[HDFS] のみがサポートされています。
[メタデータ取得方法]
[HMS] または [Amazon Glue] を選択できます。
[HMS]: HMS がデフォルトで選択されています。
[Amazon Glue]: Amazon Glue を選択した後、Glue リージョンコード、Glue AccessKey ID、および Glue AccessKey Secret を構成する必要があります。
[Glue リージョンコード]: Amazon Glue のリージョンコード (ap-northeast-3、us-east-1、us-west-1 など) を入力します。
[Glue AccessKey ID] および [Glue AccessKey Secret]: Amazon Glue にアクセスするための AccessKey ID と AccessKey Secret を入力します。
[Hive JDBC URL]
Hive の JDBC 接続アドレスを入力するか、[自動取得] 接続アドレスを入力します (最初にプライマリノードパブリック DNS を入力し、キーファイルをアップロードする必要があります)。 Hive JDBC URL のフォーマットは
jdbc:hive2//host1:port1,host2:post2/です。 データベース名を入力する必要はありません。[Spark SQL]
[有効] または [無効] を選択します。 有効にする場合は、[Spark JDBC URL] を構成する必要があります。
[Spark JDBC URL]
Spark の JDBC 接続アドレスを入力します。 フォーマットは
jdbc:hive2//host1:port1/またはjdbc:kyuubi://host1:port1/です。 データベース名を入力する必要はありません。説明このパラメータは、Spark SQL が有効になっている場合にのみ構成する必要があります。
[ユーザー名]
Hive または Spark に指定されたユーザー名。 このユーザー名は、JDBC の
usernameとして設定されます。[Spark ローカルクライアント]
[有効] または [無効] を選択します。 有効にする場合は、Spark クライアントファイルをアップロードする必要があります。
説明Spark 公式 Web サイト から対応するバージョンの Spark クライアントをダウンロードするか、独自のクライアントを提供してください (コミュニティバージョンと同じディレクトリ構造で、Hadoop クライアントを含む必要があります)。 完全な圧縮パッケージ (.tgz または .zip 形式) をアップロードします。 Dataphin は、アップロードされたクライアントを使用してスケジューリングクラスタ経由でジョブを送信し、ジョブのライフサイクル全体を管理できるようにします。
[接続テスト] をクリックします。 接続テストが成功したら、[保存] をクリックして Amazon EMR クラスタの作成を完了します。
Amazon EMR クラスタの管理
Dataphin ホームページの上部メニューバーで、[計画] > [計算ソース] を選択します。
[計算ソース] ページで、[Amazon EMR クラスタの管理] をクリックします。
[Amazon EMR クラスタの管理] ダイアログボックスで、Amazon EMR クラスタリストを表示します。 クラスタ名、クラスタ管理者、関連付けられている計算ソース、作成情報、および変更情報が表示されます。
[関連付けられている計算ソース]: 関連付けられている計算ソースの総数が表示されます。
アイコンをクリックして、関連付けられている計算ソースのリストを表示します。 計算ソース名をクリックすると、計算ソースページに移動します。[作成情報]: 作成者と作成時刻が記録されます。
[変更情報]: 現在のクラスタを最後に編集したユーザーのユーザー名と変更時刻が記録されます。
説明計算タスクは 1 つのクラスタでのみ実行できます。 異なる Amazon EMR クラスタのデータを結合することはできません。
(オプション) 検索ボックスにクラスタ名を入力して、あいまい検索を実行できます。
Amazon EMR クラスタリストの [アクション] 列で、ターゲットクラスタに関連する管理操作を実行します。 サポートされている操作は次のとおりです。
操作
説明
表示
アイコンをクリックして、対象のクラスターの [アクション] 列でクラスターの現在のバージョンの詳細情報を表示します。 Amazon EMR クラスター管理 権限を持つユーザーは、クラスター構成ファイルをダウンロードできます。編集
ターゲットクラスタの [アクション] 列にある アイコンをクリックして、[Amazon EMR クラスタの編集] ページを開きます。 [Amazon EMR クラスタの編集] ページで既存の構成を変更できます。 変更後、[保存] をクリックし、ポップアップダイアログボックスに [変更の説明] を入力して、[OK] をクリックします。クローン
アイコンを、対象クラスターの [アクション] 列でクリックします。システムは現在のクラスターからすべてのデータを自動的にクローンし、[Amazon EMR クラスターの作成] ページを開きます。そこで、既存の構成に基づいて変更を加えることができます。履歴バージョン
ターゲットクラスタの [アクション] 列にある アイコンをクリックし、[履歴][表示][比較] を選択します。 ダイアログボックスには、バージョン名、変更者、変更の説明など、現在のクラスタの各バージョンの情報が表示されます。 履歴バージョンで [表示] 操作と [比較] 操作を実行できます。表示
: ターゲットバージョンの [アクション] 列にある アイコンをクリックして、[Amazon EMR クラスタの表示] ページに移動し、クラスタの現在のバージョンの詳細情報を表示します。 Amazon EMR クラスタ管理権限を持つユーザーは、クラスタ構成ファイルをダウンロードできます。比較:
アイコンを対象バージョンの [操作] 列でクリックすると、バージョン比較ページに移動します。比較ページのドロップダウンリストから異なるバージョンを選択できます。デフォルトでは、Amazon EMR クラスターの現在のバージョンが対象バージョンと比較されます。
削除
説明現在の Amazon EMR クラスタは、その下に関連付けられている計算ソースがない場合にのみ削除できます。
削除したクラスタは復元できません。
ターゲットクラスタの [アクション] 列にある アイコンをクリックし、[削除] を選択して、ポップアップダイアログボックスで [OK] をクリックします。