権限
スーパー管理者、システム管理者、および Amazon EMR クラスター - 管理 権限を含むカスタムグローバルロールを持つユーザーは、Amazon EMR クラスターを作成および管理できます。これらのユーザーは、Amazon EMR 計算ソースの作成時にクラスターを参照できるユーザーを指定し、クラスター管理者を割り当てることもできます。
クラスター管理者は、自身が担当するクラスターを管理できます。
計算ソース管理 - カスタム作成 のグローバルロールを持つユーザーは、Amazon EMR 計算ソースを作成する際に、使用権限のある Amazon EMR クラスターを選択できます。
Amazon EMR クラスターの作成
Dataphin ホームページのトップメニューバーで、[プランニング] ＞ [コンピュートソース] を選択します。
[計算ソース] ページで、[Amazon EMR クラスターの管理] をクリックします。
[Amazon EMR クラスターの管理] ダイアログボックスで、[+Amazon EMR クラスターの作成] をクリックします。
[Amazon EMR クラスターの作成] ページで、次のパラメーターを設定します。
基本情報
パラメーター
説明
クラスター名
クラスターの名前を入力します。名前には、中国語文字、英字、数字、アンダースコア (_)、ハイフン (-) を使用できます。名前は 128 文字以内にする必要があります。
クラスター管理者
現在のテナントから 1 人以上のメンバーを選択して、クラスターのクラスター管理者として指定します。クラスター管理者は、編集、履歴バージョンの表示、削除など、クラスターを管理できます。
説明 (任意)
クラスターの簡単な説明を入力します。説明は 128 文字以内にする必要があります。
クラスターのセキュリティコントロール
利用可能なメンバー： 計算ソースを作成する際にクラスターの構成を参照できるユーザーを指定します。[「計算ソースの作成」権限を持つロール] または [指定されたユーザー] を選択します。
[「計算ソースの作成」権限を持つロール]：デフォルトで選択されています。
[指定されたユーザー]：1 つ以上の個人アカウントとユーザーグループを選択します。
クラスター構成
パラメーター
説明
プライマリノードのパブリック DNS
VPC のプライベート DNS は、パブリック DNS を使用して取得されます。Hive と Spark はどちらもプライベート DNS を介して接続します。フォーマットは
ec2-{public_ip}.{region}.compute.amazonaws.comです。キーファイル (*.pem)
プライマリ EC2 ノードにアクセスするためのキーペアです。これは、EMR クラスターの作成時に設定されたキーペアです。
core-site.xml
クラスターの設定ファイルをアップロードするか、[クラスター構成の取得] をクリックしてプライマリノードからダウンロードします。設定ファイルをダウンロードする前に、プライマリノードのパブリック DNS を入力し、キーファイルをアップロードする必要があります。
yarn-site.xml
hive-site.xml
hdfs-site.xml
クラスターストレージ
現在、[HDFS] のみがサポートされています。
メタデータ取得方法
[HMS] または [Amazon Glue] を選択します。
[HMS]：デフォルトで選択されています。
[Amazon Glue]：Amazon Glue を選択した場合は、Glue リージョンコード、Glue AccessKey ID、および Glue AccessKey Secret も設定する必要があります。
Glue リージョンコード：Amazon Glue のリージョンコード (ap-northeast-3、us-east-1、us-west-1 など) を入力します。
Glue AccessKey ID、Glue AccessKey Secret：Amazon Glue にアクセスするための AccessKey ID と AccessKey Secret を入力します。
Hive JDBC URL
Hive の JDBC 接続アドレスを入力するか、[自動取得] をクリックしてアドレスを自動的に取得します。自動取得するには、まずプライマリノードのパブリック DNS を入力し、キーファイルをアップロードする必要があります。Hive JDBC URL のフォーマットは
jdbc:hive2//host1:port1,host2:post2/です。データベース名は入力しないでください。Spark SQL
[有効化] または [無効化] を選択します。[有効化] を選択した場合は、[Spark JDBC URL] も設定する必要があります。
Spark JDBC URL
Spark の JDBC 接続アドレスを入力します。フォーマットは
jdbc:hive2//host1:port1/またはjdbc:kyuubi://host1:port1/です。データベース名は入力しないでください。説明このパラメーターは、Spark SQL が有効になっている場合にのみ必須です。
ユーザー名
Hive または Spark の指定されたユーザー名です。このユーザー名は JDBC の
usernameとして設定されます。Spark ローカルクライアント
[有効化] または [無効化] を選択します。[有効化] を選択した場合は、Spark クライアントファイルをアップロードします。
説明Spark 公式ウェブサイトから対応するバージョンの Spark クライアントをダウンロードするか、独自のクライアントを提供してください。クライアントはコミュニティバージョンと同じディレクトリ構造を持ち、Hadoop クライアントを含んでいる必要があります。完全な圧縮パッケージを .tgz または .zip フォーマットでアップロードします。Dataphin は、アップロードされたクライアントを使用して、スケジューリングクラスター経由でジョブを送信します。これにより、ジョブのライフサイクル全体の管理が可能になります。
[接続テスト] をクリックします。テストが成功したら、[保存] をクリックして Amazon EMR クラスターを作成します。
Amazon EMR クラスターの管理
Dataphin ホームページの上部のメニューバーで、[プランニング] > [計算ソース] を選択します。
[計算ソース] ページで、[Amazon EMR クラスターの管理] をクリックします。
[Amazon EMR クラスターの管理] ダイアログボックスで、Amazon EMR クラスターのリストを表示できます。このリストには、クラスター名、クラスター管理者、関連する計算ソース、作成情報、変更情報が含まれます。
関連する計算ソース：関連する計算ソースの総数を表示します。
アイコンをクリックすると、関連する計算ソースのリストが表示されます。計算ソース名をクリックすると、その計算ソースのページが開きます。作成情報：クラスターを作成したユーザーと作成時間を表示します。
変更情報：クラスターを最後に変更したユーザーと変更時間を表示します。
説明計算タスクは 1 つのクラスターでのみ実行できます。異なる Amazon EMR クラスターのデータを結合することはできません。
(任意) 検索ボックスにクラスター名を入力して、あいまい検索を実行します。
Amazon EMR クラスターリストの [操作] 列で、クラスターに対する管理操作を実行できます。サポートされている操作は次のとおりです。
操作
説明
表示
対象のクラスターの [操作] 列で、
アイコンをクリックして現在のクラスターバージョンの詳細を表示します。Amazon EMR クラスター - 管理 権限を持つユーザーは、クラスターの設定ファイルをダウンロードできます。編集
対象のクラスターの [操作] 列で、
アイコンをクリックして [Amazon EMR クラスターの編集] ページを開きます。このページで構成を変更します。完了したら、[保存] をクリックします。表示されるダイアログボックスで、[変更内容の説明] を入力し、[OK] をクリックします。クローン
対象のクラスターの [操作] 列で、
アイコンをクリックします。システムはクラスターからすべてのデータを自動的にクローンし、[Amazon EMR クラスターの作成] ページを開きます。その後、クローンされた構成を変更できます。履歴バージョン
対象のクラスターの [操作] 列で、
アイコンをクリックし、[履歴] を選択します。ダイアログボックスが表示され、バージョン名、変更者、変更内容の説明など、各クラスターバージョンの情報が表示されます。履歴バージョンを [表示] および [比較] できます。表示：対象バージョンの [操作] 列で、
アイコンをクリックして [Amazon EMR クラスターの表示] ページに移動します。このページでは、選択したクラスターバージョンの詳細を表示できます。Amazon EMR クラスター - 管理 権限を持つユーザーは、クラスターの設定ファイルをダウンロードできます。比較：対象バージョンの [操作] 列で、
アイコンをクリックして [バージョン比較] ページに移動します。このページで、ドロップダウンリストから別のバージョンを選択して比較します。デフォルトでは、Amazon EMR クラスターの現在のバージョンが対象バージョンと比較されます。
削除
説明クラスターは、関連する計算ソースがない場合にのみ削除できます。
削除されたクラスターは復元できません。
対象のクラスターの [操作] 列で、
アイコンをクリックし、[削除] を選択します。表示されるダイアログボックスで、[OK] をクリックします。