Data Platform を使用して、ジョブの編集やワークフローのスケジューリングを行うためのプロジェクトを作成・管理します。プロジェクトをクラスターに関連付けたり、メンバーを追加したり、グローバル変数を設定したりできます。
前提条件
クラスターが作成されました。詳細については、「クラスターの作成」をご参照ください。
制限事項
プロジェクトの作成、プロジェクトメンバーの追加、クラスターリソースの追加は Alibaba Cloud アカウント (root ユーザー) のみが実行できます。そのため、[Create Project]、Users、および [Cluster Settings] 機能は RAM ユーザーには表示されず、Alibaba Cloud アカウントのオーナーにのみ表示されます。
プロジェクトの作成
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
Alibaba Cloud アカウントではアカウント配下のすべてのプロジェクトを表示できます。RAM ユーザーは開発権限が付与されたプロジェクトのみを表示できます。これらの権限を付与するには、Alibaba Cloud アカウントのオーナーが「ユーザー管理」の手順に従う必要があります。
-
-
Projects ページの右上隅にある [Create Project] をクリックします。
-
[Create Project] ダイアログボックスで、Project Name と Project Description を入力し、[Select Resource Group] リストから既存のリソースグループを選択します。
説明リソースグループを指定しない場合、プロジェクトはデフォルトリソースグループに追加されます。リソースグループの詳細については、「リソースグループの使用」をご参照ください。
-
Create をクリックします。
新規プロジェクトは Projects ページで表示・管理できます。
プロジェクトの基本情報
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
-
-
対象プロジェクトのプロジェクト管理ページに移動します。
-
Projects ページで、対象プロジェクトの ID をクリックします。
-
Project Management タブをクリックします。
-
-
プロジェクトの基本情報を表示します。
Basic Information ページでは、プロジェクト名、作成時刻、作成者、説明を確認できます。
一般設定
セキュリティモードは、Data Platform で実行されるジョブの権限を制御します。
セキュリティモードを有効化した後は、ジョブを送信する EMR ユーザーを実行中のクラスターのユーザーリストに追加する必要があります。詳細については、「ユーザーの管理」をご参照ください。セキュリティモードが有効なプロジェクトでジョブを送信する場合、Alibaba Cloud アカウントから送信されたジョブはデフォルトの hadoop ユーザーとして実行され、RAM ユーザーから送信されたジョブは RAM ユーザーと同じ名前の EMR ユーザーとして実行されます。
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
-
-
対象プロジェクトのプロジェクト管理ページに移動します。
-
Projects ページで、対象プロジェクトの ID をクリックします。
-
Project Management タブをクリックします。
-
-
セキュリティモードを設定します。
-
左側ナビゲーションウィンドウで [General Configuration] をクリックします。
-
ジョブ要件に応じて、セキュリティモードを有効または無効にします。
重要セキュリティモードを有効化すると、Shell ジョブおよび Hive ジョブは実行できなくなります。
-
ユーザー管理
RAM ユーザーのプロジェクトに対する開発権限を付与または取り消します。
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
-
-
対象プロジェクトのプロジェクト管理ページに移動します。
-
Projects ページで、対象プロジェクトの ID をクリックします。
-
Project Management タブをクリックします。
-
-
左側ナビゲーションウィンドウで Users をクリックします。
-
Users ページで、ユーザーを追加または削除します。
-
ユーザーを追加します。
-
右上隅にある Add User をクリックします。
-
Add User ダイアログボックスで、追加する RAM ユーザーを選択し、Add をクリックします。
ユーザーを追加すると、その情報が Users ページに表示されます。
説明追加された RAM ユーザーはプロジェクトメンバーとなり、プロジェクト内のジョブおよびワークフローを表示・開発できるようになります。
-
-
ユーザーを削除します。
Users ページで、削除対象のユーザーを見つけ、その行にある 削除 をクリックします。
-
クラスター設定
プロジェクト内のジョブを実行できるように、クラスターをプロジェクトに関連付けます。
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
-
-
対象プロジェクトのプロジェクト管理ページに移動します。
-
Projects ページで、対象プロジェクトの ID をクリックします。
-
Project Management タブをクリックします。
-
-
左側ナビゲーションウィンドウで [Cluster Settings] をクリックします。
-
[Cluster Settings] ページでは、以下の操作を実行できます。
-
クラスターを追加します。
-
右上隅にある [Add Cluster] をクリックします。
-
[Add Cluster] ダイアログボックスで、リソースグループおよびクラスター情報を選択します。
Cluster ドロップダウンリストから、サブスクリプションクラスターまたは従量課金クラスターを選択します。クラスターテンプレートから作成されたクラスターはサポートされていません。
-
OK をクリックします。
新しいクラスターが [Cluster Settings] ページに表示されます。
-
-
クラスター構成を変更します。
-
対象クラスターを見つけ、その行にある [Modify Configuration] をクリックします。
-
[Modify Configuration] ダイアログボックスで、このクラスターへのジョブ送信に関するキュー、ユーザー情報、クライアントホワイトリストを設定します。
パラメーター
説明
[デフォルトジョブ送信ユーザー]
プロジェクトから選択したクラスターにジョブを送信する際のデフォルトユーザーです。デフォルト値は
hadoopです。デフォルトユーザーは 1 つのみ設定できます。[デフォルトジョブ送信キュー]
プロジェクトから選択したクラスターにジョブを送信する際のデフォルトキューです。デフォルト値は
defaultです。[ジョブ送信ユーザー ホワイトリスト]
ジョブの送信が許可されたユーザーです。複数のユーザーを指定する場合は、カンマ (,) で区切ります。
[ジョブ送信キュー ホワイトリスト]
このプロジェクトからのジョブを実行できる、選択したクラスター上のキューです。複数のキューを指定する場合は、カンマ (,) で区切ります。
[クライアント ホワイトリスト]
ジョブを送信できるクライアントです。マスターノードまたはゲートウェイノードを使用できます。ECS インスタンス上に構築した独自のゲートウェイは、ここで設定できません。
-
OK をクリックします。
-
-
クラスターの関連付けを解除します。
[Cluster Settings] ページで、対象クラスターを見つけ、その行にある 削除 をクリックします。
-
変数定義
プロジェクト内のジョブがグローバル変数として参照できるプロジェクトレベルのカスタム変数を定義します。
-
Data Platform の [Projects] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンとリソースグループを選択します。
-
Data Development タブをクリックします。
-
-
対象プロジェクトのプロジェクト管理ページに移動します。
-
Projects ページで、対象プロジェクトの ID をクリックします。
-
Project Management タブをクリックします。
-
-
左側ナビゲーションウィンドウで [Variable Definition] をクリックします。
-
[Variable Definition] ページで、カスタム変数を追加または削除できます。
-
カスタム変数を追加します。
-
右上隅にある Add をクリックします。
-
[Add Custom Variable] ダイアログボックスで、[Variable Name] と Variable Value を入力します。値を暗号化する場合は、[Set as Password] オプションを選択します。
ジョブ内では、
${VariableName}形式で変数を参照します。たとえば、名前がENV_ABC、値が12345の変数を追加し、[Set as Password] を選択しなかった場合、Shell ジョブの内容は次のようになります。echo ${ENV_ABC}出力結果は次のとおりです。
12345この設定は、次のスクリプトを実行することと同等です。
export ENV_ABC=12345 -
OK をクリックします。
新しい変数が [Variable Definition] ページに表示されます。
-
-
カスタム変数を削除します。
対象の変数を見つけ、その行にある 削除 をクリックします。
-