Lindorm 分散処理システム (LDPS) を使用して、Lindorm コンソールで Spark ジョブを作成、モニター、および停止します。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
ご利用の Lindorm インスタンスに対して LDPS が有効化されていること。詳細については、「LDPS の有効化と構成の変更」をご参照ください。
開発済みの Spark ジョブ — Java ジョブ または Python ジョブ のいずれか。
ジョブファイルが HDFS または OSS にアップロード済みであること。詳細については、「Lindorm コンソールでのファイルアップロード」をご参照ください。
ジョブ管理画面への移動
すべてのジョブ操作は、コンソール内の同一の場所から開始されます。ジョブの作成、表示、または停止を行う前に、以下の手順を実行してください。
Lindorm コンソール にログインします。
左上隅から、ご利用のインスタンスがデプロイされているリージョンを選択します。
インスタンス ページで、インスタンス ID をクリックするか、操作 列の 管理 をクリックします。
左側のナビゲーションウィンドウで、コンピュートエンジン をクリックします。
Spark ジョブの作成
ジョブ管理 タブをクリックし、ジョブの作成 をクリックします。
ジョブの作成 ダイアログボックスで、ジョブ名を入力し、ジョブタイプを選択します。
ジョブテンプレートで以下のパラメーターを構成します。その他のパラメーターはすべてデフォルト値のままとします。ジョブファイルが OSS に保存されている場合は、
configsに以下のエントリを追加します。パラメーター 説明 tokenコンピューティングリソース用の認証トークンです。取得方法については、「データベース接続」ページで コンピュートエンジン タブをクリックしてください。 mainResourceジョブ用の JAR パッケージまたは Python ファイルの OSS または HDFS 上のパスです。 mainClassJAR 形式の Spark ジョブのエントリポイントとなるクラスです。 argsmainClassに渡す引数です。configsSpark ジョブのシステムパラメーターです。ジョブファイルが OSS に保存されている場合は、以下の OSS 固有のパラメーターも構成する必要があります。 パラメーター 説明 spark.hadoop.fs.oss.endpointSpark ジョブが OSS に保存されているパスです。 spark.hadoop.fs.oss.accessKeyIdOSS へのアクセスに使用する AccessKey ID です。詳細については、「AccessKey ペアの取得」をご参照ください。 spark.hadoop.fs.oss.accessKeySecretOSS へのアクセスに使用する AccessKey Secret です。詳細については、「AccessKey ペアの取得」をご参照ください。 spark.hadoop.fs.oss.implorg.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemを指定します。右上隅の 保存 をクリックします。
右上隅の 実行 をクリックします。
Spark ジョブの詳細表示
ジョブ タブをクリックします。このタブには、以下の情報とともにすべてのジョブが一覧表示されます。
| 項目 | 説明 |
|---|---|
| JobId | Spark ジョブの一意な識別子です。 |
| AppName | Spark ジョブの名前です。 |
| WebUI アドレス | Spark Web UI の URL です。URL をコピーし、ブラウザで開いて LindormTable のユーザー名とパスワードでログインすると、ジョブのステージ、エグゼキュータのステータス、およびログを確認できます。詳細については、「Spark ジョブに関する情報の表示」をご参照ください。 |
| ステータス | Spark ジョブのステータスです。 |
| 詳細 | ジョブステータスに関する追加情報です。 |
| 操作 | ジョブに対して実行可能な操作です。 |
LindormTable のデフォルトのユーザー名とパスワードは、「データベース接続」ページの ワイドテーブルエンジン タブに記載されています。
Spark ジョブの終了
起動中 または 実行中 の状態にあるジョブのみ終了できます。ジョブを終了しても、Lindorm インスタンスには影響しません。
ジョブ タブで対象のジョブを見つけ、操作 列の ジョブの停止 をクリックします。