このトピックでは、Sparkジョブの作成、Sparkジョブの詳細の表示、およびSparkジョブの終了方法について説明します。
前提条件
LindormインスタンスでLindorm Distributed Processing System（LDPS）がアクティブ化されていること。 詳細については、「LDPSのアクティブ化と設定の変更」をご参照ください。
ジョブが開発されていること。 詳細については、「Javaでのジョブの作成」または「Pythonでのジョブの作成」をご参照ください。
開発したジョブがHDFSまたはObject Storage Service（OSS）にアップロードされていること。 詳細については、「Lindormコンソールでのファイルのアップロード」をご参照ください。
Sparkジョブの作成
Lindormコンソールにログインします。
ページの左上隅で、インスタンスがデプロイされているリージョンを選択します。
インスタンス一覧 ページで、管理するインスタンスのIDをクリックするか、インスタンスに対応する 管理[アクション] 列の をクリックします。
左側のナビゲーションペインで、[コンピュートエンジン] をクリックします。
[ジョブ管理] タブをクリックします。
[ジョブの作成] をクリックします。
[ジョブの作成] ダイアログボックスで、ジョブ名を指定し、ジョブの種類を選択します。
次の表に示すパラメーターをジョブテンプレートに基づいて設定します。 その他のパラメーターはデフォルト値のままにします。
パラメーター
説明
token
Sparkジョブを送信するときにコンピューティングリソースを認証するために使用されるトークン。 トークンを取得するには、Lindormコンソールで次の手順を実行します。 LindormインスタンスのIDをクリックします。 左側のナビゲーションペインで、[データベース接続] をクリックし、[コンピュートエンジン] タブをクリックします。
mainResource
ジョブのJARパッケージまたはPythonファイルがOSSまたはHDFSに格納されているパス。
mainClass
JAR Sparkジョブでプログラムのエントリポイントとして使用されるクラス。
args
mainClassパラメーターに渡されるパラメーター。
configs
Sparkジョブのシステムパラメーター。 ジョブがOSSにアップロードされている場合は、configsで次のパラメーターを設定する必要があります。
spark.hadoop.fs.oss.endpoint: SparkジョブがOSSに格納されているパス。
spark.hadoop.fs.oss.accessKeyId: OSSへのアクセスに使用されるAccessKey ID。 AccessKey IDはコンソールで取得できます。 詳細については、「AccessKeyペアの取得」をご参照ください。
spark.hadoop.fs.oss.accessKeySecret: OSSへのアクセスに使用されるAccessKeyシークレット。 AccessKeyシークレットはコンソールで取得できます。 詳細については、「AccessKeyペアの取得」をご参照ください。
spark.hadoop.fs.oss.impl: OSSへのアクセスに使用されるクラス。 値をorg.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemに設定します。
ページの右上隅にある [保存] をクリックします。
ページの右上隅にある [実行] をクリックします。
Sparkジョブの詳細の表示
Lindormコンソールにログインします。
ページの左上隅で、インスタンスがデプロイされているリージョンを選択します。
インスタンス一覧 ページで、管理するインスタンスのIDをクリックするか、インスタンスに対応する 管理[アクション] 列の をクリックします。
左側のナビゲーションペインで、[コンピュートエンジン] をクリックします。
[ジョブ] タブをクリックして、Sparkジョブの詳細を表示します。
Spark ジョブ情報
説明
JobId
SparkジョブのID。
AppName
Sparkジョブの名前。
Webui アドレス
Spark Web UIのアドレス。 Spark Web UIのアドレスをコピーし、ブラウザーのアドレスバーに貼り付けて、LindormTableのユーザー名とパスワードを使用してSpark Web UIにログインし、Sparkジョブの詳細を表示できます。 Spark Web UIページに表示される詳細については、「Sparkジョブに関する情報の表示」をご参照ください。
説明LindormTableのデフォルトのユーザー名とパスワードは、[データベース接続] ページの [ワイドテーブルエンジン] タブで取得できます。
ステータス
Sparkジョブのステータス。
詳細
Sparkジョブステータスの詳細。
アクション
Sparkジョブで実行できる操作。
Sparkジョブの終了
[開始中] または [実行中] 状態のSparkジョブのみ終了できます。
Sparkジョブの終了は、Lindormインスタンスには影響しません。
Lindormコンソールにログインします。
ページの左上隅で、インスタンスがデプロイされているリージョンを選択します。
インスタンス一覧 ページで、管理するインスタンスのIDをクリックするか、インスタンスに対応する 管理[アクション] 列の をクリックします。
左側のナビゲーションペインで、[コンピュートエンジン] をクリックします。
[ジョブ] タブをクリックします。
終了するSparkジョブを見つけ、ジョブに対応する [アクション] 列の [ジョブの停止] をクリックします。