ストリームジョブ運用管理プラットフォームでは、ジョブとそれに必要なリソースを送信・管理できます。異なるワークスペース間でのジョブとリソースの隔離をサポートし、ユーザー権限管理機能を提供します。本トピックでは、プラットフォームの基本機能について説明し、DPI エンジン Jar ジョブ、DPI エンジン SQL ジョブ、DPI エンジン Python ジョブの送信例を通して、基本的なワークフローを解説します。
前提条件
DPI エンジンを有効化していること。
基本機能
ジョブ管理
ジョブの作成、変更、削除。
フォルダ内でのジョブの整理と管理。
ジョブの複数バージョンの管理。
サポートされるジョブタイプは、ストリームエンジン JAR、ストリームエンジン SQL、ストリームエンジン Python です。
同一ワークスペース内または異なるワークスペース間でのジョブの移動とコピー。
依存関係管理
リソースの作成、変更、削除。
フォルダ内でのリソースの整理と管理。
リソースの複数バージョンの管理。
Jar アプリ、Jar ライブラリ、設定ファイル、Python アプリ、Python ライブラリ、データファイルの 6 種類のリソースタイプをサポートしています。それぞれの目的は次のとおりです：
リソースタイプ
必須ファイルタイプ
目的
Jar アプリ
.jarDPI エンジン JAR ジョブのメインプログラムです。
Jar ライブラリ
.jarJar の依存関係です。どのジョブタイプでも使用できます。
設定ファイル
.txt、.xml、.propertiesなどのテキストファイルタイプ。設定ファイルです。DPI エンジン JAR ジョブのメインプログラムコードによって読み取られ、構成情報を取得します。
Python アプリ
.pyストリームエンジン Python ジョブのメインプログラムです。
Python ライブラリ
.pyまたは.tar.gzや.zipなどの Python プログラムを含む圧縮パッケージ。DPI エンジン Python ジョブの Python 依存関係です。
データファイル
.zipや.tar.gzなど、データファイルを含む圧縮パッケージ。データファイルは.txtなどのフォーマットが可能です。ストリームエンジン Python ジョブのデータ依存関係です。
同一ワークスペース内または異なるワークスペース間でのリソースおよびリソースフォルダの移動とコピー。
リソースのダウンロードと設定ファイルリソースのオンライン表示。
クラスター管理
スタンドアロンモードでジョブを作成するために使用できる DPI エンジンクラスターを表示できます。
ユーザー管理
ストリームジョブ運用管理プラットフォームにログインできるすべてのユーザーを表示できます。
ワークスペース管理
ワークスペースの表示、作成、削除、変更ができます。ジョブとリソースは、異なるワークスペース間で隔離され、独立しています。
ロール管理
ロール情報の表示、作成、削除、変更ができます。
ロールは権限を定義するために使用されます。root ユーザーは最高の管理者権限を持ちます。root 以外のユーザーが操作権限を取得するには、ワークスペースでロールを割り当てられる必要があります。ロールは、root ユーザーまたは メンバー管理 モジュールで権限を付与された別のユーザーによって割り当てられます。
メンバー管理
現在のワークスペースにおけるメンバー情報の表示、作成、削除、変更ができます。メンバー情報は、ユーザーがワークスペースで操作を実行するために持つ権限を定義します。
ストリームジョブ運用管理プラットフォームへのログイン
ユーザー名とパスワードの取得
Lindorm コンソールにログインします。ページの左上隅で、インスタンスのリージョンを選択します。Instances ページで、対象インスタンスの ID をクリックするか、インスタンスの Actions 列にある View Instance Details をクリックします。
左側のナビゲーションウィンドウで、Database Connections をクリックします。
DPI エンジンタブをクリックして、デフォルトのユーザー名とパスワードを取得します。
プラットフォームへのログイン
左側のナビゲーションウィンドウで、[ストリームエンジン] をクリックします。
[ストリームジョブ運用管理プラットフォームへ] をクリックします。
説明ストリームジョブ運用管理プラットフォームは現在、招待プレビュー段階です。この機能を使用したい場合は、Lindorm のテクニカルサポート (DingTalk ID：s0s3eg3) に連絡してアクセスをリクエストしてください。
ユーザー名とパスワードを入力してプラットフォームにログインします。
使用例
ストリームエンジン Jar ジョブの送信
リソースの準備
左側のナビゲーションウィンドウで、[依存関係管理] をクリックします。
対象の依存関係フォルダを右クリックし、[リソースの作成] を選択して、Jar アプリ、Jar ライブラリ、設定ファイルなどの必要なリソースをアップロードします。
ジョブの作成
左側のナビゲーションウィンドウで、[ジョブ管理] をクリックします。
を選択します。
必須パラメーターを入力します。
説明ジョブ名には、漢字、大文字、小文字、ハイフン (-)、アンダースコア (_) を使用できます。連続する 2 つのスペースを含めることはできません。
[送信] をクリックします。
ジョブバージョンの追加
対象ジョブの名前をクリックして、詳細ページに移動します。
[追加] をクリックして、ジョブバージョンの情報を設定します。組み込みリソースはシステムが提供する依存関係であり、アップロードせずに直接使用できます。
メインプログラムで設定ファイルを使用するには、絶対パスまたは相対パスを使用できます：
絶対パスは固定です：
/home/hadoop/cluster-data/lstream/user-config/ConfigFileName。相対パスの場合、設定ファイルはメインプログラム Jar の
resourcesフォルダにあるかのように扱われます。getClassLoader().getResourceAsStream(ConfigFileName)などのメソッドを使用してアクセスできます。
[バージョン作成] をクリックします。
ジョブバージョンの公開
対象のバージョンの[操作]列でをクリックして、ジョブバージョンを公開します。
ジョブの開始
対象バージョンの[アクション]列にあるをクリックして、ジョブを開始します。
[ジョブの開始] ダイアログボックスで、既存のセーブポイントまたはチェックポイントパスから開始して以前の実行状態を再開するかどうかを選択します。
重要ジョブには複数のバージョンを設定できますが、実行状態にできるのは 1 つのバージョンのみです。
ジョブの停止
対象のバージョンの [アクション] 列の をクリックして、実行中のジョブを停止します。 セーブポイントをトリガーして、次回のジョブ開始に備えて現在の実行状態を保存することもできます。
ジョブバージョンの削除
対象バージョンの [操作] 列で、 を選択します。
ストリームエンジン SQL ジョブの送信
リソースの準備
左側のナビゲーションウィンドウで、[依存関係管理] をクリックします。
対象の依存関係フォルダを右クリックし、[リソースの作成] を選択して、ユーザー定義関数 (UDF) などの必要な Jar ライブラリリソースをアップロードします。
ジョブの作成
左側のナビゲーションウィンドウで、[ジョブ管理] をクリックします。
を選択します。
必須パラメーターを入力します。
説明ジョブ名には、漢字、大文字、小文字、ハイフン (-)、アンダースコア (_) を使用できます。連続する 2 つのスペースを含めることはできません。
[送信] をクリックします。
ジョブバージョンの追加
対象ジョブの名前をクリックして、詳細ページに移動します。
[追加] をクリックして、ジョブバージョンの情報を設定します。
ダイアログボックスでは、SQL 文の自動補完と構文ハイライトが提供されます。また、次の図に示すように、SQL 構文チェックもサポートしています：
[バージョン作成] をクリックします。
ジョブバージョンの公開
対象バージョンの [アクション] 列にある をクリックして、ジョブバージョンを公開します。
ジョブの開始
対象のバージョンの[アクション]列のをクリックして、ジョブを開始します。
[ジョブの開始] ダイアログボックスで、既存のセーブポイントまたはチェックポイントパスから開始して以前の実行状態を再開するかどうかを選択します。
重要ジョブには複数のバージョンを設定できますが、実行状態にできるのは 1 つのバージョンのみです。
ジョブの停止
対象バージョンの [操作] 列にある アイコンをクリックして、実行中のジョブを停止します。ジョブを停止する際に、現在の実行状態を保存するためのセーブポイントをトリガーするかどうかを選択できます。これにより、後でジョブを再開できます。
ジョブバージョンの削除
対象バージョンの [操作] 列で、 を選択してジョブバージョンを削除します。
ストリームエンジン Python ジョブの送信
リソースの準備
左側のナビゲーションウィンドウで、[依存関係管理] をクリックします。
対象の依存関係フォルダを右クリックし、[リソースの作成] を選択して、Python アプリ、Python ライブラリ、データファイルなどの必要なリソースをアップロードします。
ジョブの作成
左側のナビゲーションウィンドウで、[ジョブ管理] をクリックします。
を選択します。
必須パラメーターを入力します。
説明ジョブ名には、漢字、大文字、小文字、ハイフン (-)、アンダースコア (_) を使用できます。連続する 2 つのスペースを含めることはできません。
[送信] をクリックします。
ジョブバージョンの追加
対象ジョブの名前をクリックして、詳細ページに移動します。
[追加] をクリックして、ジョブバージョンの情報を設定します。組み込みリソースはシステムが提供する依存関係であり、アップロードせずに直接使用できます。
[バージョン作成] をクリックします。
ジョブバージョンの公開
対象のバージョンの[操作] 列にある アイコンをクリックして、ジョブバージョンを公開します。
ジョブの開始
対象のバージョンの [操作] 列にある をクリックしてジョブを開始します。
[ジョブの開始] ダイアログボックスで、既存のセーブポイントまたはチェックポイントパスから開始して以前の実行状態を再開するかどうかを選択します。
重要ジョブには複数のバージョンを設定できますが、実行状態にできるのは 1 つのバージョンのみです。
ジョブの停止
実行中のジョブを停止するには、対象のバージョンの [アクション] 列の アイコンをクリックします。セーブポイントをトリガーして、次回のジョブ開始のために現在の実行状態を保存することもできます。
ジョブバージョンの削除
対象バージョンの [操作] 列で、 を選択してジョブバージョンを削除します。