このトピックでは、Realtime Compute for Apache Flink の開発コンソールで JAR ストリーミングデプロイメントと JAR バッチデプロイメントを作成して開始する方法について説明します。
前提条件
RAM ユーザーまたは RAM ロールに必要な権限が付与されていること。Realtime Compute for Apache Flink の開発コンソールに RAM ユーザーまたは RAM ロールを使用してアクセスする場合、この前提条件を満たす必要があります。 詳細については、「権限管理」をご参照ください。
Realtime Compute for Apache Flink ワークスペースが作成されていること。 詳細については、「Realtime Compute for Apache Flink をアクティブにする」をご参照ください。
ステップ 1：JAR パッケージを開発する
JAR パッケージは Realtime Compute for Apache Flink の管理コンソール では開発できません。そのため、オンプレミス環境で JAR ファイルを開発、コンパイル、パッケージ化する必要があります。 環境依存関係の構成方法、コネクタの使用方法、Object Storage Service (OSS) に保存されている追加の依存関係ファイルからのデータの読み取り方法については、「JAR ドラフトを開発する」をご参照ください。
JAR パッケージの開発時に使用する Flink のバージョンは、ステップ 3：JAR デプロイメントを作成する で選択したエンジンバージョンの Flink のバージョンと同じである必要があります。 依存関係パッケージのスコープに注意してください。
Realtime Compute for Apache Flink の開発コンソールで JAR ストリーミングデプロイメントと JAR バッチデプロイメントをすぐに開始できるように、後続の操作用にテスト JAR パッケージと入力データファイルが提供されています。 このテスト JAR パッケージは、入力データファイルに単語が出現する回数を収集するために使用されます。
テスト JAR パッケージ FlinkQuickStart-1.0-SNAPSHOT.jar をダウンロードします。
ソースコードを分析する場合は、パッケージ FlinkQuickStart.zip をダウンロードしてコードをコンパイルします。
入力データファイル Shakespeare をダウンロードします。
ステップ 2：テスト JAR パッケージと入力データファイルをアップロードする
ターゲットワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
Realtime Compute for Apache Flink 開発コンソールの左側のナビゲーションウィンドウで、[アーティファクト] をクリックします。
アーティファクトページの左上隅にある [アーティファクトのアップロード] をクリックし、テスト JAR パッケージと入力データファイルをアップロードします。
このトピックでは、ステップ 1 でダウンロードしたテスト JAR パッケージ FlinkQuickStart-1.0-SNAPSHOT.jar と入力データファイル Shakespeare をアップロードします。 ファイルのディレクトリについては、「アーティファクトを管理する」をご参照ください。
ステップ 3：JAR デプロイメントを作成する
ストリーミングデプロイメント
Realtime Compute for Apache Flink 開発コンソールの左側のナビゲーションウィンドウで、 を選択します。 デプロイメントページの左上隅で、[デプロイメントの作成] > [JAR デプロイメント] を選択します。
[JAR デプロイメントの作成] ダイアログボックスで、パラメーターを構成します。 次の表にパラメーターを示します。
パラメーター
説明
例
デプロイメントモード
JAR デプロイメントのデプロイに使用するモード。 ストリームモードを選択します。
ストリームモード
デプロイメント名
JAR デプロイメントの名前。
flink-streaming-test-jar
エンジンバージョン
現在のデプロイメントで使用されるエンジンバージョン。
[推奨] または [安定] ラベルが付いたエンジンバージョンを使用することをお勧めします。 これらのラベルが付いたバージョンは、より高い信頼性とパフォーマンスを提供します。 詳細については、「リリースノート」および「エンジンバージョン」をご参照ください。
vvr-8.0.9-flink-1.17
JAR URI
JAR パッケージ。 ステップ 2 でアップロードしたテスト JAR パッケージ FlinkQuickStart-1.0-SNAPSHOT.jar を使用するか、JAR URI フィールドの右側にある
アイコンをクリックして、テスト JAR パッケージを選択してアップロードします。アーティファクト 内の JAR ファイルを選択することもできます。
説明Ververica Runtime (VVR) 8.0.6 以降を使用する Realtime Compute for Apache Flink では、ワークスペースのアクティブ化時に Realtime Compute for Apache Flink ワークスペースに関連付けられている OSS バケットにのみアクセスできます。 その他の OSS バケットはサポートされていません。
-
エントリポイントクラス
JAR アプリケーションのエントリポイントクラス。 JAR パッケージのメインクラスを指定しない場合は、エントリポイントクラスフィールドに標準ディレクトリを入力します。
この例では、テスト JAR パッケージにはストリーミングデプロイメントコードとバッチデプロイメントコードの両方が含まれています。 したがって、このパラメーターを構成して、ストリーミングデプロイメントのプログラムエントリポイントを指定する必要があります。
org.example.WordCountStreaming
エントリポイントのメイン引数
main メソッドで呼び出すパラメーター。
この例では、入力データファイル Shakespeare が格納されているディレクトリを入力します。
--input oss://<関連付けられた OSS バケット名>/artifacts/namespaces/<ワークスペース名>/Shakespeare[アーティファクト] ページに移動し、入力データファイル Shakespeare の名前をクリックして、完全なディレクトリをコピーできます。
デプロイメントターゲット
デプロイメントがデプロイされる宛先です。[ キュー ] または [ セッション クラスター ] をドロップダウンリストから選択します。本番環境ではセッション クラスターを使用しないことをお勧めします。詳細については、「キューを管理する」および「手順 1：セッション クラスターを作成する」をご参照ください。
重要セッションクラスターにデプロイされたデプロイメントのモニタリングメトリックは表示できません。 セッションクラスターは、モニタリングおよびアラート機能と Autopilot 機能をサポートしていません。 セッションクラスターは、開発環境とテスト環境に適しています。 本番環境ではセッションクラスターを使用しないことをお勧めします。 詳細については、「デプロイメントをデバッグする」をご参照ください。
default-queue
その他のデプロイメントパラメーターについては、「デプロイメントを作成する」をご参照ください。
[デプロイ] をクリックします。
バッチデプロイメント
Realtime Compute for Apache Flink 開発コンソールの左側のナビゲーションウィンドウで、 を選択します。 デプロイメントページの左上隅で、[デプロイメントの作成] > [JAR デプロイメント] を選択します。
[JAR デプロイメントの作成] ダイアログボックスで、パラメーターを構成します。 次の表にパラメーターを示します。
パラメーター
説明
例
デプロイメントモード
JAR デプロイメントのデプロイに使用するモード。 バッチモードを選択します。
バッチモード
デプロイメント名
JAR デプロイメントの名前。
flink-batch-test-jar
エンジンバージョン
現在のデプロイメントで使用されるエンジンバージョン。
[推奨] または [安定] ラベルが付いたエンジンバージョンを使用することをお勧めします。 これらのラベルが付いたバージョンは、より高い信頼性とパフォーマンスを提供します。 詳細については、「リリースノート」および「エンジンバージョン」をご参照ください。
vvr-8.0.9-flink-1.17
JAR URI
JAR パッケージ。 ステップ 2 でアップロードしたテスト JAR パッケージ FlinkQuickStart-1.0-SNAPSHOT.jar を使用するか、JAR URI フィールドの右側にある
アイコンをクリックして、テスト JAR パッケージを選択してアップロードします。-
エントリポイントクラス
プログラムのエントリポイントクラス。 JAR パッケージのメインクラスを指定しない場合は、[エントリポイントクラス] フィールドに標準ディレクトリを入力します。
この例では、テスト JAR パッケージにはストリーミングデプロイメントコードとバッチデプロイメントコードの両方が含まれています。 したがって、このパラメーターを構成して、バッチデプロイメントのプログラムエントリポイントを指定する必要があります。
org.example.WordCountBatch
エントリポイントのメイン引数
main メソッドで呼び出すパラメーター。
この例では、入力データファイル Shakespeare と出力データファイル batch-quickstart-test-output.txt が格納されているディレクトリを入力します。
説明出力データファイルのディレクトリのみを指定する必要があります。 指定したディレクトリに事前に出力データファイルを作成する必要はありません。 出力データファイルのディレクトリは、入力データファイルのディレクトリと同じである必要があります。
--input oss://<関連付けられた OSS バケット名>/artifacts/namespaces/<ワークスペース名>/Shakespeare--output oss://<関連付けられた OSS バケット名>/artifacts/namespaces/<ワークスペース名>/batch-quickstart-test-output.txt[アーティファクト] ページに移動し、入力データファイル Shakespeare の名前をクリックして、完全なディレクトリをコピーできます。
デプロイメントターゲット
デプロイメントがデプロイされる宛先です。 ドロップダウンリストから目的の [キュー] または [セッション クラスター] を選択します。 本番環境ではセッション クラスターを使用しないことをお勧めします。 詳細については、「キューを管理する」および「手順 1：セッション クラスターを作成する」をご参照ください。
重要セッションクラスターにデプロイされたデプロイメントのモニタリングメトリックは表示できません。 セッションクラスターは、モニタリングおよびアラート機能と Autopilot 機能をサポートしていません。 セッションクラスターは、開発環境とテスト環境に適しています。 本番環境ではセッションクラスターを使用しないことをお勧めします。 詳細については、「デプロイメントをデバッグする」をご参照ください。
default-queue
その他のデプロイメントパラメーターについては、「デプロイメントを作成する」をご参照ください。
[デプロイ] をクリックします。
ステップ 4：デプロイメントを開始し、計算結果を表示する
ストリーミングデプロイメント
Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーションウィンドウで、 を選択します。[デプロイメント] ページで、目的のデプロイメントを見つけ、[アクション] 列の [開始] をクリックします。
[ジョブの開始] パネルで、[初期モード] を選択し、[開始] をクリックします。 デプロイメントの開始方法については、「デプロイメントを開始する」をご参照ください。
デプロイメントが [実行中] 状態になったら、ストリーミングデプロイメントの計算結果を表示します。
[デプロイメント] ページで、目的のデプロイメントの名前をクリックします。 表示されるページで、[ログ] をクリックします。 [実行中のタスクマネージャー] タブで、[パス、ID] 列の値をクリックします。 表示されるページで、[ログリスト] タブをクリックします。 [ログ名] 列で名前が .out で終わるログファイルを見つけ、ログファイルの名前をクリックします。 次に、ログファイルで shakespeare キーワードを検索して、計算結果を表示します。
バッチデプロイメント
Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーションウィンドウで、 を選択します。[デプロイメント] ページで、目的のデプロイメントを見つけ、[アクション] 列の [開始] をクリックします。
[ジョブの開始] パネルで、[開始] をクリックします。 デプロイメントの開始方法については、「デプロイメントを開始する」をご参照ください。
デプロイメントが [完了] 状態になったら、バッチデプロイメントの計算結果を表示します。
OSS コンソール にログインし、oss://<関連付けられた OSS バケット名>/artifacts/namespaces/<ワークスペース名>/batch-quickstart-test-output.txt ディレクトリで計算結果を表示します。
Taskmanager.out ログファイルには、最大 2,000 件のデータレコードが含まれています。 したがって、ストリーミングデプロイメントの計算結果のデータレコード数は、バッチデプロイメントの計算結果のデータレコード数とは異なります。 Taskmanager.out ログファイルに含まれるデータレコード数の制限については、「コネクタの出力」をご参照ください。
ステップ 5：（オプション）デプロイメントをキャンセルする
2 つの状況で、デプロイメントをキャンセルする必要がある場合があります。 SQL コード、WITH 句のコネクタオプション、エンジンバージョンなど、デプロイメントのドラフトを変更した後、更新されたドラフトをデプロイし、実行中のデプロイメントをキャンセルしてから、変更を有効にするためにデプロイメントを再起動する必要があります。 デプロイメントが失敗し、状態データを再利用して回復できない場合、または動的に有効にならないパラメーター設定を更新する場合は、デプロイメントをキャンセルしてから開始する必要があります。 詳細については、「デプロイメントをキャンセルする」をご参照ください。
参照
デプロイメントを開始する前に、デプロイメントのリソースを構成できます。 また、デプロイメントのドラフトを公開した後に、デプロイメントのリソース構成を変更することもできます。 Realtime Compute for Apache Flink は、次のリソース構成モードを提供します。基本モード（粗粒度）とエキスパートモード（細粒度）。 詳細については、「デプロイメントのリソースを構成する」をご参照ください。
Realtime Compute for Apache Flink デプロイメントのパラメーター構成を動的に更新できます。 これにより、パラメーター構成がより迅速に有効になり、デプロイメントの起動とキャンセルによるサービス中断時間を短縮できます。 詳細については、「動的スケーリングのパラメーター構成を動的に更新する」をご参照ください。
パラメーターを構成して、デプロイメントのログを外部ストレージにエクスポートし、エクスポートするログのレベルを指定できます。 詳細については、「デプロイメントのログをエクスポートするパラメーターを構成する」をご参照ください。
Realtime Compute for Apache Flink の SQL デプロイメントの作成方法については、「SQL デプロイメントの概要」をご参照ください。
Realtime Compute for Apache Flink と Hologres を使用して、リアルタイムデータウェアハウスを構築できます。 詳細については、「Realtime Compute for Apache Flink と Hologres を使用してリアルタイムデータウェアハウスを構築する」をご参照ください。
Realtime Compute for Apache Flink を使用して、OpenLake ベースのストリーミングデータレイクハウスを構築できます。 詳細については、「Realtime Compute for Apache Flink を使用して OpenLake ベースのストリーミングデータレイクハウスを構築する」をご参照ください。