このトピックでは、Ververica Flink エンジンを使用して Flink SQL タスクを作成する方法について説明します。
前提条件
開始する前に、プロジェクトでリアルタイムエンジンが有効になっており、Ververica Flink コンピュートソースが設定されていることを確認してください。 詳細については、「一般的なプロジェクトを作成する」をご参照ください。
権限
スーパー管理者、プロジェクト管理者、および開発者のみが Flink SQL コンピュートタスクを作成できます。
ステップ 1：Flink SQL タスクの作成
Dataphin ホームページの上部のメニューバーで、[開発] > [データ開発] を選択します。
上部のメニューバーで[プロジェクト]を選択します。Dev-Prod モードの場合は、[環境] も選択します。
左側のナビゲーションウィンドウで、[データ処理] > [コンピュートタスク] を選択します。右側のコンピュートタスクのリストで、
アイコンをクリックし、[Flink SQL] を選択します。[Flink SQL タスクの作成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
タスク名
命名規則は次のとおりです。
小文字の英字、数字、およびアンダースコア（_）のみが使用できます。
名前は 4 ～ 63 文字でなければなりません。
同じプロジェクト内で重複する名前は使用できません。
名前は英字で始める必要があります。
本番環境クラスタ
Flink SQL タスクが配置されるクラスターを選択します。
プロダクションエンジンバージョン
実稼働環境でタスクを実行するためのエンジンバージョンを選択します。
説明プロジェクトスペースが Basic モードの場合、この設定項目は [エンジンバージョン] です。
開発環境クラスタとエンジンバージョン
[システムの既定の構成] または [カスタム構成] を選択できます。
[システムのデフォルト構成]: デフォルトのオプションです。本番環境と同じ環境クラスターとエンジンバージョンを使用します。
[カスタム構成]: 開発環境でタスクを実行するための環境クラスタとエンジンバージョンを手動で選択できます。
説明プロジェクトスペースがベーシックモードの場合、この設定項目は構成する必要はありません。
ストレージディレクトリ
タスクが保存されているディレクトリを選択します。
ディレクトリが作成されていない場合は、[フォルダの作成] を実行できます。手順は次のとおりです。
ページ左側のコンピューティングタスクリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、必要に応じて [ディレクトリ] の場所を選択します。
[確認] をクリックします。
作成方法
以下のメソッドがサポートされています: 空の作成サンプルコードのリファレンステンプレートを使用する、、。
[空白から作成]：通常の、空白の Flink SQL タスクを作成します。
サンプルコードの参照: 組み込みのサンプルコードを参照して、タスクをすばやく作成します。
テンプレートの使用: リアルタイム コンピューティング タスク テンプレートに基づいてタスクをすばやく作成します。
説明
Flink SQL タスクの簡単な説明を入力します。説明は 1,000 文字以内で入力してください。
[OK] をクリックします。
ステップ 2：Flink SQL ノードコードの開発とプリコンパイル
Flink SQL ノードのコードページで、ノードコードを記述します。
コードを記述した後、メニューバーの [フォーマット] ボタンをクリックして、SQL コードのフォーマットを自動的に調整します。
[事前コンパイル] をクリックして、コードタスクの構文および権限の問題を確認します。
プリコンパイルが成功した場合、[プリコンパイル成功] メッセージが表示されます。 失敗した場合は、失敗します[プリコンパイル失敗] メッセージが表示されます。 プリコンパイルの失敗ログを表示するには、ページ下部の [コンソール] をクリックします。
ステップ 3：Flink SQL ジョブの構成
右側のサイドバーの現在のコンピューティングタスクで [構成] をクリックします。
構成パネルで、[リアルタイムモード] と [オフラインモード] で Flink SQL ノードの設定を構成します。
説明Dataphin リアルタイムコンピューティングは、統合されたストリームバッチ コンピュートエンジンを使用して、ストリームバッチ統合タスクをサポートします。 [ストリーム + バッチ] のタスク構成を単一のコードで構成し、同じコードに基づいて異なるモードでインスタンスを生成できます。バッチ処理を有効にするには、タスク構成ページでオフラインモードを有効にし、関連リソース、スケジュール依存関係などを構成します。
リアルタイム モード
リソース構成 (必須): タスクの本番環境と開発環境に合わせて、クラスター、エンジンバージョン、Job Manager CPU、および Job Manager メモリを構成する必要があります。構成手順については、「Ververica Flink リアルタイムモード リソースを構成する」をご参照ください。
変数設定: このオブジェクトノードの変数は、事前の宣言なしにコード内で直接定義できます。システムは自動的にパラメーターリストにそれらを抽出し、そこで型を調整し、値を設定できます。 設定手順については、「リアルタイムモード変数設定」をご参照ください。
チェックポイント構成: Flink SQL タスクのチェックポイントを設定することは、予期しない障害が発生した場合にタスクをクラッシュ前の状態に復元するために不可欠です。この機能の構成方法については、「リアルタイムモードのチェックポイント構成」をご参照ください。
状態の構成: 状態内での自動データクリーンアップの間隔を設定します。構成のガイダンスについては、「リアルタイムモードの状態の構成」をご参照ください。
実行パラメーター: 実行パラメーターを構成することで、Flink アプリケーションの実行動作とパフォーマンスを制御できます。構成手順については、「,リアルタイムモード実行パラメーターの構成」をご参照ください。
依存ファイル: タスクに必要なリソースファイルを設定します。構成手順については、「リアルタイムモードの依存ファイル構成」をご参照ください。
依存関係: 依存関係を設定すると、トラブルシューティング時にデータのアップストリーム タスクとダウンストリーム タスクをすばやく理解できます。構成手順については、「リアルタイムモードの依存関係の構成」をご参照ください。
オフライン モード (ベータ)
スケジュール構成 (必須): スケジュール構成は、本番環境内のノードの定期的なスケジュール パターンの確立に不可欠です。スケジュール プロパティを使用して、タスクのスケジュール サイクルと有効日を 設定 できます。構成方法については、「オフライン モードのスケジュール構成」をご参照ください。
リソース構成（必須）: クラスター、エンジンバージョン、並列処理の次数、タスクマネージャーの数、ジョブマネージャメモリ、およびタスクマネージャメモリを、タスクの本番環境および開発環境に合わせて構成する必要があります。構成手順については、「Ververica Flink オフラインモードリソースを構成する」をご参照ください。
ランタイム パラメーター: Flink アプリケーションの実行動作とパフォーマンスを制御するために、ランタイム パラメーターを構成できます。構成手順については、「、オフライン モード ランタイム パラメーター構成」をご参照ください。
依存ファイル: Flink SQL タスクに必要なリソースファイルを設定します。構成手順については、「オフラインモードの依存ファイルの構成」をご参照ください。
依存関係 (必須): 依存関係を設定することは、トラブルシューティング時にデータのアップストリーム タスクとダウンストリーム タスクをすばやく理解するために不可欠です。詳細については、「オフライン モードの依存関係の設定」をご参照ください。
[OK] をクリックします。
ステップ 4：Flink SQL ノードコードのテスト
Dataphin で Flink SQL コードをテストできます。上部メニューバーの [テスト] ボタンをクリックして、コードノードからデータをサンプリングし、ローカルテストを実行してコードが正しいことを確認します。
テスト構成ダイアログボックスで、リアルタイムパターンテストの場合は [リアルタイムパターン - FLINK ストリームノード] を、オフラインパターンテストの場合は [オフラインパターン - FLINK バッチノード] を選択します。
リアルタイムパターン テスト: このプロセスには、対応するリアルタイムの物理データのサンプリングが含まれます。データ サンプリングが完了すると、Flink Stream パターンを使用してローカル テストが実行されます。詳細については、「リアルタイムパターン テスト」をご参照ください。
オフラインパターンテスト: このテストでは、対応するオフラインの物理テーブルのデータを使用します。データサンプリングが完了すると、Flink バッチパターンを使用してローカルテストが実行されます。詳細については、「オフラインパターンテスト 」をご参照ください。
現在、単一パターンのテストのみがサポートされています。パターンを選択した後、対応するパターンテーブルデータをサンプリングしてテストできます。
ステップ 5：Flink SQL ジョブの送信
トップ メニューバーの [送信] ボタンをクリックします。
[送信] ダイアログボックスで、[送信コンテンツ] と [事前チェック] 情報を確認し、[送信備考] に入力します。
[確認して送信] をクリックします。
説明プロジェクトが開発 - 本番パターンに従っている場合は、Flink SQL ノードを本番環境に公開する必要があります。詳細な手順については、「公開ノードの管理」をご参照ください。
次の手順
オペレーションセンターでは、Flink SQL ノードを表示および管理して、期待どおりに実行されることを確認できます。詳細については、「リアルタイムインスタンスの表示と管理」または「リアルタイムノードの表示と管理」をご参照ください。