このトピックでは、Ververica Flinkエンジンを使用してFLINK_SQL タスクを作成する方法について説明します。
前提条件
始める前に、プロジェクトでリアルタイム エンジンを有効にしましたVerverica Flink コンピュートソースを構成しました汎用プロジェクトを作成するが有効になっており、が構成されていることを確認してください。詳細については、「」をご参照ください。
備考
スーパー管理者、プロジェクト管理者、および開発者のみが FLINK_SQL タスクを作成できます。
ステップ 1: FLINK_SQL タスクを作成するタスク
Dataphin ホームページの上部のメニューバーで、[開発] > [データ開発] を選択します。
上部のメニューバーで、プロジェクト環境 を選択します。開発/本番モードの場合は、 も選択します。
左側のナビゲーションウィンドウで、[データ処理] > [スクリプトタスク] を選択します。右側のコンピューティングタスクリストで、
アイコンをクリックし、[FLINK_SQL] を選択します。[FLINK_SQL タスクの作成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
タスク名
命名規則は次のとおりです。
小文字の英字、数字、およびアンダースコア（_）のみが使用できます。
名前は 4 ～ 63 文字でなければなりません。
同じプロジェクト内で重複する名前は使用できません。
名前は英字で始める必要があります。
本番環境クラスタ
FLINK_SQL タスクが存在するクラスターを選択します。
プロダクションエンジンバージョン
実稼働環境でタスクを実行するためのエンジンバージョンを選択します。
説明プロジェクトスペースが Basic モードの場合、この設定項目は [エンジンバージョン] です。
開発環境クラスタとエンジンバージョン
[システムの既定の構成] または [カスタム構成] を選択できます。
[システムのデフォルト構成]: デフォルトのオプションです。本番環境と同じ環境クラスターとエンジンバージョンを使用します。
[カスタム構成]: 開発環境でタスクを実行するための環境クラスタとエンジンバージョンを手動で選択できます。
説明プロジェクトスペースがベーシックモードの場合、この設定項目は構成する必要はありません。
[ストレージ ディレクトリ]
タスクが保存されているディレクトリを選択します。
ディレクトリが作成されていない場合は、[フォルダの作成] を実行できます。手順は次のとおりです。
ページ左側のコンピューティングタスクリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、必要に応じて [ディレクトリ] の場所を選択します。
[確認] をクリックします。
作成方法
以下のメソッドがサポートされています: 空の作成サンプルコードのリファレンステンプレートを使用する、、。
空の作成: 空の FLINK_SQL タスクを作成します。
サンプルコードの参照: 組み込みのサンプルコードを参照して、タスクをすばやく作成します。
テンプレートの使用: リアルタイム コンピューティング タスク テンプレートに基づいてタスクをすばやく作成します。
説明
FLINK_SQL タスクの簡単な説明を 1000 文字以内で入力してください。
[OK] をクリックします。
手順 2: 開発とプリコンパイルノード コード
FLINK_SQL コードページで、タスクのコードを記述します。
コードを記述した後、メニューバーの [フォーマット] ボタンをクリックして、SQL コードのフォーマットを自動的に調整します。
[プリコンパイル] をクリックして、コードタスクの構文と権限の問題を確認します。
プリコンパイルが成功した場合、[プリコンパイル成功] メッセージが表示されます。 失敗した場合は、失敗します[プリコンパイル失敗] メッセージが表示されます。 プリコンパイルの失敗ログを表示するには、ページ下部の [コンソール] をクリックします。
手順 3: FLINK_SQL タスクを構成する
右側のサイドバーの現在のコンピューティングタスクで [構成] をクリックします。
構成パネルで、[リアルタイムモード] と [オフラインモード] の両方で、FLINK_SQL タスクの関連構成情報を設定します。
説明Dataphin リアルタイムコンピューティングは、統合されたストリームバッチ コンピュートエンジンを使用して、ストリームバッチ統合タスクをサポートします。 [ストリーム + バッチ] のタスク構成を単一のコードで構成し、同じコードに基づいて異なるモードでインスタンスを生成できます。バッチ処理を有効にするには、タスク構成ページでオフラインモードを有効にし、関連リソース、スケジュール依存関係などを構成します。
リアルタイム モード
リソース構成 (必須): タスクの本番環境と開発環境に合わせて、クラスター、エンジンバージョン、Job Manager CPU、および Job Manager メモリを構成する必要があります。構成手順については、「Ververica Flink リアルタイムモード リソースを構成する」をご参照ください。
変数設定: このオブジェクトノードの変数は、事前の宣言なしにコード内で直接定義できます。システムは自動的にパラメーターリストにそれらを抽出し、そこで型を調整し、値を設定できます。 設定手順については、「リアルタイムモード変数設定」をご参照ください。
チェックポイント構成: Flink SQL タスクのチェックポイントを設定することは、予期しない障害が発生した場合にタスクをクラッシュ前の状態に復元するために不可欠です。この機能の構成方法については、「リアルタイムモードのチェックポイント構成」をご参照ください。
状態の構成: 状態内での自動データクリーンアップの間隔を設定します。構成のガイダンスについては、「リアルタイムモードの状態の構成」をご参照ください。
実行パラメーター: 実行パラメーターを構成することで、Flink アプリケーションの実行動作とパフォーマンスを制御できます。構成手順については、「,リアルタイムモード実行パラメーターの構成」をご参照ください。
依存ファイル: タスクに必要なリソースファイルを設定します。構成手順については、「リアルタイムモードの依存ファイル構成」をご参照ください。
依存関係: 依存関係を設定すると、トラブルシューティング時にデータのアップストリーム タスクとダウンストリーム タスクをすばやく理解できます。構成手順については、「リアルタイムモードの依存関係の構成」をご参照ください。
オフライン モード (ベータ)
スケジュール構成 (必須): スケジュール構成は、本番環境内のノードの定期的なスケジュール パターンの確立に不可欠です。スケジュール プロパティを使用して、タスクのスケジュール サイクルと有効日を 設定 できます。構成方法については、「オフライン モードのスケジュール構成」をご参照ください。
リソース構成（必須）: クラスター、エンジンバージョン、並列処理の次数、タスクマネージャーの数、ジョブマネージャメモリ、およびタスクマネージャメモリを、タスクの本番環境および開発環境に合わせて構成する必要があります。構成手順については、「Ververica Flink オフラインモードリソースを構成する」をご参照ください。
ランタイム パラメーター: Flink アプリケーションの実行動作とパフォーマンスを制御するために、ランタイム パラメーターを構成できます。構成手順については、「、オフライン モード ランタイム パラメーター構成」をご参照ください。
依存ファイル: Flink SQL タスクに必要なリソースファイルを設定します。構成手順については、「オフラインモードの依存ファイルの構成」をご参照ください。
依存関係 (必須): 依存関係を設定することは、トラブルシューティング時にデータのアップストリーム タスクとダウンストリーム タスクをすばやく理解するために不可欠です。詳細については、「オフライン モードの依存関係の設定」をご参照ください。
[OK] をクリックします。
手順 2: 開発とプリコンパイルタスク コード
Dataphin は、開発された Flink SQL コードのテストをサポートしています。上部のメニューバーにある [テスト] ボタンをクリックして、コードタスクのデータをサンプリングし、ローカルテストを実行してコードの正確性を確保します。
テスト構成ダイアログボックスで、リアルタイムパターンテストの場合は [リアルタイムパターン - FLINK ストリームノード] を、オフラインパターンテストの場合は [オフラインパターン - FLINK バッチノード] を選択します。
リアルタイムパターン テスト: このプロセスには、対応するリアルタイムの物理データのサンプリングが含まれます。データ サンプリングが完了すると、Flink Stream パターンを使用してローカル テストが実行されます。詳細については、「リアルタイムパターン テスト」をご参照ください。
オフラインパターンテスト: このテストでは、対応するオフラインの物理テーブルのデータを使用します。データサンプリングが完了すると、Flink バッチパターンを使用してローカルテストが実行されます。詳細については、「オフラインパターンテスト 」をご参照ください。
現在、単一パターンのテストのみがサポートされています。パターンを選択した後、対応するパターンテーブルデータをサンプリングしてテストできます。
手順 5: FLINK_SQL タスクを送信する
トップ メニューバーの [送信] ボタンをクリックします。
[送信] ダイアログボックスで、[送信コンテンツ] と [事前チェック] 情報を確認し、[送信備考] に入力します。
[確認して送信] をクリックします。
説明プロジェクトが開発 - 本番パターンに従っている場合は、Flink SQL ノードを本番環境に公開する必要があります。詳細な手順については、「公開ノードの管理」をご参照ください。
次の手順
オペレーションセンターで、FLINK_SQL ノードを表示および維持して、正常な動作を確保します。具体的な操作については、「リアルタイム インスタンスを表示および管理する」または「リアルタイム ノードを表示および管理する」をご参照ください。