Dataphin:BLINK_SQL タスクの作成

前提条件

操作を実行する前に、プロジェクトがリアルタイムエンジンをアクティブ化し、Alibaba Blink 計算リソースを設定していることを確認してください。 詳細については、「汎用プロジェクトを作成する」をご参照ください。

権限の説明

スーパー管理者、プロジェクト管理者、および開発者のみが BLINK_SQL 計算タスクを作成する権限を持っています。

ステップ 1： BLINK_SQL タスクを作成する

1. Dataphin ホームページに移動し、トップメニューバーの [開発] をクリックします。

2. 以下の図の手順に従って、[BLINK_SQL の作成] ダイアログボックスを開きます。

   

3. [BLINK_SQL の作成] ダイアログボックスで、パラメーターを適宜設定します。

   パラメーター	説明
   タスク名	名前は次の要件を満たしている必要があります。 小文字の英字、数字、およびアンダースコア（_）のみが使用できます。 名前の長さは 3 ～ 62 文字である必要があります。 プロジェクト内で一意である必要があります。 名前は英字で始まる必要があります。
   リソースキュー	プロジェクトのリアルタイム計算ソースにバインドされているリソースキューを選択します。
   エンジンバージョン	現在のリソースキューでサポートされているバージョンを選択します。
   ストレージディレクトリ	デフォルト値はコード管理です。 ストレージディレクトリを作成することもできます。
   作成方法	新規作成とテンプレートの使用をサポートしています。 新規作成: 標準の空白の FLINK_SQL タスクを作成します。 テンプレートの使用: リアルタイム計算タスクテンプレートに基づいてタスクをすばやく作成します。
   説明	1000 文字以内の簡単な説明を入力します。

ステップ 2： BLINK_SQL タスクコードを開発する

1. BLINK_SQL タスクコードページでタスクコードを記述します。

   説明

   • SQL コードを自動的にフォーマットするには、ページの右上隅にある ボタンをクリックします。

   • Dataphin では、ネイティブ DDL 文によるメタテーブルの迅速な作成が可能です。create table/create temporary table 文が検出されると、エディターで アイコンを選択してメタテーブルを迅速に生成できます。 詳細については、「Flink_SQL タスク開発方法」をご参照ください。

2. コードタスクの構文と権限を検証するには、ページの左上隅にある [プリコンパイル] をクリックします。

   説明

   1. プリコンパイルが成功すると、ページの上部に ポップアップウィンドウが表示されます。

   2. プリコンパイルが失敗した場合、 ポップアップウィンドウが表示されます。 プリコンパイル失敗ログを表示するには、ページ下部の [コンソール] をクリックします。

ステップ 3： BLINK_SQL タスクを構成する

1. エディターのサイドバーで、[構成] をクリックします。

2. 構成ダイアログボックスで、[リアルタイムモード] と [オフラインモード] の関連情報を構成します。

   説明

   Dataphin リアルタイムコンピューティングは、ストリームバッチ統合タスクをサポートしています。 同じコードで [ストリーム + バッチ] のタスクを構成して、異なるモードでインスタンスを生成します。 バッチ処理の場合は、タスク構成ページでオフラインモードを有効にし、リソース、スケジューリングの依存関係、およびその他の関連設定を構成します。

   

   • リアルタイムモード

     • リソース構成（必須）: タスクを構成するには、リソースキューを設定し、エンジンバージョンを選択し、並列処理の次数を決定し、Task Manager の数を指定し、Job Manager にメモリを割り当て、Task Manager にメモリを割り当てます。 詳細については、「Alibaba Blink リアルタイムモードリソースを構成する」をご参照ください。

     • 変数構成: このオブジェクトノードの変数は、事前に宣言することなく、コード内で動的に定義できます。 システムは自動的にそれらをパラメーターリストに抽出し、そこで型を調整したり、必要に応じて値を設定したりできます。 詳細については、「リアルタイムモード変数構成」をご参照ください。

     • チェックポイント構成: 予期しない障害が発生した場合にクラッシュ前の状態に回復できるように、Flink SQL タスクのチェックポイントを設定します。 詳細については、「リアルタイムモードチェックポイント構成」をご参照ください。

     • 状態構成: 状態内の自動データクリーンアップサイクルを設定します。 詳細については、「リアルタイムモード状態構成」をご参照ください。

     • 実行パラメーター: 実行パラメーターを構成することで、Flink アプリケーションの実行動作とパフォーマンスを制御できます。 構成手順については、「,リアルタイムモード実行パラメーター構成」をご参照ください。

     • 依存ファイル: タスクに必要なリソースファイルを設定します。 詳細については、「リアルタイムモードの依存ファイルの構成」をご参照ください。

     • 依存関係: トラブルシューティング中にアップストリームタスクとダウンストリームタスクを効率的に識別するために、依存関係を設定します。 詳細については、「リアルタイムモード依存関係構成」をご参照ください。

   • オフラインモード（ベータ）

     • スケジューリング構成（必須）: スケジューリング構成は、本番環境内のノードの定期的なスケジュールを定義するために不可欠です。 タスクのスケジューリングサイクルや有効日などのプロパティを設定できます。 詳細については、「オフラインモードスケジューリング構成」をご参照ください。

     • リソース構成（必須）: リソースキューを設定し、タスクのエンジンバージョンを選択します。 詳細については、「Alibaba Blink オフラインモードリソースを構成する」をご参照ください。

     • ランタイムパラメーター: ランタイムパラメーターを構成することで、Flink アプリケーションの実行動作とパフォーマンスを制御できます。 構成手順については、「,オフラインモードランタイムパラメーター構成」をご参照ください。

     • 依存ファイル: Flink SQL タスクに必要なリソースファイルを構成します。 詳細については、「オフラインモード依存関係ファイル構成」をご参照ください。

     • 依存関係（必須）: デバッグ中にアップストリームタスクとダウンストリームタスクを効率的に識別するために、依存関係を設定します。 詳細については、「オフラインモード依存関係構成」をご参照ください。

3. [確認] ボタンをクリックします。

ステップ 4： BLINK_SQL タスクコードをデバッグする（オプション）

Dataphin は、開発された BLINK_SQL コードのデバッグをサポートしています。 ページの右上隅にある デバッグボタンをクリックして、コードタスクのデータをサンプリングし、ローカルデバッグを実行して、コードタスクの正確性を確保します。 リアルタイムモードデバッグとオフラインモードデバッグの両方がサポートされています。

• リアルタイムモードでのデバッグ: 関連するリアルタイム物理データをキャプチャします。 データキャプチャが完了したら、Flink のストリームモードでローカルデバッグに進みます。 詳細については、「リアルタイムモードデバッグ」をご参照ください。

• オフラインモードデバッグ: まず、関連するオフライン物理テーブルからデータをサンプリングします。 データサンプリングが完了したら、Flink バッチモードでローカルデバッグに進みます。 詳細については、「オフラインモードデバッグ」をご参照ください。

ステップ 5： BLINK_SQL タスクを送信する

1. ページの左上隅にある ボタンをクリックし、[送信の備考] ダイアログボックスに備考を入力します。

2. [確認して送信] をクリックします。

   説明

   開発本番プロジェクトモードでは、Flink SQL タスクを本番環境に公開する必要があります。 詳細については、「公開済みタスクを管理する」をご参照ください。