Dataphin:Blink SQL タスクの作成

前提条件

開始する前に、プロジェクトに対してリアルタイムコンピュートエンジンが有効になっており、Alibaba Blink コンピュートソースが設定されていることを確認してください。詳細については、「通常プロジェクトの作成」をご参照ください。

権限

スーパー管理者、プロジェクト管理者、および開発者のみが Blink SQL タスクを作成できます。

ステップ 1：Blink SQL タスクの作成

1. Dataphin のホームページで、上部のメニューバーにある 開発 をクリックします。

2. 次の図の指示に従って、Blink SQL の作成 ダイアログボックスを開きます。

   

3. Blink SQL の作成 ダイアログボックスで、パラメーターを設定します。

   パラメーター	説明
   タスク名	命名規則は次のとおりです： 小文字、数字、アンダースコア (_) のみ使用できます。 長さは 3～62 文字である必要があります。 プロジェクト内で一意である必要があります。 先頭は文字である必要があります。
   リソースキュー	プロジェクトにアタッチされているリアルタイムコンピュートソースからリソースキューを選択します。
   エンジンバージョン	現在のリソースキューがサポートするバージョンを選択します。
   ストレージディレクトリ	デフォルトのディレクトリはコード管理です。ストレージディレクトリを作成することもできます。
   作成方法	[ゼロから作成] または [テンプレートを使用] を選択できます。 ゼロから作成：空の Blink SQL タスクを作成します。 テンプレートを使用：リアルタイムコンピューティングタスクのテンプレートからタスクを作成します。
   説明	タスクの簡単な説明を入力します。説明は最大 1000 文字です。

ステップ 2：Blink SQL タスクコードの開発

1. Blink SQL タスクのコードページで、タスクコードを記述します。

   説明

   • ページ右上の アイコンをクリックすると、SQL コードが自動的にフォーマットされます。

   • Dataphin は、ネイティブのデータ定義言語 (DDL) 文を使用してメタテーブルを迅速に作成することをサポートしています。Dataphin がネイティブの create table/create temporary table 文を検出すると、エディターの アイコンをクリックしてメタテーブルを迅速に作成できます。詳細については、「Flink SQL タスクの開発方法」をご参照ください。

2. ページ左上の 事前コンパイル をクリックして、コードの構文と権限を確認します。

   説明

   1. 事前コンパイルが成功すると、ページ上部に アイコン付きのポップアップメッセージが表示されます。

   2. 事前コンパイルが失敗した場合は、 メッセージが表示されます。ページ下部の コンソール をクリックして、失敗ログを表示します。

ステップ 3：Blink SQL タスクの設定

1. エディターのサイドバーで、設定 をクリックします。

2. [設定] ダイアログボックスで、リアルタイムモード と オフラインモード のパラメーターを設定します。

   説明

   Dataphin のリアルタイムコンピューティングは、ストリームとバッチの統合処理をサポートしています。単一のコードに対して、統一されたコンピュートエンジンを使用して ストリーム + バッチ (リアルタイムモード + オフラインモード) の両方の設定を行うことができます。これにより、同じコードから異なるモードのインスタンスを生成できます。バッチ処理を有効にするには、タスク設定ページでオフラインモードを有効にし、リソース、スケジュール依存関係、その他の設定を行う必要があります。

   • リアルタイムモード

     • リソース設定 (必須)：リソースキュー、エンジンバージョン、並列度、TaskManager の数、JobManager のメモリ、および TaskManager のメモリを設定します。詳細については、「Alibaba Blink リアルタイムモードのリソース設定」をご参照ください。

     • 変数設定：このノードの変数を事前に宣言する必要はありません。必要に応じてコード内で直接定義できます。システムは自動的に変数を解析し、パラメーターリストに追加します。パラメーターリストでは、各変数のデータ型を変更し、値を割り当てることができます。詳細については、「リアルタイムモードの変数設定」をご参照ください。

     • チェックポイント設定：タスクのチェックポイントを設定します。プログラムが予期せず停止した場合、チェックポイントにより、タスクはクラッシュ前の状態に回復できます。詳細については、「リアルタイムモードのチェックポイント設定」をご参照ください。

     • ステート設定：ステートの自動データクリーンアップ期間を設定します。詳細については、「リアルタイムモードのステート設定」をご参照ください。

     • 実行時パラメーター：Flink アプリケーションの実行動作とパフォーマンスを制御するための実行時パラメーターを設定します。詳細については、「リアルタイムモードの実行時パラメーター設定」をご参照ください。

     • 依存ファイル：タスクが依存するリソースファイルを設定します。詳細については、「リアルタイムモードの依存ファイル設定」をご参照ください。

     • 依存関係：デバッグ中に上流タスクと下流タスクを迅速に特定するための依存関係を設定します。詳細については、「リアルタイムモードの依存関係設定」をご参照ください。

   • オフラインモード (ベータ)

     • スケジューリング設定 (必須)：本番環境でのノードの定期的なスケジュールを定義します。スケジューリングプロパティを使用して、タスクのスケジュール周期と有効日を設定できます。詳細については、「オフラインモードのスケジューリング設定」をご参照ください。

     • リソース設定 (必須)：リソースキューとエンジンバージョンを設定します。詳細については、「Alibaba Blink オフラインモードのリソース設定」をご参照ください。

     • 実行時パラメーター：Flink アプリケーションの実行動作とパフォーマンスを制御するための実行時パラメーターを設定します。詳細については、「オフラインモードの実行時パラメーター設定」をご参照ください。

     • 依存ファイル：Flink SQL タスクが依存するリソースファイルを設定します。詳細については、「オフラインモードの依存ファイル設定」をご参照ください。

     • 依存関係 (必須)：デバッグ中に上流タスクと下流タスクを迅速に特定するための依存関係を設定します。詳細については、「オフラインモードの依存関係設定」をご参照ください。

3. OK をクリックします。

ステップ 4：Blink SQL タスクコードのデバッグ (任意)

Dataphin では、Blink SQL コードをデバッグできます。ページ右上の デバッグアイコンをクリックして、コードタスクのデータをサンプリングし、ローカルデバッグを実行します。このプロセスにより、コードの正しさを確認できます。リアルタイムモードまたはオフラインモードでデバッグできます。

• リアルタイムモードのデバッグ：対応するリアルタイム物理テーブルからデータをサンプリングします。データサンプリングが完了したら、Flink ストリームモードでローカルデバッグを実行します。詳細については、「リアルタイムモードのデバッグ」をご参照ください。

• オフラインモードのデバッグ：対応するオフライン物理テーブルからデータをサンプリングします。データサンプリングが完了したら、Flink バッチモードでローカルデバッグを実行します。詳細については、「オフラインモードのデバッグ」をご参照ください。

ステップ 5：Blink SQL タスクの送信

1. ページ左上の アイコンをクリックし、コメントを送信 ダイアログボックスにコメントを入力します。

2. [OK および送信] をクリックします。

   説明

   プロジェクトが Dev-Prod モードの場合、Flink SQL タスクを本番環境に公開する必要があります。詳細については、「公開済みタスクの管理」をご参照ください。