SQL ドラフトをデバッグすることで、本番環境のシンクにデータを書き込むことなく、ビジネスロジックを検証できます。デバッグセッション中、シンクテーブルの種類に関係なく、データがダウンストリームシステムに到達することはありません。
デバッグの用途は次のとおりです。
-
ライブデータまたは指定したテストデータを使用して、SELECT 文または INSERT 文をテストします。
-
複数の SELECT 文または INSERT 文を含むジョブを検証します。
-
count(*)のような更新操作を含むステートメントなど、UPSERT クエリを検証します。
制限事項
-
SQL ジョブのみをサポートしています。
-
CREATE TABLE AS SELECT (CTAS) 文および CREATE DATABASE AS (CDAS) 文はサポートしていません。
-
デフォルトでは、Flink は 1,000 レコードを読み取った後に一時停止します。
-
各デバッグセッションは 3 分に制限されています。
-
デバッグモードはチェックポイントをサポートしていません。デバッグ中はチェックポイントが有効にならず、SET 文または [Other Configuration] で設定されたチェックポイント関連のパラメーター (たとえば
execution.checkpointing.interval) は有効になりません。チェックポイントを必要とするコネクタは、デバッグモードでrequires checkpointing to be enabledエラーが発生します。チェックポイントの動作を検証するには、ジョブをデプロイします。詳細については、「ジョブのデプロイ」をご参照ください。
前提条件
開始する前に、以下をご確認ください。
-
実行中の Realtime Compute for Apache Flink ワークスペース
-
ETL ページ上の有効な SQL 文を含む SQL ドラフト
-
セッションクラスターを作成し、デバッグタスクを実行するための十分な権限
ステップ 1:セッションクラスターの作成
デバッグはセッションクラスター上で実行します。これは開発とテストのみを目的としています。本番環境でセッションクラスターを使用しないでください。
-
Flink コンソールで、ワークスペースを開きます。
-
[Create Session Cluster] をクリックします。
-
以下のセクションで説明するパラメーターを設定し、[Create Session Cluster] をクリックします。
基本設定
|
パラメーター |
説明 |
|
[Name] |
セッションクラスターの名前。 |
|
[Deployment Target] |
セッションクラスターのリソースキュー。詳細については、「キューの管理」をご参照ください。 |
|
[State] |
作成後の目的の状態。[RUNNING]:クラスターはすぐに起動します。[STOPPED]:クラスターは作成されますが、起動はしません。 |
|
[Scheduled Session Management] |
指定した期間ジョブが実行されない場合にクラスターを自動的にシャットダウンし、アイドル状態のクラスターによるリソースの無駄を防ぎます。 |
|
[Labels] |
概要ページでジョブをフィルタリングするためのタグ。 |
設定
|
パラメーター |
説明 |
|
[Engine Version] |
VVR エンジンバージョン。[Recommended] または [Stable] バージョンを選択します。詳細については、「エンジンバージョン」と「ライフサイクルポリシー」をご参照ください。 |
|
[Flink Restart Policy] |
タスクが失敗した場合の再起動動作。
設定されていない場合、デフォルトの戦略が適用されます。チェックポイントがオフの場合、JobManager はタスクの失敗時に再起動しませんが、チェックポイントがオンの場合は再起動します。 |
|
[Other Configuration] |
追加の Flink 設定エントリ (例: |
リソース
|
パラメーター |
説明 |
|
[Number of TaskManagers] |
デフォルトでは、この値は並列度と同じです。 |
|
[JobManager CPU Cores] |
デフォルト:1 |
|
[JobManager Memory] |
最小:1 GiB。推奨:4 GiB。 |
|
[TaskManager CPU Cores] |
デフォルト:2 |
|
[TaskManager Memory] |
最小:1 GiB。推奨:8 GiB。 |
スロットサイジングの推奨事項:
|
ワークロード |
スロットあたりの vCPU |
スロットあたりのメモリ |
|
小規模ジョブ (並列度 1) |
1 |
2 GiB |
|
複雑なジョブ |
1 |
4 GiB |
TaskManager あたり 2 スロットのデフォルト設定から開始してください。
1 つの TaskManager のリソースが少なすぎると、ジョブの安定性が低下し、TaskManager のオーバーヘッドをスロット間で共有できなくなります。1 つの TaskManager のリソースが多すぎると、その TaskManager での障害が一度に多くのジョブに影響します。
ロギング
|
パラメーター |
説明 |
|
[Root Log Level] |
ログレベルは深刻度が低い順に、TRACE、DEBUG、INFO、WARN、ERROR です。 |
|
[Log Levels] |
クラス名とログレベル。 |
|
[Logging Profile] |
システムテンプレートまたはカスタムテンプレート。 |
Kubernetes や YARN などのリソースオーケストレーションフレームワークと Flink の統合に関連するオプションについては、「リソースオーケストレーションフレームワーク」をご参照ください。
セッションクラスターを作成した後、デバッグセッションを開始するときに ETL ページで選択できます。
ステップ 2:SQL ドラフトのデバッグ
-
ETL ページで、ジョブの SQL コードを作成または開きます。詳細については、「ジョブ開発の概要」をご参照ください。
-
[Debug] をクリックします。セッションクラスターを選択し、[Next] をクリックします。
-
テストデータソースを設定します。
-
ライブデータ:上流のライブデータを使用するには、変更を加えずに [Confirm] をクリックします。
-
テストデータ:テストデータを使用するには、[Download mock data template] をクリックして、ソーステーブルのスキーマに一致する CSV テンプレートを取得します。テンプレートに入力し、アップロードしてから、[Use mock data] を選択します。
オプション
説明
[Download mock data template]
ソーステーブルのスキーマに一致する CSV テンプレートをダウンロードします。
[Upload mock data]
テストデータを含む CSV ファイルをアップロードします。ファイルにはヘッダー行 (例:
id(INT)) を含める必要があります。最大ファイルサイズ:1 MB または 1,000 レコード。[Data Preview]
テストデータをアップロードした後、ソーステーブル名の横にある展開アイコン (+) をクリックしてデータをプレビューします。
[Debug code preview]
変更された DDL 文を表示します。デバッグはソーステーブルとシンクテーブルの DDL 文を自動的に変更しますが、実際のジョブコードは変更しません。
-
-
[OK] をクリックします。デバッグ結果が SQL エディターの下に表示されます。
トラブルシューティング
|
問題 |
原因 |
解決策 |
|
[Debug] ボタンがグレーアウトしている |
実行中のセッションクラスターがない |
でセッションクラスターを作成して開始します。 |
|
デバッグセッションがタイムアウトする |
各セッションは 3 分に制限されている |
クエリを簡略化するか、入力データ量を減らしてください。 |
|
デバッグ結果が空である |
ソーステーブルにデータがないか、テストデータが無効である |
データプレビューを確認してください。テストデータを使用している場合は、CSV 形式とヘッダー行を検証してください。 |
|
セッションクラスターのハートビートがタイムアウトする |
クラスター上で実行されているジョブが多すぎる |
同時実行ジョブの数を減らすか、ハートビートの間隔とタイムアウトを増やしてください。 |
|
予期しないデバッグ出力 |
DDL の自動変更が表示されない |
[Debug code preview] で変更された DDL 文を確認できます。 |
次のステップ
-
開発またはデバッグ後にジョブをデプロイするには、「ジョブのデプロイ」をご参照ください。
-
ジョブをデプロイした後は、「デプロイメントの開始」をご参照ください。
-
Flink SQL ワークフローの完全なウォークスルーについては、「Flink SQL ジョブのクイックスタート」をご参照ください。