Realtime Compute for Apache Flink:ジョブデプロイメントの構成

デプロイメントの種類

説明

SQL デプロイメント

SQL コードを記述し、[エンジンバージョン]、[追加の依存関係]、[説明]、[ラベル] パラメーターを構成できます。パラメーターの詳細については、「SQL ドラフトを作成する」をご参照ください。

JAR デプロイメント

[エンジンバージョン]、[JAR URI]、[エントリポイントクラス]、[エントリポイントのメイン引数]、[追加の依存関係]、[説明]、[kerberos 名]、[ラベル] パラメーターを構成できます。パラメーターの詳細については、「デプロイメントを作成する」をご参照ください。

Python デプロイメント

[エンジンバージョン]、[python URI]、[エントリモジュール]、[エントリポイントのメイン引数]、[python ライブラリ]、[python アーカイブ]、[追加の依存関係]、[説明]、[kerberos 名]、[ラベル] パラメーターを構成できます。パラメーターの詳細については、「デプロイメントを作成する」をご参照ください。

パラメーター

説明

チェックポイント間隔

チェックポイントが生成される間隔。このパラメーターを構成しない場合、チェックポイント機能は無効になります。

チェックポイントのタイムアウト時間

デフォルト値： 10 。単位：分。このパラメーターで指定された時間内にチェックポイントが生成されない場合、チェックポイントの生成は失敗します。

チェックポイント間の最小間隔

2 つのチェックポイント間の最小間隔。チェックポイントの最大並列度が 1 の場合、このパラメーターは 2 つのチェックポイント間の最小間隔を指定します。

状態の有効期限

デプロイメントの状態データの生存時間（ TTL ）。デフォルト値： 36 h 。デフォルト値は、デプロイメントの状態データが 36 時間後に期限切れになることを示します。システムは期限切れのデータを自動的に削除します。

データが初めてシステムに入り処理されると、データは状態バックエンドメモリに格納されます。同じプライマリキー値を持つデータがシステムに入ると、システムは格納された状態データに基づいてデータ計算を実行し、データのアクセス時間を更新します。このプロセスは Realtime Compute for Apache Flink のコアであり、継続的に処理されるストリーミングデータに依存しています。指定された TTL 内にデータが再度アクセスされない場合、システムはデータを期限切れのデータと見なし、状態バックエンドストレージからデータを削除します。

正確なデータ計算と期限切れデータのタイムリーな削除を確実にするために、TTL を適切に構成する必要があります。これにより、状態バックエンドメモリの使用量が削減され、システムメモリの負担が軽減され、計算効率とシステムの安定性が向上します。

Flink 再起動ポリシー

ジョブの再起動動作は、ジョブの再起動ポリシーとタスクの失敗回復ポリシーの 2 つのポリシーによって決まります。

ジョブ再起動ポリシー

このポリシーは、障害発生後にジョブ全体が再起動を試行するかどうかを制御します。

• ジョブの再起動ポリシーが明示的に設定されておらず、チェックポイントが有効になっている場合、ジョブは固定遅延間隔で再起動を試みます。

• ジョブの再起動ポリシーが明示的に設定されておらず、チェックポイントが無効になっている場合、ジョブは再起動しません。

ジョブ再起動ポリシーの明示的な構成

これらのポリシーのいずれかを設定して、デフォルトの動作を上書きします:

• 再起動なし: ジョブは失敗しても再起動しません。

• 固定遅延 (デフォルト): ジョブは固定間隔で再起動を試みます。必要に応じて、再起動試行回数 と 再起動試行間の遅延 パラメーターの値を変更します。

• 失敗率: 定義された失敗率に基づいてジョブを再起動します。

  必要に応じて、失敗率の間隔、間隔あたりの最大失敗数、および 再起動試行間の遅延 を設定します。

タスク失敗回復ポリシー

このポリシーは、ジョブ内の個々のタスクが失敗後にどのように再起動されるかを制御します。これは、[その他の構成] セクションの jobmanager.execution.failover-strategy パラメーターを介して構成されます。有効な値:

• full: いずれかのタスクが失敗した場合にジョブ全体を再起動します。

• region (デフォルト): 失敗したリージョンを回復するために必要なタスクの最小セットのみを再起動し、影響を最小限に抑えます。

詳細については、Apache Flink ドキュメントの「タスク失敗回復」をご参照ください。

その他の構成

その他の Realtime Compute for Apache Flink 設定。たとえば、akka.ask.timeout: 10 または jobmanager.execution.failover-strategy: full を指定できます。

パラメーター

説明

ログのアーカイブ

ログのアーカイブを有効にするかどうかを指定します。デフォルトでは、[ログアーカイブを許可] がオンになっています。[ログ記録] セクションで [ログアーカイブを許可] をオンにすると、[ログ] タブで履歴デプロイメントのログを表示できます。詳細については、「履歴デプロイメントのログを表示する」をご参照ください。

ログアーカイブの有効期限

アーカイブされたログファイルの検証期間。デフォルトでは、アーカイブされたログファイルは 7 日間有効です。

ルートログレベル

ルートログレベル。緊急度の低い順にリストされている次のレベルのいずれかを指定できます。

1. TRACE：DEBUG ログよりも詳細な情報を記録します。

2. DEBUG：システムの状態を記録します。

3. INFO：重要なシステム情報を記録します。

4. WARN：潜在的な問題に関する情報を記録します。

5. ERROR：発生したエラーと例外に関する情報を記録します。

ログレベル

ログ名とログレベル。

ログ記録プロファイル

使用するログテンプレート。ドロップダウンリストからデフォルトまたはカスタムテンプレートを選択できます。[カスタムテンプレート] を選択した場合は、ログを他のストレージサービスにエクスポートできます。詳細については、「デプロイメントのログをエクスポートするためのパラメーターを構成する」をご参照ください。