ジョブを開始する前に、そのデプロイメントを設定する必要があります。このトピックでは、ジョブデプロイメントの設定方法について説明します。
前提条件
プロジェクトにアクセスし、ジョブリソースを設定するために使用する Alibaba Cloud アカウントまたは Resource Access Management (RAM) ユーザーに必要な権限を付与します。詳細については、「開発コンソールでの権限付与」をご参照ください。
ジョブがデプロイされていること。詳細については、「ジョブのデプロイ」をご参照ください。
操作手順
対象のワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
[オペレーションセンター] > [Job O&M] ページで、ジョブ名をクリックします。
［デプロイメントの詳細］タブで、対象セクションの右側にある［編集］をクリックします。
説明SQL タスクの基本構成を編集するには、タスクドラフトを編集して再デプロイするために、 ページに戻る必要があります。[基本構成] セクションの右側にある [編集] をクリックした後、表示されるダイアログボックスで [OK] をクリックします。
ジョブデプロイメント情報を変更します。
以下のセクションでデプロイメント情報を変更できます。
[保存] をクリックします。
基本設定
ジョブタイプ | 説明 |
SQL ジョブ | SQL コードおよび[エンジン バージョン]、[追加の依存関係]、[説明]、および[ジョブ タグ]に関する情報が含まれます。パラメーターの詳細については、「ジョブ開発マップ」をご参照ください。 説明 [基本設定] セクションの右側にある [編集] をクリックすると、SQL 開発ページに戻ってジョブドラフトを編集し、再デプロイする必要があります。編集を続行するには、[OK] をクリックします。 |
JAR ジョブ | には、[エンジンバージョン]、[JAR URI]、[エントリポイントクラス]、[エントリポイントメイン引数]、[追加の依存関係]、[説明]、[Kerberos クラスター]、および[ジョブタグ]が含まれます。パラメーターの詳細については、「ジョブをデプロイする」をご参照ください。 |
Python ジョブ | [エンジンバージョン]、[Python Uri]、[エントリーモジュール]、[エントリーポイントのメイン引数]、[Python ライブラリ]、[Python アーカイブ]、[追加の依存関係]、[説明]、[Kerberos クラスター]、および [ジョブタグ] が含まれます。パラメーターの詳細については、「ジョブをデプロイする」をご参照ください。 |
ランタイムパラメーター設定
パラメーター | 説明 |
システムチェックポイント間隔 | システムチェックポイントが定期的に実行される間隔です。このパラメーターを空のままにすると、システムチェックポイントは無効になります。 |
システム チェックポイント タイムアウト | デフォルト値は 10 分です。指定されたタイムアウト期間内にシステムチェックポイントが生成されない場合、チェックポイントは失敗します。 |
システムチェックポイント間の最小間隔 | 2 つのシステムチェックポイント間の最小間隔です。システムチェックポイントの最大並列処理の次数が 1 の場合、この設定により、2 つの連続するチェックポイント間に最小限の時間差が確保されます。 |
状態データ TTL | ステート情報の生存時間 (TTL) (時間単位) です。デフォルト値は 36 時間です。これは、ジョブのステート情報が 36 時間後に自動的に有効期限切れとなり、パージされることを意味します。 重要 このデフォルト値は Alibaba Cloud のベストプラクティスに基づいており、オープンソースのデフォルトとは異なります。オープンソースのデフォルトは 0 であり、ステート情報は決して有効期限切れになりません。 データが最初にシステムに入力され処理されると、ステートメモリに保存されます。同じプライマリキーを持つ新しいデータが到着すると、システムは保存されたステートデータを使用して計算を行い、そのアクセス時間を更新します。このプロセスは、データの継続的なフローに依存するため、リアルタイムコンピューティングの中心です。設定された TTL タイムウィンドウ内でデータが再度アクセスされない場合、システムはそれを有効期限切れとみなし、ステートストレージからパージします。 適切な TTL 値を設定することで、計算精度を維持し、古いデータを迅速にクリーンアップできます。これにより、ステートメモリ使用量が削減され、システムのメモリ負荷が軽減され、計算効率とシステム安定性の両方が向上します。 |
Flink 再起動ポリシー | Flink ジョブの再起動動作は、ジョブレベルの再起動ポリシーとタスクレベルの障害回復ポリシーの 2 つのポリシーによって決定されます。 ジョブレベルの再起動ポリシー ジョブレベルの再起動ポリシーが設定されていない場合にのみ、Flink はチェックポイント処理が有効になっているかどうかに基づいてジョブを再起動するかどうかを決定します。
ジョブレベルの再起動ポリシーを明示的に設定する
タスクレベルの障害回復ポリシー このポリシーは、タスクが失敗した後にタスクを再起動する方法を制御します。これは、
詳細については、「Restart Strategies」をご参照ください。 説明 ジョブには、接続されていない 2 つのソースからシンクへのパイプラインが含まれています。一方のパイプラインのタスクが失敗し、リージョン障害回復ポリシーが使用された場合、Flink は失敗したタスクのパイプラインのみを再起動します。もう一方のパイプラインは影響を受けずに実行を継続します。これにより、2 つのパイプラインの開始時刻が異なる場合がありますが、これは正常です。 |
その他の構成 | ここでその他の Flink 設定を行います。例えば、 説明
|
ログ設定
パラメーター | 説明 |
ログのアーカイブ | ログアーカイブはデフォルトで有効になっています。ログアーカイブを有効にすると、ジョブログページで過去のジョブインスタンスのログを表示できます。詳細については、「過去のジョブインスタンスのログを表示する」をご参照ください。 説明
|
アーカイブ済みログの有効期間 | アーカイブ済みログのデフォルトの有効期間は 7 日間です。 |
ルートログレベル | ログレベルは、重大度昇順で以下にリストされています。
|
クラスログレベル | ロガー名とログレベルを入力します。 |
ログテンプレート | デフォルトシステムテンプレートまたはカスタムテンプレートを選択できます。カスタムテンプレートを選択した場合、ログを他のストレージサービスに出力できます。詳細については、「ジョブログ出力の設定」をご参照ください。 |
関連ドキュメント
オペレーターの TTL を設定することで、各オペレーターのステートサイズをより正確に制御し、大規模なステートを持つジョブのリソースを節約できます。詳細については、「オペレーターのステートライフサイクル (ステート TTL) のヒント」をご参照ください。
このトピックでは、単一ジョブのログを設定する方法について説明します。プロジェクト内のすべてのジョブのログを設定するには、「プロジェクト内のすべてのジョブのログ出力チャンネルを設定する」をご参照ください。