Realtime Compute for Apache Flink:自動パフォーマンスチューニングの有効化

Autopilot 戦略

ワークロードの特性に基づいて戦略を選択します：

操作手順

1. Autopilot の設定ページに移動します。

   1. Realtime Compute for Apache Flink コンソールにログインします。

   2. 目的のワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

   3. 左側のナビゲーションペインで、[O&M] > [デプロイ] を選択し、対象のデプロイの名前をクリックします。

   4. [リソース] タブで、[Autopilot モード] サブタブを選択します。

2. [Autopilot] をオンにします。[Autopilot モード適用中] が [リソース] タブの下に表示されます。Autopilot を無効にするには、トグルをオフにするか、[Autopilot をオフにする] をクリックします。

3. [設定] セクションで [編集] をクリックしてストラテジーを選択し、パラメーターを設定します。

   (推奨) 適応型戦略

   適応型戦略のパラメーター

   パラメーター	説明
   [Max CPU]	ジョブが使用できる CPU コアの最大数。デフォルト： 64 コア。
   [Max Memory]	ジョブが使用できるメモリの最大量。デフォルト： 256 GiB。
   [Max Parallelism]	ジョブの並列度の最大値。デフォルト： 1,024。ApsaraMQ for Kafka、Message Queue、Simple Log Service、またはその他のメッセージキューサービスと統合されている場合、設定値がパーティション数を超えると、システムは自動的にこの値をパーティション数に制限します。
   [Min Parallelism]	ジョブの並列度の最小値。デフォルト： 1。
   [Scale Up Rules]	スケールアップをトリガーする条件。いずれか 1 つの条件が満たされると、アクションがトリガーされます。設定可能な条件： - 遅延が指定された期間、しきい値を超え続けること。 - オペレーターの平均ビジー率が指定された期間、しきい値を超え続けること。 - TaskManager のメモリ使用率が指定された期間、しきい値を超え続けること。 - メモリ不足 (OOM) エラーが発生すること。 - TaskManager または JobManager が 1 秒あたりにガベージコレクションに費やす時間が、指定された期間、しきい値を超え続けること。 説明 履歴データに基づいてしきい値を設定するか、最初は緩めの値から始めて徐々に厳しくしていくことを推奨します。しきい値のパーセンテージは 0〜100% の範囲です。適切な期間を設定することで、一時的な変動を除外し、過渡的なスパイクによるスケールアップを防ぐことができます。OOM は有効または無効にするだけで、しきい値は不要です。
   [Scale Down Rules]	スケールダウンをトリガーする条件。いずれか 1 つの条件が満たされると、アクションがトリガーされます。設定可能な条件： - オペレーターの平均ビジー率が指定された期間、しきい値を下回り続けること。 - TaskManager のメモリ使用率が指定された期間、しきい値を下回り続けること。
   [Advanced Rules]	現在はテスト中であり、一般には利用できません。高度なルールを有効にするには、お問い合わせください。

   安定戦略

   安定戦略のパラメーター

   パラメーター	説明
   [Cooldown Minutes]	Autopilot によってトリガーされる再起動の最小間隔。デフォルト： 10 分。
   [Max CPU]	ジョブが使用できる CPU コアの最大数。デフォルト： 16 コア。
   [Max Memory]	ジョブが使用できるメモリの最大量。デフォルト： 64 GiB。
   [Max Delay]	許容されるソースの最大遅延時間。デフォルト： 1 分。
   [More Configurations]	高度なパラメーター (以下の表をご参照ください)。

   安定戦略：高度なパラメーター

   パラメーター	説明	デフォルト
   mem.scale-down.interval	メモリのスケールダウン間の最小間隔。このウィンドウ内でメモリ使用率が設定されたしきい値を下回り続けると、システムはメモリ削減を調整または推奨します。	4 時間
   parallelism.scale.max	並列度の最大値。-1 は無制限を意味します。ApsaraMQ for Kafka、Message Queue、Simple Log Service、またはその他のメッセージキューサービスと統合されている場合、システムは自動的にこの値をパーティション数に制限します。	-1
   parallelism.scale.min	並列度の最小値。	1
   delay-detector.scale-up.threshold	スケールアップをトリガーする前に許容されるソースの最大遅延。処理能力の不足により遅延がこの値に達した場合、システムは並列度を上げるか、オペレーターの連鎖を解除してスループットを向上させます。	1 分
   slot-usage-detector.scale-up.threshold	非ソースオペレーターの計算/IO リソースの使用率の上限しきい値。オペレーターの処理時間比率がこの値を上回り続けると、Flink は並列度を上げます。	0.8
   slot-usage-detector.scale-down.threshold	非ソースオペレーターの計算/IO リソースの使用率の下限しきい値。オペレーターの処理時間比率がこの値を下回り続けると、Flink は並列度を下げます。	0.2
   slot-usage-detector.scale-up.sample-interval	Flink が非ソースオペレーターのビジー率をサンプリングし、スケールアップおよびスケールダウンのしきい値と比較する間隔。	3 分
   resources.memory-scale-up.max	TaskManager または JobManager がスケールアップする際のメモリサイズの最大値。	16 GiB

4. [保存] をクリックします。

リソースプランの保存

[安定戦略]を使用しているジョブが収束すると、システムは保存して適用できるリソースプランを生成します。利用可能なプランは 2 種類あります：

固定リソースプランを保存して適用するには：

[Autopilot モード適用中] バナーで、[詳細] をクリックします。表示されたパネルで、[推奨プラン] を [指定リソース] に設定し、[保存] をクリックします。確認ダイアログボックスで、[確認] をクリックします。

スケジュールプランを保存して適用するには：

「スケジュールプランの保存と適用」をご参照ください。

例

この例では、毎日のトラフィックパターンを使用します：ピーク時は 09:00:00 から 19:00:00 までで 30 コンピュートユニット (CU)、オフピーク時は 19:00:00 から翌日の 09:00:00 までで 10 CU です。スケジュールチューニングの設定は次のとおりです。

スケジュールされたチューニング設定パネル [朝のピークと夜のピーク] には、[ジョブマネージャー] の CPU が 1 コア、メモリが 4 GiB、[タスクマネージャー] の CPU が 1 コア、メモリが 4 GiB、TaskManager あたりの [スロット数] が 4、[システムチェックポイントの間隔] が 0.1 秒、2 つのシステムチェックポイント間の [最小間隔] が 0.1 秒、[状態データ有効期限] が 0 時間、[Flink 再起動戦略] が failure-rate という、同じリソースパラメーターを持つ 2 つのルールが含まれています。