Realtime Compute for Apache Flink:動的スケーリングのパラメーター設定を動的に更新する

背景情報

デプロイメントに従来のパラメーター更新方法を使用する場合、デプロイメントを再起動する必要があります。サービスの中断、データのバックトラックの遅延、リソース消費の急増などの問題が発生する可能性があります。これは、デプロイメントのキャンセル時間を長引かせ、ビジネスの継続性に影響を与える可能性があります。

動的パラメーター更新機能を使用すると、実行中のデプロイメントに REST リクエストが送信されます。この機能により、デプロイメントは既存の JobManager と TaskManager を再利用でき、システムはインプレース再起動を実行することでデプロイメントのパラメーター設定を更新したり、デプロイメントを再起動せずにパラメーター設定を更新したりできます。これにより、デプロイメントの再起動によるコストが削減されます。動的パラメーター更新機能は、リソースの事前適用および状態の遅延読み込み機能と組み合わせて使用され、デプロイメントのパラメーター設定が更新された後のデプロイメントの起動を高速化します。これにより、パラメーター更新によるサービス中断時間が数分から数秒に短縮されます。たとえば、データの読み取り、マップ、書き込み操作を実行するデプロイメントに対して動的スケーリングを実行する場合、動的パラメーター更新機能を使用して、サービス中断時間を大幅に短縮できます。次の図は、動的パラメーター更新と従来のパラメーター更新のサービス中断時間の比較を示しています。

制限事項

• 次のパラメーターの値を動的に変更できます。並列処理、チェックポイント間隔、チェックポイントタイムアウト時間、チェックポイント間の最小間隔。デプロイメントのパラメーター設定を動的に更新するときに、動的に更新できないパラメーターの値を変更した場合は、デプロイメントを再起動して新しいパラメーター設定を有効にする必要があります。

• Ververica Runtime（VVR） 8.0.1 以降を使用する Realtime Compute for Apache Flink のみ、動的パラメーター更新機能をサポートしています。

• エキスパートモード（きめ細かいリソース設定）では、並列処理パラメーターを動的に更新することはできません。

使用上の注意

• 動的パラメーター更新は実験的な機能です。パラメーター設定が動的に更新されると、サービスが中断される場合があります。従来のパラメーター更新方法と比較して、動的パラメーター更新はサービス中断時間を大幅に短縮できます。サービス中断時間は、デプロイメントトポロジや状態サイズなどの要因の影響を受けます。ほとんどの場合、サービス中断時間は 5 秒から 1 分です。

• パラメーターの値を動的に変更し、実行中のデプロイメントに対してのみパラメーター設定を有効にすることができます。

• 並列度が指定されていないノードの並列度のみを動的に変更できます。ノードの並列度が指定されている場合、Realtime Compute for Apache Flink では並列度の手動構成はスキップされます。これは、特定のシナリオではノードの並列度に特別な要件があるためです。たとえば、グローバルオペレーターの並列度は 1 でなければならず、変更できません。並列度がパーティション数を超えないように、Kafka ソースノードの並列度を明示的に指定する必要があります。ノードの並列度を動的に更新したい場合は、DataStream#setParallelism メソッドを使用したり、ソースまたはシンクオペレーターの並列度パラメーターを構成したりして、オペレーターの並列度を指定しないことをお勧めします。

• [Parallelism]、[Checkpointing Interval]、[Checkpoint Timeout]、および [Min Interval Between Checkpoints] パラメーターのみが動的更新をサポートします。これらのサポートされているパラメーターのいずれかを変更した後にのみ、[動的更新] ボタンが表示されます。ボタンをクリックすると変更が有効になります。動的更新をサポートしないパラメーターも変更した場合は、それらの変更を有効にするためにデプロイメントを再起動する必要があります。

手順

1. [デプロイメント] ページに移動します。

   1. Realtime Compute for Apache Flink コンソール にログオンします。

   2. 管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

   3. 左側のナビゲーションウィンドウで、[オペレーションセンター] > [デプロイメント] を選択します。デプロイメントページで、[実行中] のターゲットデプロイメントの名前をクリックします。

2. [設定] タブで、[リソース] または [パラメーター] セクションの右上隅にある [編集] をクリックします。

3. 動的に更新できるパラメーターの値を変更し、[保存] をクリックします。

4. [デプロイメント] ページの右上隅にある [ホットアップデート] をクリックします。

   重要

   次のパラメーターの値を動的に変更できます: [Parallelism]、[Checkpointing Interval]、[Checkpointing Timeout Time]、および [Min Interval Between Checkpoints]。デプロイメントのパラメーター構成を動的に更新する際に、動的に更新できないパラメーターの値を変更した場合、新しいパラメーター構成を有効にするにはデプロイメントを再起動する必要があります。

   

5. 表示されるメッセージで情報を確認し、[OK] をクリックします。

   [OK] をクリックすると、動的パラメーター更新を示すアイコンが表示されます。

   

参照

• 動的に更新できないパラメーターの構成への変更をデプロイメントで有効にするには、デプロイメントのデプロイメントページの [設定] タブでパラメーター構成を変更してから、デプロイメントを再起動します。詳細については、「デプロイメントを設定する」および「デプロイメントを開始する」をご参照ください。

• 自動調整機能は、デプロイメントの並列処理とリソース設定を調整して、パフォーマンス調整の問題を解決するのに役立ちます。詳細については、「自動調整を設定する」をご参照ください。

• インテリジェントデプロイメント診断機能は、デプロイメントの正常性状態を監視し、エラーログ、異常な操作、およびリスクを分析および診断するのに役立ちます。この機能は、理解しやすく適用可能な診断の提案も提供します。詳細については、「インテリジェントデプロイメント診断を実行する」をご参照ください。