Microservices Engine:ジョブの速度制限の構成

ジョブレベルの速度制限の仕組み

オープンソース版 XXL-JOB にはクライアントレベルで速度制限を行うブロッキング戦略が含まれています。この方式は単一のエグゼキュータ上でジョブをシリアルに実行しますが、複数のエグゼキュータが登録されている場合、グローバルなべき等性を保証できません。2 つのエグゼキュータが同時に同じジョブを取得してしまう可能性があります。

SchedulerX for XXL-JOB では、複数のエグゼキュータが構成されていてもグローバルなジョブのべき等性を保証するジョブレベルの速度制限をサポートすることで、この問題を解決しています。

実行時の動作：ジョブの実行が次のスケジューリング時刻まで継続している場合、次のスケジューリングはスキップされます。

ジョブレベルの速度制限の構成

1. SchedulerX for XXL-JOB コンソール にログインします。

2. ターゲットインスタンスを検索し、その ID をクリックします。

3. 左側のナビゲーションウィンドウで、タスク管理 をクリックします。

4. 対象のジョブを検索し、操作 列の 編集 をクリックします。

5. 基本構成ステップの 詳細設定 セクションで、タスク同時実行数 パラメーターを設定します。

タスク同時実行数 は、単一ジョブの最大同時実行数を制御します。

アプリケーションレベルの速度制限の仕組み

アプリケーション内に多数のジョブが同時にトリガーされる場合、バックエンドが過負荷になることがあります。たとえば、データプラットフォームアプリケーションには前日のオフラインデータを処理する数百のバッチジョブがあり、すべてのジョブが 00:30:00 に開始され、09:30 までに完了する必要があります。これらを一度にトリガーすると、バックエンドがクラッシュする可能性があります。

アプリケーションレベルの速度制限は、キューイングメカニズムとプリエンプティブスケジューリングにより、この問題に対処します。

• 構成可能なキューにより、アプリケーション全体での同時実行ジョブ数が制限されます。

• 超過したジョブはバックエンドを圧迫することなく、キュー内で待機します。

• 優先度の高いジョブが優先度の低いジョブをプリエンプトするため、重要なデータパイプラインが最初に完了します。

実行時の動作：タスク実行キュー サイズ の上限に達すると、新たにトリガーされたジョブは待機キューに格納されます。実行中のジョブが完了してスロットが空くと、待機キュー内で最も優先度の高いジョブが次にディスパッチされます。

アプリケーションレベルの速度制限の構成

1. SchedulerX for XXL-JOB コンソール にログインします。

2. ターゲットインスタンスを検索し、その ID をクリックします。

3. アプリケーション管理 ページで、対象のアプリケーションを検索し、操作 列の 編集 をクリックします。

4. 詳細設定 セクションで、フロー制御 を有効にします。

5. タスク実行キュー サイズ パラメーターを設定します。

たとえば、タスク実行キュー サイズ を 10 に設定すると、最大 10 個のジョブを同時に実行できます。それ以上のジョブがトリガーされた場合は、待機キューに格納されます。