ビジネスロジックを実装し、Realtime Compute ジョブを公開して開始したら、パフォーマンス要件を満たすようにジョブを最適化する必要があります。

目的

  • ジョブを開始して適切に実行します。
  • ジョブは、ビジネスパフォーマンスの要件を満たすために、適切なレイテンシとスループットを備えています。
  • リソースを効率的に使用できるため、コストを削減することができます。

手順

次の図は、ジョブの最適化の順番と手順を示しています。手順
  1. SQL コードの最適化

    具体的には、SQL の最適化は、ビジネス要件に基づいて適切な SQL の実装方法を選択することを示します。 たとえば、Group By 関数の最適化、データホットスポットの問題の解決、TopN アルゴリズムの最適化、効率的な組み込み関数の使用、重複排除パフォーマンスの最適化、または正規表現の使用の回避を行うことができます。 詳細については、「Flink SQL コードを最適化するためのスキル」をご参照ください。

  2. パラメーター設定の最適化
    • ジョブパラメーター設定に基づきパフォーマンスを最適化

      基盤となる最適化ポリシーを選択します。 たとえば、miniBatch を有効にして、状態データへのアクセスを減らすことができます。 詳細については、「ジョブパラメーター設定に基づいたパフォーマンスの最適化」をご参照ください。

    • パラメーター設定に基づいてアップストリームとダウンストリームのデータストレージを最適化

      アップストリームおよびダウンストリームストレージシステムで実行される、読み取りおよび書き込み操作を最適化します。 たとえば、一括でデータを読み取り、または書き込みをしてスループットを向上させることができます。 キャッシュポリシーを設定して、ディメンションテーブルの結合効率を向上させることもできます。 詳細については、「パラメーター設定に基づいたアップストリームとダウンストリームのデータストレージの最適化」をご参照ください。

  3. リソース設定を自動的に最適化

    ジョブの最適化を簡素化するために、Realtime Compute は自動設定最適化機能を提供しています。 ジョブの最適化には、自動設定最適化機能を使用することを推奨します。 Blink V3.x で自動設定最適化を実行する方法の詳細については、「AutoScale によるパフォーマンスの最適化」をご参照ください。

  4. リソース設定を手動で最適化するか、最適化プロセスを繰り返す
    • リソース設定を手動で最適化

      自動設定最適化が要件を満たさない場合、次のことができます。「マニュアル設定によるパフォーマンスの最適化」。

    • 最適化プロセスを繰り返す

      最適化の結果がビジネス要件を満たせない場合は、最適化プロセスを繰り返します。