オペレータープロファイリング機能を使用すると、デプロイメントを変更することなく、デプロイメントの中間結果を表示できます。 この機能は、データの正確性の確認を簡素化し、人的資源の効率と事業継続性を向上させ、主要なリアルタイムサービスの停止時間を短縮します。 このトピックでは、オペレータープロファイリングを実行する方法について説明します。
背景情報
フルマネージドFlinkデプロイメントでO&Mを実行すると、結果が期待どおりにならない場合があります。 これは、データの正確性の問題と見なされます。 データの正確性の問題の原因は複雑で、特定が困難です。 ほとんどの場合、SQLデプロイメントを論理的に分解し、Printコネクタを使用して各ステップの結果を出力してから、結果を分析して考えられる原因を特定できます。 このプロセスは時間がかかり、テストデータとオンラインデータの違いや状態データの不整合が原因で、原因を特定できない場合があります。 そのため、データの正確性の問題を解決するには長い時間がかかり、デプロイメントを複数回キャンセルしてから開始する必要があります。 データの正確性の問題を解決するために、Realtime Compute for Apache Flinkはオペレータープロファイリング機能を提供します。 この機能を使用すると、デプロイメントを変更することなく、特定のオペレーターの入力と出力を表示できます。 これにより、データの正確性の問題を効率的にトラブルシューティングできます。
制限事項
オペレータープロファイリング機能は、実行中のSQLデプロイメントのみをサポートします。
オペレータープロファイリング機能は、Ververica Runtime (VVR) 8.0.4以降を使用するデプロイメントのみをサポートします。
CREATE TABLE ASステートメントまたはCREATE DATABASE ASステートメントを実行するデプロイメントは、オペレータープロファイリング機能をサポートしていません。
セッションクラスターにデプロイされたデプロイメントは、オペレータープロファイリング機能をサポートしていません。
前のオペレータープロファイリング操作が完了した場合にのみ、オペレータープロファイリングを再度実行できます。
手順
Realtime Compute for Apache Flinkコンソールにログインします。 フルマネージドFlinkタブで、管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
左側のナビゲーションペインで、 をクリックします。
[デプロイメント] ページで、目的のデプロイメントを見つけ、デプロイメントの名前をクリックします。 デプロイメントの詳細ページで、[ステータス] タブをクリックします。
オペレータープロファイリング機能を有効にします。
[オペレーターの監視] をオンにします。
検出するオペレーターを1つ以上選択します。
[最大サンプリング期間] パラメーターを設定します。
[最大サンプリング期間] パラメーターは、1分から30分までの値に設定できます。 サンプリングプロセス中に最大ストレージに達した場合、サンプリングは終了します。
[開始] をクリックします。 [監視ステータス] パラメーターの値が [サンプリング中] に変わります。
説明前のオペレータープロファイリング操作が完了した場合にのみ、オペレータープロファイリングを再度実行できます。
オペレータープロファイリングの結果を表示します。
[taskmanagerログ一覧ページ] をクリックして [実行中のTaskManager] タブに移動し、[ログ名] が inspect-taskmanager_0.out であるログを表示します。
次の図は結果を示しています。 [ステータス] タブの有向非巡回グラフ (DAG) 内のオペレーター名をコピーし、[ログ] タブでオペレーター名でオペレーター出力を検索できます。
オペレータープロファイリングの終了
JobManagerまたはTaskManagerのフェイルオーバーが発生した場合、デプロイメントのオペレータープロファイリングは自動的に停止します。
最大ストレージに達すると、サンプリングは終了します。
サンプリング時間が経過すると、オペレータープロファイリングは停止します。
オペレータープロファイリングを手動で停止できます。