すべてのプロダクト
Search

このプロダクト

    Dataphin:リアルタイムタスクのデバッグ

    ドキュメントセンター

    Dataphin:リアルタイムタスクのデバッグ

    最終更新日:Jun 05, 2026

    Dataphin では、デバッグセッションを実行し、本番環境にデプロイする前に Flink タスクのロジックを検証できます。デバッグでは、結果テーブルに出力を書き込まずに、サンプルデータに対してタスクが実行されます。そのため、本番データに影響を与えることはありません。

    デバッグには 2 つの方法があります：ローカルデバッグでは手動で用意したデータを使用し、セッションクラスターベースのデバッグではセッションクラスターから自動的に収集されたライブストリーミングデータを使用します。

    制限事項

    • Blink の場合、ローカルデバッグにはエンジンバージョン 3.6.0 以降が必要です。

    • DataStream タスクはデバッグをサポートしていません。

    • セッションクラスターベースのデバッグは、最新アーキテクチャでオープンソースの Flink エンジンをご利用のお客様のみが利用可能です。詳細については、テクニカルサポートにお問い合わせください。

    デバッグ方法の選択

    • ローカルデバッグ：クラスターなしで、手動でアップロードまたは入力したデータを使用してタスクを実行します。特定のテストデータがある場合や、ライブデータソースなしでロジックを検証したい場合に使用します。

    • セッションクラスターベースのデバッグ：セッションクラスターを使用して、本番のライブデータをストリーミング形式で収集します。新しいレコードがソーステーブルに到着すると、クラスターは各レコードの結果を計算し、本番環境の動作を模倣します。これにより、Flink タスクのステータス、ログ、出力をリアルタイムで可視化でき、実環境に近いデータでストリーミングロジックを検証するのに最適です。

      説明

      セッションクラスターベースのデバッグでは、デバッグ結果は結果テーブルに書き込まれません。

    デバッグセッションの開始

    1. Dataphin のホームページで、上部メニューの [Data Development] をクリックします。

    2. デバッグするタスクを選択し、[デバッグタスク] ダイアログボックスを開きます。

      image.png

      一度に有効にできるデバッグモードは 1 つだけです。選択したモードによって、Dataphin がデータをサンプリングする物理テーブルが決まります。

      • [リアルタイムモードのデバッグ]: 対応するリアルタイム物理テーブルからデータをサンプリングし、ローカルデバッグまたは セッションクラスターベースのデバッグを使用して、タスクを FLINK Stream モードで実行します。詳細については、「リアルタイムモードでのデバッグ」をご参照ください。

      • [オフラインモードデバッグ]：対応するオフライン物理テーブルからデータをサンプリングし、ローカルデバッグで FLINK バッチモードのタスクを実行します。 詳細については、「オフラインモードでデバッグする」をご参照ください。

    リアルタイムモードのデバッグ

    1. [デバッグタスク] ダイアログボックスで、[サンプリングモードの選択] タブで、[リアルタイムモード - FLINK ストリームタスク] を選択します。

      image.png

    2. [次へ] をクリックします。

    3. [Debug Data Source] を選択します。

      • 手動でのデータアップロード (ローカルデバッグ)

        テストデータは、[サンプルデータファイルのアップロード]、[手動でのデータ入力]、または[サンプルデータの自動生成]のいずれかで用意します。

        • サンプルデータファイルのアップロード

          まず、サンプルテンプレートをダウンロードします。Dataphin は、タスクが読み書きするテーブルのスキーマに基づいて、この CSV ファイルを自動的に生成します。テストデータを入力し、[アップロード] をクリックします。データは [メタデータサンプリング] エリアに表示されます。

        • 手動でのデータ入力

          画面上でデータを直接入力または編集します。小規模なデータセットや、既存のサンプリングデータを素早く修正する場合に最適です。

        • 自動でのデータサンプリング

          [自動サンプリング] をクリックすると、HBase、 MaxCompute、DataHub、または Kafka からランダムなレコードを取得できます。 このオプションは、特定のデータ要件がない場合に使用します。

          説明

          • Kafka の場合、自動サンプリングは JSON、CSV、Canal-JSON、Maxwell-JSON、および Debezium-JSON 形式をサポートします。

          • Kafka の場合、自動サンプリングは [No Authentication] とユーザー名とパスワード認証のみをサポートします。SSL はサポートされていません。

          • Kafka からサンプリングする場合、読み取るデータ範囲を指定できます。最大 100 レコードです。

      • オンラインデータの収集 (セッションクラスターベースのデバッグ)

        セッションクラスターを選択して、ライブデータを自動的に収集します。利用可能なクラスターがない場合は、まずクラスターを作成してください。詳細については、「セッションクラスターの作成」をご参照ください。

        説明

        • 実行中状態のセッションクラスターのみ選択可能です。

        • セッションクラスターは最大 1,000 レコードを収集します。

        image.png

    4. すべてのソーステーブルがサンプリングされた後、[OK] をクリックします。

    5. [結果] ページで、[デバッグ結果] を確認します。

      • 手動でのデータアップロード (ローカルデバッグ)

        gagag

      • オンラインデータの収集 (セッションクラスターベースのデバッグ)

        image.png

    オフラインモードのデバッグ

    1. [デバッグタスク] ダイアログボックスの [サンプリングモードの選択] タブで、[オフラインモード - FLINK バッチタスク] を選択します。

      image.png

    2. [次へ] をクリックします。

    3. [Debug Data Source] を選択します。

      • 手動でのデータアップロード (ローカルデバッグ)

        次の3つの方法のいずれかを使用してテストデータを提供してください：[サンプルデータファイルをアップロード]、[手動でデータを入力]、または[サンプルデータを自動生成]。

        • サンプルデータファイルのアップロード

          まず、サンプルテンプレートをダウンロードします。このテンプレートは、タスクが読み書きするテーブルのスキーマに基づいて Dataphin が自動的に生成する CSV ファイルです。テストデータを入力し、[アップロード] をクリックします。データは [メタデータサンプリング] 領域に表示されます。

        • 手動でのデータ入力

          画面上でデータを直接入力または編集します。小規模なデータセットや、既存のサンプリングデータを素早く修正する場合に最適です。

        • 自動でのデータサンプリング

          [自動サンプリング] をクリックすると、HBase、 MaxCompute、DataHub、または Kafka からランダムなレコードを抽出できます。特定のデータ要件がない場合は、このオプションを使用します。

          説明

          • Kafka の場合、自動サンプリングは JSON、CSV、Canal-JSON、Maxwell-JSON、および Debezium-JSON 形式をサポートします。

          • Kafka の場合、自動サンプリングは [No Authentication] とユーザー名とパスワード認証のみをサポートします。SSL はサポートされていません。

          • Kafka からサンプリングする場合、読み取るデータ範囲を指定できます。最大 100 レコードです。

      • Collect online data (session cluster-based debugging)

        Select an available Session cluster to collect live data automatically. If no cluster is available, create one first. For more information, see Create a Session cluster.

        説明

        • Only Session clusters in the Running state are available for selection.

        • A Session cluster collects a maximum of 1,000 records.

        image.png

    4. すべてのソーステーブルがサンプリングされたら、[OK] をクリックします。

    5. [結果] ページで、[デバッグデータ]、[中間結果]、および [デバッグ結果] を確認します。

      image.png

    付録：デバッグデータの自動サンプリング

    自動サンプリングを使用する場合、データソースは次の 2 つの要因によって決まります。メタテーブルの [Default read for task debugging] 設定と、タスクで使用されるテーブル構文です。

    • メタテーブルの [タスクデバッグ用のデフォルト読み取り] パラメーターは [開発テーブル] に設定されています。

      • タスクが構文 Project_Name_dev.metatable_name を使用する場合、システムは開発メタテーブルをサンプリングします。データソースに開発メタテーブルが存在しない場合、[自動サンプリング] はサポートされていません。

      • タスクが構文 Project_Name.metatable_name を使用する場合、システムは本番環境のメタテーブルをサンプリングします。本番環境のメタテーブルに対する権限がない場合はエラーが発生するため、まず権限を申請してください。詳細については、「テーブルの権限を申請する」をご参照ください。

      • タスクが構文 ${Project_Name}.metatable_name または metatable_name を使用する場合、システムは開発メタテーブルをサンプリングします。データソースに開発メタテーブルが存在しない場合、[自動サンプリング] はサポートされていません。

    • メタテーブルの [タスクデバッグ用のデフォルト読み取り] パラメーターは、[本番テーブル]に設定されています。

      • タスクが構文 Project_Name_dev.metatable_name を使用する場合、システムは開発メタテーブルをサンプリングします。データソースに開発メタテーブルが存在しない場合、[自動サンプリング] はサポートされません。

      • タスクが Project_Name.metatable_name という構文を使用する場合、システムは本番メタテーブルをサンプリングします。

      • タスクで構文 ${Project_Name}.metatable_name または metatable_name が使用されている場合、システムはパラメーター設定に基づいて ${Project_Name} 変数を自動的に置換し、本番メタテーブルと開発メタテーブルのどちらを使用するかを決定します。${Project_Name} が指定されていない場合、システムは本番メタテーブルを使用します。