すべてのプロダクト
Search
ドキュメントセンター

Dataphin:ミラーテーブルを作成する

最終更新日:Feb 06, 2025

ミラーテーブルは、Flink 計算タスクにおけるストリーミングテーブルとオフラインテーブルの管理を容易にします。このトピックでは、ミラーテーブルの作成プロセスについて説明します。

背景情報

Flink タスクでリアルタイム処理とオフライン処理の両方が必要なシナリオでは、開発者はストリーミングテーブルとオフラインテーブルの両方を処理する必要があります。 Dataphin では、ストリーミングテーブルとオフラインテーブルの両方に対する単一の参照ポイントとして機能するミラーテーブルを作成できるため、これが簡素化されます。これにより、リアルタイムインスタンスとオフラインインスタンスが自動的に生成されるため、計算タスクの開発が合理化され、開発効率が向上します。

ステップ 1:ミラーテーブルを作成する

  1. Dataphin ホームページに移動し、トップメニューバーから [開発] を選択します。

  2. 以下に示す操作ガイドを使用して、[ストリーミングテーブル] ダイアログボックスにアクセスします。

    image

  3. [テーブルの作成] ダイアログボックスで、パラメーターを次のように設定します。

    パラメーター

    説明

    テーブルの種類

    [ミラーテーブル] を種類として選択します。

    テーブル名

    名前が以下の基準に準拠していることを確認します。

    • 英字、数字、およびアンダースコア(_)を使用します。

    • 名前は数字で始めることはできません。

    • 名前は最大 64 文字に制限します。

    ストレージディレクトリ

    デフォルトのディレクトリはテーブル管理です。または、[テーブル] ページでミラーテーブルのディレクトリとしてターゲットフォルダを作成して選択します。image

    説明

    1000 文字以内で簡潔な説明を入力します。

  4. 構成したら、[OK] をクリックします。

  5. プライマリテーブル開発ページに進み、フィールドを追加します。

    システムは、新しいプライマリテーブルフィールドを追加するためのいくつかのメソッドを提供しています。

    • SQL 文インポートフィールド:

      1. [SQL インポートフィールド] を選択します。

      2. [SQL インポート] ダイアログボックスで、[参照例] を選択して、フィールドのインポートコードの記述をガイドするコードサンプルにアクセスします。コードの例を以下に示します。

        create table dwi_pub_hbd_cate_mtr (
          rowkey VARCHAR comment 'rowkey',
          stat_date VARCHAR comment 'stat_date',
          keymin VARCHAR comment 'keymin',
          PRIMARY KEY(rowkey)
        )
      3. [OK] をクリックして確認します。

    • 一括インポートフィールド:

      1. [一括インポート] を選択します。

      2. [一括インポート] ダイアログボックスで、例をガイドとして使用して、一括インポートコードを記述します。

        rowkey||VARCHAR||rowkey
        rowkey1||VARCHAR||rowkey1
        rowkey2||VARCHAR||rowkey2
        stat_date||VARCHAR||stat_date
        keymin||VARCHAR||keymin
      3. [OK] をクリックして確認します。

    • 単一行追加フィールド:

      1. [単一行追加] をクリックします。

      2. [単一行追加] ダイアログボックスで、[フィールド名][説明] を入力し、[フィールドタイプ] を選択します。

      3. 完了するには、[OK] をクリックします。

    既存のテーブルにフィールドを追加するには、プライマリテーブル表示ボックスの右上にある gege アイコンをクリックし、フィールドを追加するための適切なメソッドを選択します。

ステップ 2:ストリーミングテーブルとオフラインテーブルを関連付ける

  1. プライマリテーブル開発ページで、[関連付けられたテーブルを選択] を選択します。

    image

  2. [関連付けの作成] ダイアログボックスで、関連付けられたストリーミングテーブルとオフラインテーブルを指定します。

    関連付けられたテーブル

    パラメーター

    説明

    関連付けられたストリーミングテーブル

    プロジェクトの選択

    関連付けられたストリーミングテーブルのプロジェクトを選択します。

    ストリーミングテーブルの選択

    関連付けるストリーミングテーブルを選択します。

    関連付けられたオフラインテーブル

    プロジェクトの選択

    関連付けられたオフラインテーブルのプロジェクトを選択します。

    オフラインテーブルの選択

    関連付けるオフラインテーブルを選択します。

  3. [OK] をクリックして関連付けを確認します。

  4. ミラーテーブル開発ページで、接続線上の 1 アイコンをクリックします。 [関連付けの置換] ダイアログボックスで、関連付けられたストリーミングテーブルとオフラインテーブルを更新します。

    説明

    ファイルを作成した後、接続線上の 1 アイコンをクリックします。 [関連付けの置換] ダイアログボックスで、[OK] をクリックして、関連付けられた置換の関連付けを削除します。

    関連付けられたテーブル

    パラメーター

    説明

    関連付けられたストリーミングテーブル

    プロジェクトの選択

    関連付けられたストリーミングテーブルのプロジェクトを選択します。

    ストリーミングテーブルの選択

    ストリーミングテーブルを選択します

    関連付けられたオフラインテーブル

    プロジェクトの選択

    関連付けられたオフラインテーブルのプロジェクトを選択します。

    オフラインテーブルの選択

    オフラインテーブルを選択します

  5. [OK] をクリックして完了します。

  6. 次に、フィールドを関連付けます。

    フィールドは、次の方法を使用して関連付けることができます。

    • 手動関連付け:

      ストリーミングテーブルとオフラインテーブルで対応するフィールドを選択し、プライマリテーブルで関連フィールドをクリックして、接続線で示される関連付けを作成します。 image.png

      関連付けを削除するには、接続線上の gag をクリックし、[フィールドの関連付けの削除] ダイアログボックスで [OK] を選択します。

    • 自動関連付け:

      ページ上部にある [自動関連付け] を選択すると、システムがミラーテーブル、ストリーミングテーブル、およびオフラインテーブル全体で同じ名前のフィールドを自動的にリンクし、必要な接続を作成します。

      既存の関連付けは、自動プロセスによって上書きされます。

    • 一括関連付け:

      1. ページ上部にある [一括関連付け] をクリックします。

      2. [一括関連付け] ダイアログボックスで、[参照例] を参照し、それに従ってフィールド関連付けのコードを作成します。

        Mirror Table Field, Streaming Table Field, Offline Table Field
        Mirror Table Field, Streaming Table Field, Offline Table Field
        Mirror Table Field, Streaming Table Field, Offline Table Field
      3. [OK] をクリックして確認します。

ステップ 3:ミラー関係をプレビューする

ミラーテーブル開発ページで、[ミラー関係プレビュー] パネルがページの右側に表示されます。 [ミラー関係プレビュー] パネルで、ストリーミングテーブル、オフラインテーブル、およびミラーテーブル間のマッピング関係を表示します。

[ミラー関係プレビュー] パネルが閉じている場合は、ページの右上にある gegeg アイコンをクリックして再度開きます。

ステップ 4:ミラーテーブルを送信または公開する

  1. ミラーテーブル開発ページの上部にある 1 アイコンをクリックして、ミラーテーブルを保存します。

  2. 続行するには、ページ上部にある 1 アイコンをクリックします。

  3. [送信の備考] ダイアログボックスで、必要な備考を入力します。

  4. [OK と送信] をクリックして送信を完了します。

  5. (オプション)

    必要に応じて、ミラーテーブルを本番環境に公開します。

    現在のプロジェクトの開発パターンに応じて、ミラーテーブルを公開する必要があるかどうかを判断します。

    • 基本モードのプロジェクトの場合、正常に送信されたミラーテーブルは自動的に本番環境に移動するため、公開は不要です。

    • 開発 - 本番モードのプロジェクトの場合、ミラーテーブルを本番環境に移行するには、ミラーテーブルを公開する必要があります。