すべてのプロダクト
Search

このプロダクト

    Dataphin:PolarDB-X (旧 DRDS) 出力ウィジェットの構成

    ドキュメントセンター

    Dataphin:PolarDB-X (旧 DRDS) 出力ウィジェットの構成

    最終更新日:Feb 06, 2025

    PolarDB-X 出力ウィジェットを使用すると、PolarDB-X データソースにデータを書き込むことができます。他のソースから PolarDB-X にデータを同期する場合、ソースデータを設定した後、PolarDB-X 出力ウィジェットでターゲットデータソースを構成します。このトピックでは、PolarDB-X 出力ウィジェットの構成プロセスについて説明します。

    前提条件

    • PolarDB-X データソースが作成されていること。詳細については、「PolarDB-X データソースの作成」をご参照ください。

    • PolarDB-X 出力ウィジェットのプロパティを構成するには、アカウントにデータソースに対する必要なライトスルー権限が必要です。これらの権限がない場合は、データソースに対する権限を取得する必要があります。詳細については、「データソース権限の要求、更新、および返却」または「」をご参照ください。

    手順

    1. Dataphin ホームページで、トップメニューバーから [開発] > [data Integration] に移動します。

    2. 統合ページで、トップメニューバーから プロジェクト環境 を選択します (開発-本番モードでは を選択します)。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する オフラインパイプライン を選択して、構成ページにアクセスします。

    4. [コンポーネントライブラリ] パネルを開くには、ページの右上隅にある [コンポーネントライブラリ] をクリックします。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[出力] を選択します。次に、右側の出力ウィジェットリストで [polardb-x (旧 DRDS)] ウィジェットを見つけて、キャンバスにドラッグします。

    6. image アイコンをクリックしてドラッグし、ターゲットの入力、変換、またはフローウィジェットを PolarDB-X (旧 DRDS) 出力ウィジェットに接続します。

    7. ウィジェットを構成するには、PolarDB-X (旧 DRDS) 出力ウィジェットカードの image アイコンをクリックします。 [polardb-x (旧 DRDS) 出力構成] ダイアログボックスが開きます。

      image

    8. [polardb-x (旧 DRDS) 出力構成] ダイアログボックスで、必要なパラメーターを設定します。

      パラメーター

      説明

      [基本設定]

      [ステップ名]

      これは PolarDB-X 出力ウィジェットの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。名前は次の要件を満たしている必要があります。

      • 日本語、英字、アンダースコア (_)、数字のみ使用できます。

      • 64 文字以内にする必要があります。

      [データソース]

      データソースのドロップダウンリストには、ライトスルー権限を持つデータソースと持たないデータソースを含む、すべての PolarDB-X タイプのデータソースが表示されます。image アイコンをクリックして、現在のデータソース名をコピーします。

      • ライトスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、ライトスルー権限をリクエストできます。具体的な操作については、「データソース権限のリクエスト」をご参照ください。

      • PolarDB-X タイプのデータソースがない場合は、[データソースの作成] をクリックしてデータソースを作成します。具体的な操作については、「PolarDB-X データソースの作成」をご参照ください。

      [テーブル]

      出力データのターゲットテーブルを選択します。テーブル名のキーワードを入力して検索するか、正確なテーブル名を入力して [精密検索] をクリックします。テーブルを選択すると、システムは自動的にテーブルステータス検出を実行します。image アイコンをクリックして、現在選択されているテーブルの名前をコピーします。

      [読み込みポリシー]

      ターゲットテーブルにデータを書き込むためのポリシーを選択します。[読み込みポリシー] には以下が含まれます。

      • [データの上書き] は、ターゲットテーブルの既存データが現在のソーステーブルに基づいて上書きされることを意味します。

      • [データの追加] は、既存データを変更せずに、ターゲットテーブルの既存データにデータが追加されることを意味します。

      [バッチ書き込みデータ量] (オプション)

      一度に書き込まれるデータのサイズ。[バッチ書き込み数] を設定することもできます。システムは、2 つの構成のうち最初に達した制限に従ってデータを書き込みます。デフォルトは 32M です。

      [バッチ書き込み数] (オプション)

      デフォルトは 2048 エントリです。データが同期および書き込まれる場合、バッチ書き込み戦略が使用されます。設定されるパラメーターには、[バッチ書き込み数] と [バッチ書き込みデータ量] が含まれます。

      • 累積データ量が設定された制限 (つまり、バッチ書き込みデータ量または数の制限) のいずれかに達すると、システムはデータのバッチが一杯になったと見なし、このバッチデータをすぐにターゲットエンドに一度に書き込みます。

      • バッチ書き込みデータ量を 32MB に設定することをお勧めします。バッチ挿入数の上限については、1 レコードの実際のサイズに応じて柔軟に調整できます。通常は、バッチ書き込みのメリットを最大限に活用するために、より大きな値に設定されます。たとえば、1 レコードのサイズが約 1KB の場合、バッチ挿入バイトサイズを 16MB に設定できます。この条件を考慮して、バッチ挿入数を 16MB を 1 レコードのサイズ 1KB で割った結果よりも大きく設定します (つまり、16384 エントリより大きく)。ここでは、20000 エントリに設定されていると仮定します。このような構成の後、システムはバッチ挿入バイトサイズに基づいてバッチ書き込み操作をトリガーします。累積データ量が 16MB に達するたびに、書き込みアクションが実行されます。

      [準備ステートメント] (オプション)

      データインポート前にデータベースで実行される SQL スクリプト。

      たとえば、サービスの継続的な可用性を確保するために、現在のステップがデータを書き込む前に、まずターゲットテーブル Target_A を作成し、ターゲットテーブル Target_A への書き込みを実行し、現在のステップがデータを書き込んだ後に、データベースで継続的にサービスを提供するテーブル Service_B の名前を Temp_C に変更し、次にテーブル Target_A の名前を Service_B に変更し、最後に Temp_C を削除します。

      [終了ステートメント] (オプション)

      データインポート後にデータベースで実行される SQL スクリプト。

      [フィールドマッピング]

      [入力フィールド]

      入力フィールドは、アップストリームウィジェットの出力に基づいて表示されます。

      [出力フィールド]

      出力フィールドが表示されます。次の操作を実行できます。

      • フィールド管理: [フィールド管理] をクリックして出力フィールドを選択します。

        image

        • gaagag アイコンをクリックして、[選択済みの入力フィールド] を [選択されていない入力フィールド] に移動します。

        • agfag アイコンをクリックして、[選択されていない入力フィールド] を [選択済みの入力フィールド] に移動します。

      • 一括追加: [一括追加] をクリックすると、JSON、TEXT 形式、または DDL 形式での一括構成がサポートされます。

        • JSON 形式での一括構成。例:

          // 例:
[{
  "name": "user_id",
  "type": "String"
 },
 {
  "name": "user_name",
  "type": "String"
 }]
          説明

          name は導入されるフィールドの名前を示し、type は導入後のフィールドのタイプを示します。たとえば、"name":"user_id","type":"String" は、user_id という名前のフィールドが導入され、フィールドタイプが String に設定されていることを示します。

        • TEXT 形式での一括構成。例:

          // 例:
user_id,String
user_name,String

          • 行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行 (\n) で、改行 (\n)、セミコロン (;)、またはピリオド (.) をサポートできます。

          • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ (,) です。

        • DDL 形式での一括構成。例:

          CREATE TABLE tablename (
    id INT PRIMARY KEY,
    name VARCHAR(50),
    age INT
);

      • 新しい出力フィールドの作成: [+ 新しい出力フィールドを作成] をクリックし、ページのプロンプトに従って [列] に入力し、[タイプ] を選択します。現在の行の構成が完了したら、image アイコンをクリックして保存します。

      [クイックマッピング]

      アップストリームからの入力とターゲットテーブルのフィールドに基づいて、フィールドマッピングを手動で選択できます。[クイックマッピング] には、[行マッピング] と [名前マッピング] が含まれます。

      • 名前マッピング: 同じフィールド名を持つフィールドをマッピングします。

      • 行マッピング: ソーステーブルとターゲットテーブルのフィールド名が一致しませんが、フィールドの対応する行のデータをマッピングする必要があります。同じ行のフィールドのみをマッピングします。

    9. [確認] をクリックして、[polardb-x] 出力ウィジェットのプロパティ構成を完了します。