すべてのプロダクト
Search
ドキュメントセンター

Dataphin:OceanBase 入力コンポーネントの構成

最終更新日:Feb 06, 2025

OceanBase 入力コンポーネントを使用すると、OceanBase データソースからデータを読み取ることができます。OceanBase から他のデータソースにデータを同期する場合、OceanBase 入力コンポーネントでソースデータソース情報を構成し、次に同期のターゲットデータソースを構成します。このトピックでは、OceanBase 入力コンポーネントの構成プロセスについて説明します。

前提条件

  • OceanBase データソースが確立されていること。詳細については、「OceanBase データソースの作成」をご参照ください。

  • OceanBase 入力コンポーネントのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。必要な権限がない場合は、データソースから取得する必要があります。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。

手順

  1. Dataphin ホームページの上部にあるメニューバーから、[開発] > [data Integration] を選択します。

  2. 統合ページの上部にあるメニューバーから [プロジェクト] を選択します(開発 - 本番モードでは環境を選択する必要があります)。

  3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する [オフラインパイプライン] を選択して、構成ページにアクセスします。

  4. ページの右上にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルにアクセスします。

  5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。右側のリストにある [oceanbase] コンポーネントを見つけて、キャンバスにドラッグします。

  6. OceanBase 入力コンポーネントを構成するには、コンポーネントカードの image アイコンをクリックします。 [oceanbase] [入力構成] ダイアログボックスが開きます。

  7. [oceanbase 入力構成] ダイアログボックスで必要なパラメーターを構成します。

    パラメーター

    説明

    ステップ名

    OceanBase 入力コンポーネントの名前。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。命名規則は次のとおりです。

    • 日本語、英字、アンダースコア(_)、数字のみ使用できます。

    • 64 文字を超えることはできません。

    データソース

    データソースを選択します。データソースのドロップダウンリストには、現在の Dataphin 内のすべての OceanBase タイプのデータソースが表示されます。これには、リードスルー権限を持つデータソースと持たないデータソースの両方が含まれます。image アイコンをクリックして、現在のデータソース名をコピーします。

    • リードスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、データソースのリードスルー権限をリクエストできます。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。

    • OceanBase タイプのデータソースがない場合は、[作成] をクリックしてデータソースを作成します。詳細については、「OceanBase データソースの作成」をご参照ください。

    テーブル

    データ同期用のソーステーブルを選択します。テーブル名のキーワードを入力して検索するか、正確なテーブル名を入力して [精密検索] をクリックします。テーブルを選択すると、システムは自動的にテーブルステータスを検出します。image アイコンをクリックして、現在選択されているテーブルの名前をコピーします。

    シャードキー(オプション)

    システムは、構成されたシャードキーフィールドに基づいてデータシャーディングを実行します。これは、同時実行構成と組み合わせて使用して、同時読み取りを実現できます。ソースデータテーブルの列をシャードキーとして使用することをサポートしています。また、転送パフォーマンスを確保するために、プライマリキーまたはインデックス付き列をシャードキーとして使用することをお勧めします。

    重要

    日付時刻タイプを選択すると、システムは特定された最大値と最小値に基づいて、合計時間範囲と同時実行数に応じて、ブルートフォースシャーディングを実行します。平均は保証されません

    バッチ読み取り数(オプション)

    一度に読み取るデータエントリの数。ソースデータベースからデータを読み取るときに、1 つずつ読み取る代わりに特定のバッチ読み取り数(1024 レコードなど)を構成して、データソースとの対話回数を減らし、I/O 効率を向上させ、ネットワーク遅延を削減できます。

    入力フィルター(オプション)

    データを抽出するためのフィルター条件を構成します。構成手順は次のとおりです。

    • 静的フィールドの構成ds=20210101 などの対応するデータを抽出します。

    • 変数パラメーターの構成ds=${bizdate} など、データの一部を抽出します。

    出力フィールド

    出力フィールド領域には、選択したテーブルとフィルター条件に一致するすべてのフィールドが表示されます。次の操作を実行できます。

    • フィールド管理:特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、対応するフィールドを削除できます。

      • 単一フィールド削除シナリオ:少数のフィールドを削除する必要がある場合は、操作列の下にある sgaga アイコンをクリックして、余分なフィールドを削除できます。

      • バッチフィールド削除シナリオ:多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、image 左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動し、[確認] をクリックしてフィールドのバッチ削除を完了します。

        image..png

    • 一括追加[一括追加] をクリックすると、JSON、TEXT、または DDL 形式での一括構成がサポートされます

      • JSON 形式での一括構成。例:

        // 例:
          [{
             "index": 0,
             "name": "id",
             "type": "int(10)",
             "mapType": "Long",
             "comment": "comment1"
           },
           {
             "index": 1,
             "name": "user_name",
             "type": "varchar(255)",
             "mapType": "String",
             "comment": "comment2"
         }]
        説明

        インデックスは、指定されたオブジェクトの列番号を示します。名前は、インポート後のフィールド名を示します。タイプは、インポート後のフィールドタイプを示します。たとえば、"index":3,"name":"user_id","type":"String" は、ファイルの 4 番目の列がインポートされ、フィールド名が user_id、フィールドタイプが String であることを示します。

      • TEXT 形式での一括構成。例:

        // 例:
        0,id,int(10),Long,comment1
        1,user_name,varchar(255),Long,comment2
        • 行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行(\n)で、改行(\n)、セミコロン(;)、またはピリオド(.)をサポートしています。

        • 列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ(,)です。

      • DDL 形式での一括構成。例:

        CREATE TABLE tablename (
        	user_id serial,
        	username VARCHAR(50),
        	password VARCHAR(50),
        	email VARCHAR (255),
        	created_on TIMESTAMP,
        );
    • 出力フィールドの作成[+ 出力フィールドの作成] をクリックし、ページのプロンプトに従って、[列][タイプ][コメント] を入力し、[マッピングタイプ] を選択します。

    説明
    • パイプライン開発におけるフィールドタイプは、Dataphin システムによってソースフィールド条件に基づいて統一的にマッピングされます。手動で追加されたフィールドの場合は、Type(Length) の形式(例:int(10))でフィールドタイプを設定してください。

    • データソースが Dataphin クラスタとネットワーク相互接続されたデータソースとして選択されている場合、出力フィールドの各フィールドは削除のみをサポートし、編集はサポートしていません。

  8. [確認] をクリックして、[oceanbase 入力コンポーネント] のプロパティ構成を完了します。