OceanBase 入力コンポーネントを使用すると、OceanBase データソースからデータを読み取ることができます。OceanBase から他のデータソースにデータを同期する場合、OceanBase 入力コンポーネントでソースデータソース情報を構成し、次に同期のターゲットデータソースを構成します。このトピックでは、OceanBase 入力コンポーネントの構成プロセスについて説明します。
前提条件
OceanBase データソースが確立されていること。詳細については、「OceanBase データソースの作成」をご参照ください。
OceanBase 入力コンポーネントのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。必要な権限がない場合は、データソースから取得する必要があります。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。
手順
Dataphin ホームページの上部にあるメニューバーから、[開発] > [data Integration] を選択します。
統合ページの上部にあるメニューバーから [プロジェクト] を選択します(開発 - 本番モードでは環境を選択する必要があります)。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する [オフラインパイプライン] を選択して、構成ページにアクセスします。
ページの右上にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルにアクセスします。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。右側のリストにある [oceanbase] コンポーネントを見つけて、キャンバスにドラッグします。
OceanBase 入力コンポーネントを構成するには、コンポーネントカードの
アイコンをクリックします。 [oceanbase] [入力構成] ダイアログボックスが開きます。[oceanbase 入力構成] ダイアログボックスで必要なパラメーターを構成します。
パラメーター
説明
ステップ名
OceanBase 入力コンポーネントの名前。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。命名規則は次のとおりです。
日本語、英字、アンダースコア(_)、数字のみ使用できます。
64 文字を超えることはできません。
データソース
データソースを選択します。データソースのドロップダウンリストには、現在の Dataphin 内のすべての OceanBase タイプのデータソースが表示されます。これには、リードスルー権限を持つデータソースと持たないデータソースの両方が含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。リードスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、データソースのリードスルー権限をリクエストできます。詳細については、「データソース権限の要求、更新、および返却」をご参照ください。
OceanBase タイプのデータソースがない場合は、[作成] をクリックしてデータソースを作成します。詳細については、「OceanBase データソースの作成」をご参照ください。
テーブル
データ同期用のソーステーブルを選択します。テーブル名のキーワードを入力して検索するか、正確なテーブル名を入力して [精密検索] をクリックします。テーブルを選択すると、システムは自動的にテーブルステータスを検出します。
アイコンをクリックして、現在選択されているテーブルの名前をコピーします。シャードキー(オプション)
システムは、構成されたシャードキーフィールドに基づいてデータシャーディングを実行します。これは、同時実行構成と組み合わせて使用して、同時読み取りを実現できます。ソースデータテーブルの列をシャードキーとして使用することをサポートしています。また、転送パフォーマンスを確保するために、プライマリキーまたはインデックス付き列をシャードキーとして使用することをお勧めします。
重要日付時刻タイプを選択すると、システムは特定された最大値と最小値に基づいて、合計時間範囲と同時実行数に応じて、ブルートフォースシャーディングを実行します。平均は保証されません。
バッチ読み取り数(オプション)
一度に読み取るデータエントリの数。ソースデータベースからデータを読み取るときに、1 つずつ読み取る代わりに特定のバッチ読み取り数(1024 レコードなど)を構成して、データソースとの対話回数を減らし、I/O 効率を向上させ、ネットワーク遅延を削減できます。
入力フィルター(オプション)
データを抽出するためのフィルター条件を構成します。構成手順は次のとおりです。
静的フィールドの構成:
ds=20210101などの対応するデータを抽出します。変数パラメーターの構成:
ds=${bizdate}など、データの一部を抽出します。
出力フィールド
出力フィールド領域には、選択したテーブルとフィルター条件に一致するすべてのフィールドが表示されます。次の操作を実行できます。
フィールド管理:特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、対応するフィールドを削除できます。
単一フィールド削除シナリオ:少数のフィールドを削除する必要がある場合は、操作列の下にある
アイコンをクリックして、余分なフィールドを削除できます。バッチフィールド削除シナリオ:多数のフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、
左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動し、[確認] をクリックしてフィールドのバッチ削除を完了します。
一括追加:[一括追加] をクリックすると、JSON、TEXT、または DDL 形式での一括構成がサポートされます。
JSON 形式での一括構成。例:
// 例: [{ "index": 0, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" }, { "index": 1, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" }]説明インデックスは、指定されたオブジェクトの列番号を示します。名前は、インポート後のフィールド名を示します。タイプは、インポート後のフィールドタイプを示します。たとえば、
"index":3,"name":"user_id","type":"String"は、ファイルの 4 番目の列がインポートされ、フィールド名が user_id、フィールドタイプが String であることを示します。TEXT 形式での一括構成。例:
// 例: 0,id,int(10),Long,comment1 1,user_name,varchar(255),Long,comment2行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行(\n)で、改行(\n)、セミコロン(;)、またはピリオド(.)をサポートしています。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ(,)です。
DDL 形式での一括構成。例:
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
出力フィールドの作成:[+ 出力フィールドの作成] をクリックし、ページのプロンプトに従って、[列]、[タイプ]、[コメント] を入力し、[マッピングタイプ] を選択します。
説明パイプライン開発におけるフィールドタイプは、Dataphin システムによってソースフィールド条件に基づいて統一的にマッピングされます。手動で追加されたフィールドの場合は、
Type(Length)の形式(例:int(10))でフィールドタイプを設定してください。データソースが Dataphin クラスタとネットワーク相互接続されたデータソースとして選択されている場合、出力フィールドの各フィールドは削除のみをサポートし、編集はサポートしていません。
[確認] をクリックして、[oceanbase 入力コンポーネント] のプロパティ構成を完了します。