Microsoft SQL Server 入力コンポーネントは、Microsoft SQL Server データソースからデータを取得します。Microsoft SQL Server データソースから別のデータソースにデータを同期するには、まず Microsoft SQL Server 入力コンポーネントを構成してソースから読み取ります。次に、同期用のターゲットデータソースを構成します。本ドキュメントでは、Microsoft SQL Server 入力コンポーネントの構成方法について説明します。
前提条件
Microsoft SQL Server データソースを作成済みです。詳細については、「Microsoft SQL Server データソースの作成」をご参照ください。
Microsoft SQL Server 入力コンポーネントを構成するために使用するアカウントには、データソースに対する同期読み取り権限が必要です。この権限がない場合は、リクエストしてください。詳細については、「データソース権限のリクエスト、更新、または解放」をご参照ください。
操作手順
Dataphin ホームページで、上部のメニューバーの [開発] をクリックし、次に [データ統合] をクリックします。
統合ページで、上部のメニューバーから [プロジェクト] を選択します。開発-本番モードでは、環境も選択します。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発するオフラインパイプラインをクリックします。オフラインパイプラインの構成ページが開きます。
ページの右上隅で、[コンポーネントライブラリ] をクリックして [コンポーネントライブラリ] パネルを開きます。
左側のナビゲーションウィンドウで、[コンポーネントライブラリ] パネルの [入力] をクリックします。右側の入力コンポーネントリストで、[Microsoft SQL Server] コンポーネントを探して、キャンバス上にドラッグします。
Microsoft SQL Server 入力コンポーネントカードの
アイコンをクリックすると、[Microsoft SQL Server] [入力設定] ダイアログボックスが開きます。[Microsoft SQL Server 入力設定] ダイアログボックスで、以下のパラメーターを設定します。
パラメーター
説明
ステップ名
Microsoft SQL Server 入力コンポーネントの名前。Dataphin はステップ名を自動的に生成します。ビジネスシナリオに基づいて変更できます。命名規則:
中国語の文字、英字、アンダースコア (_)、および数字のみを使用します。
名前は最大64文字です。
データソース
ドロップダウンリストには、すべての Microsoft SQL Server データソースが表示されます。これには、同期読み取り権限を持つデータソースと持たないデータソースが含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。データソースに対する同期読み取り権限がない場合は、そのデータソースの横にある[リクエスト]をクリックして同期読み取り権限を申請してください。 詳細については、「データソース権限の申請、更新、または解放」をご参照ください。
Microsoft SQL Server データソースがない場合は、[データソースの作成] をクリックして作成します。詳細については、「Microsoft SQL Server データソースの作成」をご参照ください。
タイムゾーン
Dataphin は、現在のタイムゾーンに基づいて時間形式のデータを処理します。デフォルトでは、これは選択したデータソースに構成されているタイムゾーンと一致します。この設定は変更できません。
説明バージョン V5.1.2 より前に作成されたタスクの場合、[データソースのデフォルト設定] または [チャネル設定のタイムゾーン] を選択できます。デフォルトは [チャネル設定のタイムゾーン] です。
データソースのデフォルト設定: 選択したデータソースのデフォルトのタイムゾーンです。
チャネル設定タイムゾーン: [プロパティ] > [チャネル設定] で現在の統合タスクに設定されているタイムゾーンです。
スキーマ (オプション)
テーブルが存在するスキーマを選択します。これはクロススキーマテーブル選択をサポートします。スキーマを指定しない場合、Dataphin はデータソースに構成されているスキーマを使用します。
ソーステーブル数
ソーステーブルの数を選択します。オプションは [単一テーブル] および [複数テーブル] です:
単一テーブル: 1つのソーステーブルから1つの宛先テーブルにビジネスデータを同期する際に使用します。
複数のテーブル: 複数のソーステーブルから 1 つの宛先テーブルにビジネスデータを同期する場合にこれを使用します。複数のテーブルから 1 つの宛先テーブルにデータを書き込む際、Dataphin は UNION アルゴリズムを使用します。
テーブルマッチング方法
[汎用ルール] または [データベース正規表現] を選択してください。
説明このオプションは、[ソーステーブル数] が [複数テーブル] に設定されている場合にのみ利用可能です。
テーブル
ソーステーブルを選択します。
「ソーステーブル数」が「単一テーブル」に設定されている場合、テーブル名を検索するためのキーワードを入力するか、正確なテーブル名を入力して [完全一致検索] をクリックします。テーブルを選択すると、Dataphin が自動的にそのステータスを確認します。選択したテーブル名をコピーするには、
アイコンをクリックします。[ソーステーブル数] が [複数テーブル] に設定されている場合、選択したテーブルマッチング方法に基づいて式を入力します。
[汎用ルール] を選択した場合: フィールドに式を入力して、同じ構造を持つテーブルをフィルタリングします。サポートされているフォーマットには、列挙、正規表現のようなパターン、および組み合わせが含まれます。例:
table_[001-100];table_102;.[データベース正規表現] を選択した場合: データベースでサポートされている正規表現を入力します。Dataphin はこの式を使用してターゲットデータベース内のテーブルを照合します。実行時に、Dataphin は正規表現に基づいて新しいテーブルを動的に照合します。
式を入力した後、[完全一致検索] をクリックしてください。[一致詳細の確認] ダイアログボックスで、一致したテーブルのリストを確認してください。
シャードキー (オプション)
Dataphin は、指定したシャードキー列に基づいてデータをパーティション分割します。これを同時実行設定と組み合わせて使用すると、同時読み取りを有効にできます。ソーステーブルの任意の列をシャードキーとして使用できます。最高のパフォーマンスを得るには、プライマリキーまたはインデックス付き列を使用してください。
重要日時型を選択した場合、Dataphin は全時間範囲と同時実行設定に基づいて総当たり分割を実行します。これは、均等な分散を保証するものではありません。
バッチ読み取りサイズ (オプション)
一度に読み取るレコード数。レコードを1つずつ読み取る代わりに、1024などのバッチサイズを構成します。これにより、データソースとのインタラクションが減り、I/O 効率が向上し、ネットワーク遅延が低減されます。
入力フィルター (オプション)
入力フィールドのフィルター条件を入力します。例:
ds=${bizdate}。[入力フィルター] は、次のシナリオで使用します:データの固定サブセット。
パラメーターベースのフィルタリング。
ヒント (オプション)
テーブルヒントは、クエリ オプティマイザーがテーブルまたはビューにアクセスする方法に影響を与えます。クエリ文に特定のヒントを追加することで、データベース管理システムに、デフォルトの最適化戦略に依存するのではなく、特定の実行計画を使用させることができます。
FROM 句のテーブル名の後に、括弧内にヒントを追加し、複数のヒントをコンマで区切ります。例:
SELECT * FROM MyTable WITH (INDEX(IX_MyIndex), NOLOCK)
出力フィールド
このセクションには、選択したテーブルから指定した条件でフィルタリングされたすべてのフィールドがリスト表示されます。次の操作を実行できます。
フィールド管理: ダウンストリームに送信する必要のないフィールドを削除します。
個々のフィールドを削除: [操作] 列の
アイコンをクリックして、不要なフィールドを削除します。フィールドのバッチ削除: [フィールド管理] をクリックします。[フィールド管理] ダイアログボックスで、複数のフィールドを選択し、
左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールド一覧に移動します。その後、[OK] をクリックします。
一括追加: [一括追加] をクリックして、JSON、TEXT、または DDL フォーマットでフィールドを追加します。
説明[OK] をクリックすると、一括追加されたフィールドは既存のフィールド構成を上書きします。
JSON フォーマットの例:
// Example: [ { "index": 1, "name": "Id", "type": "int(10)", "mapType": "Long", "comment": "" }, { "index": 2, "name": "Data", "type": "nvarchar(100)", "mapType": "String", "comment": "" } ]説明index は指定されたオブジェクトの列番号を表し、name はインポートされたフィールドのフィールド名を表し、type はインポートされたフィールドのフィールドタイプを表します。例:
"index":3,"name":"user_id","type":"String"は、ファイルから4番目の列をインポートし、フィールド名が user_id でフィールドタイプが String であることを意味します。TEXT フォーマットで複数の項目を一度に構成します。例:
// Example: 1,Id,int(10),Long, 2,Data,nvarchar(100),String, 3,RowVersion,timestamp,Bytes,行区切り文字はフィールドエントリを区切ります。デフォルトは改行 (\n) です。セミコロン (;) またはピリオド (.) も使用できます。
列区切り文字はフィールド名とタイプを区切ります。デフォルトはコンマ (,) です。サポートされている区切り文字には
','が含まれます。フィールドタイプはオプションであり、デフォルトは','です。
DDL フォーマットを使用して一括構成できます。例:
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
新しい出力フィールドの作成: [+ Create Output Field] をクリックします。[列]、[タイプ]、および[コメント] の値を入力します。[マッピングタイプ] を選択します。
アイコンをクリックして行を保存します。
[OK] をクリックして、Microsoft SQL Server 入力コンポーネントの構成を完了します。