TDH Inceptor 入力コンポーネントは、TDH Inceptor データソースからデータを読み取るために使用されます。 TDH Inceptor データソースから他のデータソースにデータを同期するには、まず TDH Inceptor 入力コンポーネントを構成してデータソース情報を読み取り、次に同期のターゲットデータソースを設定する必要があります。 このトピックでは、TDH Inceptor 入力コンポーネントの構成プロセスについて説明します。
制限事項
TDH Inceptor 入力コンポーネントは、ORC、Parquet、テキスト、RC、SEQ などの形式のデータテーブルをサポートしています。 ただし、ORC 形式のトランザクションテーブルの統合はサポートしていません。
前提条件
TDH Inceptor データソースが作成されている必要があります。 詳細については、「TDH Inceptor データソースを作成する」をご参照ください。
TDH Inceptor 入力コンポーネントのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。 この権限がない場合は、データソースから取得する必要があります。 詳細については、「データソース権限をリクエストする」をご参照ください。
手順
Dataphin ホームページで、トップメニューバーから [開発] > [data Integration] を選択します。
統合ページのトップメニューバーで、プロジェクト を選択します（開発 - 本番モードでは環境を選択する必要があります）。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発する オフラインパイプライン をクリックして構成ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。 右側のリストで [TDH Inceptor] コンポーネントを見つけて、キャンバスにドラッグします。
TDH Inceptor 入力コンポーネントカードの
アイコンをクリックして、[TDH Inceptor] [入力構成] ダイアログボックスを開きます。[TDH Inceptor 入力構成] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
[ステップ名]
これは TDH Inceptor 入力コンポーネントの名前です。 Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。 名前は次の要件を満たしている必要があります。
日本語、英字、アンダースコア (_)、および数字のみ使用できます。
64 文字を超えることはできません。
[データソース]
データソースドロップダウンリストには、現在の Dataphin 内のすべての TDH Inceptor タイプのデータソースが表示されます。これには、リードスルー権限を持つデータソースとリードスルー権限を持たないデータソースが含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。リードスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、リードスルー権限をリクエストできます。 詳細については、「データソース権限をリクエストする」をご参照ください。
TDH Inceptor タイプのデータソースがない場合は、[データソースの作成] をクリックしてデータソースを作成します。 詳細については、「TDH Inceptor データソースを作成する」をご参照ください。
[テーブル]
データ同期のソーステーブルを選択します。
アイコンをクリックして、現在選択されているテーブルの名前をコピーします。[パーティション]
選択したテーブルがパーティションテーブルの場合は、
ds=${bizdate}などのパーティション情報を入力する必要があります。[パーティションが存在しない場合]
指定されたパーティションが存在しないシナリオを処理するために、次のポリシーを選択できます。
[タスクを失敗させる]: タスクを終了し、失敗としてマークします。
[データを書き込まずにタスクを成功させる]: タスクはデータを書き込まずに正常に実行されます。
[ファイルエンコーディング]
ファイルのエンコード方式を選択します。 システムは [UTF-8] および [GBK] 方式をサポートしています。
[圧縮形式]
ファイルの圧縮形式を選択します。 システムは、[zlib] や [hadoop-snappy] などの圧縮形式をサポートしています。
[フィールド区切り文字]
ファイルストレージの区切り文字を入力します。 入力しない場合、システムはフィールド区切り文字をデフォルトでカンマ (,) に設定します。
[出力フィールド]
出力フィールドエリアには、選択したテーブルのすべてのフィールド情報が表示されます。 特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、対応するフィールドを削除できます。
説明コンピュートエンジンが TDH Inceptor の場合、TDH Inceptor 入力コンポーネントの出力フィールドは、フィールドの 分類 の表示をサポートします。 TDH Inceptor 以外のコンピュートエンジンはこれをサポートしていません。
単一フィールド削除シナリオ: 少量のフィールドを削除する必要がある場合は、操作列の
アイコンをクリックして、余分なフィールドを削除できます。バッチフィールド削除シナリオ: 多くのフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、
左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動し、[確認] をクリックして、フィールドのバッチ削除を完了します。
[確認] をクリックして、TDH Inceptor 入力コンポーネントのプロパティの構成を完了します。