FTP 出力ウィジェットを使用すると、FTP データソースにデータを書き込むことができます。さまざまなソースから FTP データソースにデータを同期する場合、ソースデータソース情報を設定した後、FTP 出力ウィジェットのターゲットデータソースを構成する必要があります。このトピックでは、FTP 出力ウィジェットの構成方法について説明します。
前提条件
FTP データソースを正常に作成していること。詳細については、「FTP データソースの作成」をご参照ください。
FTP 出力ウィジェットのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。権限がない場合は、データソースへのアクセスをリクエストする必要があります。詳細については、「データソース権限のリクエスト」をご参照ください。
手順
Dataphin ホームページで、トップメニューバーに移動し、[開発] > [data Integration] を選択します。
統合ページで、トップメニューバーを使用して プロジェクト環境 を選択します(開発-本番モードでは を選択する必要があります)。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する オフライン パイプライン を選択して、構成ページにアクセスします。
[コンポーネントライブラリ] パネルを開くには、ページの右上隅にある [コンポーネントライブラリ] をクリックします。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[出力] を選択します。次に、右側のリストで [FTP] ウィジェットを見つけて、キャンバスにドラッグします。
アイコンをクリックしてドラッグすることにより、FTP 出力ウィジェットをターゲットの入力、変換、またはフローウィジェットに接続します。
ウィジェットを構成するには、FTP 出力ウィジェットカードの
アイコンをクリックして、[FTP 出力構成] ダイアログボックスを開きます。
[FTP 出力構成] ダイアログボックスで、必要なパラメーターを設定します。
パラメーター
説明
[基本設定]
[ステップ名]
これは FTP 出力ウィジェットの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。命名規則は次のとおりです。
中国語の文字、英字、アンダースコア(_)、および数字のみ使用できます。
64 文字を超えることはできません。
[データソース]
データソースのドロップダウンリストには、ライトスルー権限を持つデータソースとライトスルー権限を持たないデータソースを含め、すべての FTP タイプのデータソースが表示されます。
ライトスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、データソースのライトスルー権限をリクエストできます。具体的な操作については、「データソース権限のリクエスト」をご参照ください。
FTP タイプのデータソースがない場合は、[作成] をクリックしてデータソースを作成します。具体的な操作については、「FTP データソースの作成」をご参照ください。
[ファイルパス]
ファイルが格納されているパスを入力します。ファイルパスは、FTP または FTP サーバーで取得できます。
[ファイルタイプ]
データを格納するために変換するファイルタイプを選択します。[ファイルタイプ] には、[テキスト] と [CSV] が含まれます。
[ファイルエンコーディング]
ターゲットデータソースに格納されているファイルのエンコード方式を選択します。[ファイルエンコーディング] には、[UTF-8] と [GBK] が含まれます。
[ロードポリシー]
ターゲットデータソース(FTP データソース)にデータを書き込む場合、FTP にデータを書き込むためのポリシー。ロードポリシーには、[データの上書き]、[データの追加]、[ファイル名競合エラー] があります。説明は次のとおりです。
[データの追加]:新しいデータファイルをターゲットディレクトリに直接追加し、ランダムな UUID 接尾辞を使用してファイル名の競合がないようにします。
[データの上書き]:書き込む前に、ディレクトリ内の競合するファイル名のファイルをクリーンアップし、書き込むための新しいデータファイルを追加します。
[ファイル名競合エラー]:ディレクトリに競合するファイル名のファイルがある場合、実行時にエラーが報告されます。
[書き込むファイルの数]
単一ファイルまたは複数ファイルをサポートします。
[単一ファイル]:ターゲット FTP 上の単一ファイルに書き込みます。
[複数ファイル]:複数ファイルに書き込む複数のファイルを選択します。ファイル数はタスクの同時実行性です。
_1
、_2
、_3
などのシーケンス接尾辞、または UUID ランダム接尾辞がファイル名に追加されます。タスク構成の同時実行性が 1 の場合、複数のファイルを選択しても_1
接尾辞または UUID ランダム接尾辞が付きます。
[接尾辞の形式]
書き込むファイル数が複数ファイル生成するように設定されている場合、[シーケンス接尾辞] または [UUID ランダム接尾辞] をサポートします。
重要ロードポリシーがデータの追加に設定されている場合、UUID ランダム接尾辞のみ生成できます。
[詳細設定]
[行区切り文字](オプション)
行間の区切り文字を入力します。複数文字の区切り文字をサポートします。入力しない場合、システムは改行記号(\n)を区切り文字として使用します。
[フィールド区切り文字](オプション)
フィールド間の区切り文字を入力します。複数文字の区切り文字をサポートします。入力しない場合、システムは半角コンマ(,)を区切り文字として使用します。
[圧縮ファイルのエクスポート]
[zip]、[gzip] 圧縮形式、または [圧縮しない、選択したファイルタイプで直接エクスポートする] を選択できます。圧縮形式を選択すると、圧縮ファイルがマージされ、対応する圧縮形式で FTP に書き込まれるか、選択したファイルタイプで直接エクスポートされます。
[列ヘッダーのエクスポート]
列ヘッダーをエクスポートするかどうかを選択します。
選択した場合、フィールド名は各ファイルの最初の行に出力されます。
選択しない場合、ファイルの最初の行はデータです。
[圧縮ファイルパス](オプション)
[書き込むファイルの数] が [単一ファイル] で、[圧縮ファイルのエクスポート] 形式が
zip
の場合、ファイルパスを圧縮するかどうかを構成できます。つまり、ファイルのパスを圧縮パッケージに圧縮するかどうか。他のシナリオでは、ファイルパスは圧縮されず、単一ファイルのみが圧縮されます。[完了ファイルのマーク]
完了ファイルをマークするかどうか。完了ファイルのマークには、[タスクレベル] と [ファイルレベル] が含まれます。
[タスクレベル]:タスクが完了した後、完了ファイルのマークは 1 つだけ生成されます。例:
/ftpuser/test/SUCCESS
。[ファイルレベル]:記号
*
をデータファイル名のプレースホルダーとして使用します。例:/ftpuser/test/*.flg
。各データファイルに対して同じ名前の完了ファイルのマークが生成されます。
[必須] が選択されている場合は、[完了ファイルコンテンツのマーク] も構成する必要があります。構成可能なファイル情報パラメーターには、次のものがあります。
[ファイル名]:
$filename
。[パス付きファイル名]:
$filenamewithpath
。[ファイルサイズ]:
$filesize
。[ファイル内のデータ行数]:
$rowcount
。パイプラインレベルで構成可能なパラメーターもサポートされています。必要なパラメーターと区切り文字を自由に選択できます。タスクレベルの完了ファイルのマークでは、各ファイルの情報が行ごとに書き込まれます。
[NULL 値の変換](オプション)
NULL を表す文字列。
[フィールドマッピング]
[入力フィールド]
アップストリーム入力ウィジェットから読み取られたフィールド。
[出力フィールド]
出力フィールドを構成する必要があります。Dataphin は、[一括追加] と [新しい出力フィールドの作成] による出力フィールドの構成をサポートしています。
[一括追加]:[一括追加] をクリックすると、JSON または TEXT 形式での一括構成がサポートされます。
JSON 形式での一括構成。例:
// 例: [{"name": "user_id","type": "String"}, {"name": "user_name","type": "String"}]
説明name は導入されたフィールドの名前を表し、type は導入されたフィールドのタイプを表します。例:
"name":"user_id","type":"String"
は、user_id という名前のフィールドを導入し、フィールドタイプを String に設定することを意味します。TEXT 形式での一括構成。例:
// 例: user_id,String user_name,String
行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行(\n)です。改行(\n)、セミコロン(;)、およびピリオド(.)をサポートします。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはコンマ(,)です。
[新しい出力フィールドの作成]。
[+新しい出力フィールドを作成] をクリックし、ページのプロンプトに従って [列] に入力し、[タイプ] を選択します。
[アップストリームフィールドのコピー]。
[アップストリームフィールドのコピー] をクリックします。システムは、アップストリームフィールド名に基づいて出力フィールドを自動的に生成します。
[出力フィールドの管理]。
追加されたフィールドで次の操作を実行することもできます。
[アクション] 列の
アイコンをクリックして、既存のフィールドを編集します。
[アクション] 列の
アイコンをクリックして、既存のフィールドを削除します。
[マッピング]
マッピング関係は、ソーステーブルの入力フィールドをターゲットテーブルの出力フィールドにマッピングするために使用され、後続のデータ同期を容易にします。マッピング関係には、同名マッピングと同一行マッピングがあります。該当するシナリオは次のとおりです。
[同名マッピング]:同じフィールド名のフィールドをマッピングします。
[同一行マッピング]:ソーステーブルとターゲットテーブルのフィールド名は一致しませんが、フィールドの対応する行のデータをマッピングする必要があります。同じ行のフィールドのみマッピングします。
[確認] をクリックして、[FTP 出力ウィジェット] の構成を完了します。