FTP 出力ウィジェットは、FTP データソースへのデータ書き込みを可能にします。さまざまなソースから FTP データソースへデータを同期する場合、ソースデータソース情報を設定した後、FTP 出力ウィジェットのターゲットデータソースを構成する必要があります。このトピックでは、FTP 出力ウィジェットの構成について説明します。
前提条件
FTP データソースが正常に作成されていること。詳細については、「FTP データソースの作成」をご参照ください。
FTP 出力ウィジェットのプロパティを構成するには、アカウントがデータソースに対するリードスルー権限を持っている必要があります。権限がない場合は、データソースへのアクセスをリクエストする必要があります。詳細については、「データソース権限のリクエスト」をご参照ください。
操作手順
Dataphin ホームページで、上部のメニューバーから [開発] > [データ統合] を選択します。
統合ページで、上部のメニューバーを使用して [プロジェクト] を選択します (開発-本番モードでは [環境] の選択が必要です)。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。「[バッチパイプライン]」リストから、開発するオフラインパイプラインを選択して、その構成ページにアクセスします。
[コンポーネントライブラリ] パネルを開くには、ページの右上隅にある [コンポーネントライブラリ] をクリックします。
「[コンポーネントライブラリ]」パネルの左側ナビゲーションウィンドウで、「[出力]」を選択します。次に、右側のリストで「[FTP]」ウィジェットを見つけ、キャンバス上にドラッグします。
アイコンをクリックしてドラッグし、FTP 出力ウィジェットをターゲットの入力、変換、またはフローウィジェットに接続します。FTP 出力ウィジェットカードで、
アイコンをクリックして、[FTP 出力設定] ダイアログボックスを開きます。
[FTP 出力設定] ダイアログボックスで、必要なパラメーターを設定します。
パラメーター
説明
基本設定
ステップ名
これは FTP 出力ウィジェットの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更することもできます。命名規則は次のとおりです。
中国語文字、文字、アンダースコア (_)、および数字のみを含めることができます。
64 文字を超えることはできません。
データソース
データソースのドロップダウンリストには、ライトスルー権限を持つデータソースと、ライトスルー権限を持たないデータソースを含む、すべての FTP タイプのデータソースが表示されます。
ライトスルー権限がないデータソースの場合、データソースの後に［リクエスト］をクリックして、そのデータソースのライトスルー権限を要求できます。特定の操作については、「データソース権限の要求」をご参照ください。
FTP 型データソースがない場合は、[作成] をクリックしてデータソースを作成します。特定の操作については、「FTP データソースの作成」をご参照ください。
ファイル パス
ファイルが保存されるパスを入力します。FTP または FTP サーバーでファイルパスを取得できます。
ファイルタイプ
保存用にデータを変換するファイル形式を選択します。[ファイル形式] には、[Text] および [CSV] が含まれます。
ファイル エンコーディング
対象のデータソースに保存されているファイルのエンコーディング方式を選択します。[ファイルエンコーディング] には [UTF-8] および [GBK] が含まれます。
ロードポリシー
ターゲットデータソース (FTP データソース) にデータを書き込む際の FTP への書き込みポリシーには、[データの上書き]、[データの追加]、および [ファイル名の競合エラー] があります。説明は次のとおりです。
データの追加：新しいデータファイルをターゲットディレクトリに直接追加し、ランダムな UUID サフィックスを使用してファイル名が競合しないようにします。
[データの上書き]: ディレクトリ内の競合するファイル名を持つファイルを書き込み前にクリアし、その後、書き込み用に新しいデータファイルを追加します。
ファイル名の競合エラー: ディレクトリ内にファイル名が競合するファイルがある場合、実行時にエラーが報告されます。
書き込むファイル数
単一ファイルまたは複数ファイルをサポートします。
[単一ファイル]: ターゲット FTP 上の単一ファイルに書き込みます。
[複数ファイル]: データを複数のファイルに書き込みます。ファイル数はタスクの同時実行数と等しくなります。各ファイル名に
_1、_2、_3などのシーケンスサフィックス、またはランダムな UUID サフィックスを追加します。タスクの同時実行数が 1 に設定されている場合でも、複数のファイルを選択すると、_1サフィックスまたはランダムな UUID サフィックスが追加されます。
サフィックス形式
書き込みファイル数が複数ファイルを生成するように設定されている場合、[シーケンスサフィックス] または [UUID ランダムサフィックス] をサポートします。
重要ロードポリシーがデータの追加に設定されている場合、UUID ランダムサフィックスのみを生成できます。
詳細設定
行区切り文字 (任意)
行間の区切り文字を入力します。複数文字の区切り文字をサポートします。入力されていない場合、システムは改行記号 (\n) を区切り文字として使用します。
項目区切り文字 (任意)
フィールド間の区切り文字を入力します。複数文字の区切り文字をサポートします。入力されていない場合、システムは半角カンマ (,) を区切り文字として使用します。
圧縮ファイルのエクスポート
[zip]、[gzip] の圧縮フォーマット、または [圧縮しないで、選択したファイル形式で直接エクスポートする] を選択できます。圧縮フォーマットを選択すると、圧縮ファイルがマージされ、対応する圧縮フォーマットで FTP に書き込まれるか、選択したファイル形式で直接エクスポートされます。
列ヘッダーのエクスポート
列ヘッダーをエクスポートするかどうかを選択します。
選択した場合、フィールド名は各ファイルの最初の行に出力されます。
選択しない場合、ファイルの最初の行はデータです。
[ファイルパスの圧縮] (オプション)
[書き込みファイル数] が [単一ファイル] で、[圧縮ファイルのエクスポート] 形式が
zipの場合、ファイルパスを圧縮するかどうかを構成できます。つまり、ファイルパスも圧縮パッケージに圧縮するかどうかです。その他のシナリオでは、ファイルパスは圧縮されず、単一ファイルのみが圧縮されます。完了ファイルのマーク
完了ファイルをマークするかどうかを指定します。マーク対象の完了ファイルには、[タスクレベル] および [ファイルレベル] が含まれます。
タスクレベル: タスクが完了した後に、1つのマーカーファイルが生成されます。たとえば、
/ftpuser/test/SUCCESSです。ファイルレベル: データファイル名のプレースホルダーとしてアスタリスク (
*) を使用します。たとえば、/ftpuser/test/*.flgは、各データファイルに対して同じ名前のマーカーファイルを作成します。
[必須] を選択した場合、[完了ファイルのコンテンツをマーク] も設定する必要があります。設定可能なファイル情報パラメーターは次のとおりです。
ファイル名:
$filename。パス付きファイル名:
$filenamewithpath。ファイルサイズ:
$filesize。行数:
$rowcount。パイプラインレベルで構成可能なパラメーターもサポートされています。必要なパラメーターと区切り文字を自由に選択できます。タスクレベルの完了ファイルマークでは、各ファイルの情報を 1 行ずつ書き込みます。
[NULL 値変換] (オプション)
NULL を表す文字列。
フィールド マッピング
入力フィールド
アップストリーム入力ウィジェットから読み取られたフィールド。
出力フィールド
出力フィールドの設定が必要です。Dataphin では、[一括追加] と [出力フィールドの新規作成] を使用して設定できます:
[一括追加]: [一括追加] をクリックして、JSON または TEXT フォーマットでのバッチ構成をサポートします.
JSON 形式での一括構成の例:
// Example: [{"name": "user_id","type": "String"}, {"name": "user_name","type": "String"}]説明`name` はインポートされたフィールドの名前です。`type` はインポートされたフィールドのデータの型です。例:
"name":"user_id","type":"String"は、`user_id` という名前のフィールドをインポートし、そのデータの型を `String` に設定します。TEXT 形式での一括構成の例:
// Example: user_id,String user_name,String行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行 (\n) です。改行 (\n)、セミコロン (;) およびピリオド (.) をサポートします。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ (,) です。
新規出力フィールドの作成。
「[新しい出力フィールドの作成]」をクリックし、[列] に値を入力し、[タイプ] をページのプロンプトに従って選択します。
アップストリームフィールドのコピー。
[アップストリームフィールドをコピー] をクリックします。システムは、アップストリームフィールド名に基づいて出力フィールドを自動的に生成します。
出力フィールドの管理。
追加されたフィールドに対して、以下の操作も実行できます。
「操作」列の
アイコンをクリックして、既存のフィールドを編集します。[操作] 列の
アイコンをクリックして、既存のフィールドを削除します。
マッピング
マッピング関係は、ソーステーブルの入力フィールドをターゲットテーブルの出力フィールドにマッピングするために使用され、その後のデータ同期を容易にします。マッピング関係には、同名マッピングと同一行マッピングが含まれます。適用可能なシナリオは次のとおりです。
同名マッピング: 同じフィールド名を持つフィールドをマッピングします。
同行マッピング: ソーステーブルとターゲットテーブルのフィールド名が一致しない場合に、同じ行にあるフィールドをマップします。
[確認] をクリックして、[FTP 出力ウィジェット] の構成を完了します。