DataWorks:COS データソース

パラメーター

説明

必須

デフォルト

datasource

データソース名です。この値は、DataWorks で作成したデータソースの名前と一致している必要があります。

はい

なし

fileFormat

ソースファイルの形式です。サポートされる形式：csv、text、parquet、および orc。

はい

なし

object

ファイルパスです。* アスタリスクワイルドカードおよびパスの配列をサポートします。

たとえば、a/b/1.csv および a/b/2.csv を同期する場合、このパラメーターを a/b/*.csv に設定できます。

はい

なし

column

読み取るフィールドのリストです。type はソースデータの型を指定し、index はソースファイル内の 0 起点の列番号を指定し、value は定数を指定します。value を使用すると、ソースファイルから読み取る代わりに、指定された定数を持つ列が生成されます。

すべての列を STRING 型として読み取るには、次の構成を使用します。

"column": ["*"]

個別の列を指定するには、次のように記述します。

"column":    
    {       
        "type": "long",       
        "index": 0 // COS テキストファイルの最初の列から LONG 型のフィールドを取得します。
    },    
    {       
        "type": "string",       
        "value": "alibaba" // 定数値 "alibaba" を持つ STRING 型のフィールドを生成します。
}

はい

すべての列が STRING 型として読み取られます。

fieldDelimiter

データ読み取り時に使用するフィールド区切り文字です。区切り文字を指定する必要があります。省略した場合、カンマ (,) がデフォルトで使用され、UI にも事前に設定されます。非表示文字を使用する場合は、Unicode エンコーディングを入力してください（例：\u001b または \u007c）。

はい

,

lineDelimiter

行デリミタです。このパラメーターは、fileFormat が text に設定されている場合にのみ有効です。

いいえ

なし

compress

圧縮タイプです。デフォルトでは圧縮は適用されません。サポートされるタイプ：gzip、bzip2、および zip。

いいえ

非圧縮

encoding

ソースファイルの文字エンコーディングです。

いいえ

utf-8

nullFormat

ソースファイル内で NULL 値として解釈する文字列です。例：

• nullFormat を "null" に設定すると、ソースデータ内の文字列 "null" がターゲットテーブルに NULL 値として同期されます。

• nullFormat を "\u0001"（非表示文字）に設定すると、ソースフィールドが文字列 "\u0001" の場合、NULL フィールドとして扱われ、ターゲットテーブルに書き込まれます。

• nullFormat を指定しない場合、ソースデータは変換せずにそのまま送信先に書き込まれます。

いいえ

なし

skipHeader

CSV ファイルの場合、最初の行（ヘッダー行）をスキップするかどうかを指定します。

• true：ファイルの最初の行をスキップします。

• false：ファイルの最初の行をデータレコードとして読み取ります。

いいえ

false

parquetSchema

Parquet ファイルを読み取るためのスキーマです。fileFormat が parquet に設定されている場合にのみ必要です。一般的な形式は次のとおりです。

message MessageTypeName {
  required|optional DataType ColumnName;
  required|optional DataType ColumnName;
  ...;
}

parquetSchema の形式の詳細：

• MessageTypeName：メッセージタイプ名です。

• required または optional：required は NULL でないフィールドを示し、optional は NULL 値を許容します。すべてのフィールドを optional に設定することを推奨します。

• DataType：サポートされる Parquet データ型には、BOOLEAN、Int32、Int64、Int96、FLOAT、DOUBLE、BINARY（文字列型に使用）、および fixed_len_byte_array が含まれます。各フィールド定義はセミコロン (;) で終了する必要があります（最後のフィールドも同様です）。

例：

{"parquetSchema": "message UserProfile 
{ optional int32 minute_id; 
  optional int32 dsp_id; 
  optional int32 adx_pid; 
  optional int64 req; 
  optional int64 res; 
  optional int64 suc; 
  optional int64 imp; 
  optional double revenue; }"
}

いいえ

なし

csvReaderConfig

CSV リーダーの高度なパラメーターです。指定しない場合、デフォルト値が使用されます。

いいえ

なし