DataWorks:HDFSデータソース

カテゴリ

Hiveデータ型

整数

TINYINT、SMALLINT、INT、およびBIGINT

浮動小数点

FLOATおよびDOUBLE

文字列

CHAR、VARCHAR、およびSTRING

BOOLEAN

BOOLEAN

日付と時刻

DATEおよびTIMESTAMP

パラメータ

説明

必須

デフォルト値

path

データを読み取るファイルのパス。複数のファイルからデータを読み取る場合は、/hadoop/data_201704*などの正規表現を指定できます。ファイル名に時間情報が含まれており、時間情報が規則的に表示される場合は、スケジューリングパラメータを正規表現と一緒に使用できます。スケジューリングパラメータの値は、タスクのデータタイムスタンプに基づいて置き換えられます。スケジューリングパラメータの詳細については、「サポートされているスケジューリングパラメータの形式」をご参照ください。

• 単一のファイルを指定した場合、HDFS Readerは1つのスレッドのみを使用してファイルからデータを読み取ります。

• 複数のファイルを指定した場合、HDFS Readerは複数のスレッドを使用してファイルからデータを読み取ります。スレッド数は、concurrentパラメータによって決まります。

  説明

  実際に開始されるスレッド数は、読み取るHDFSファイルの数と設定する並列スレッド数のうち、小さい方の値と同じになります。

• パスにワイルドカードが含まれている場合、HDFS Readerはパスに一致するすべてのファイルからデータを読み取ろうとします。たとえば、パス /bazhen/ を指定すると、HDFS Readerはbazhenディレクトリ内のすべてのファイルを読み取ります。HDFS Readerは、ワイルドカードとしてアスタリスク（*）と疑問符（?）のみをサポートしています。構文は、Linuxコマンドラインで使用されるファイル名ワイルドカードの構文に似ています。

はい

デフォルト値なし

defaultFS

HDFSのNameNodeノードのエンドポイント。共有リソースグループは、高可用性に関連する高度なHadoopパラメータをサポートしていません。

はい

デフォルト値なし

fileType

データを読み取るファイルの形式。HDFS Readerはファイル形式を自動的に識別し、関連する読み取りポリシーを使用します。HDFS Readerはデータを読み取る前に、指定されたパスのすべてのファイルがfileTypeパラメータで指定された形式と一致するかどうかを確認します。ファイルの形式がfileTypeパラメータで指定された形式と一致しない場合、データ同期タスクは失敗します。

変換結果から、データは変更されないままですが、形式がわずかに異なることがわかります。そのため、同期する列でHiveの複合データ型を使用する場合は、統一されたファイル形式を使用することをお勧めします。

はい

デフォルト値なし

column

データを読み取る列の名前。typeフィールドはデータ型を指定します。indexフィールドは列のIDを指定します。 0 から始まります。valueフィールドは定数を指定します。valueフィールドを指定すると、HDFS Readerはこのフィールドの値を読み取ります。デフォルトでは、HDFS Readerはすべてのデータを文字列として読み取ります。この場合、このパラメータを"column": ["*"]に設定します。

{
  "type": "long",
  "index": 0
  // ソースファイルの最初のINT型の列。インデックスは 0 から始まります。 index フィールドは、ファイル内のデータを読み取る列の ID を示します。
},
{
  "type": "string",
  "value": "alibaba"
  // 現在の列の値。これは定数列 alibaba です。 HDFS Reader によって内部的に生成されます。
}

はい

デフォルト値なし

fieldDelimiter

データを読み取る列の区切り文字。ソースファイルがtextファイルの場合は、列の区切り文字を指定する必要があります。列の区切り文字を指定しない場合、HDFS Readerはデフォルトでカンマ（,）を列の区切り文字として使用します。ソースファイルがORCファイルの場合は、列の区切り文字を指定する必要はありません。HDFS ReaderはHiveのデフォルトの区切り文字である\u0001を使用します。

いいえ

,

encoding

データを読み取るファイルのエンコード形式。

いいえ

utf-8

nullFormat

ヌルポインタを表す文字列。textファイルでは、ヌルポインタを表す標準文字列はありません。このパラメータを使用して、ヌルポインタを表す文字列を定義できます。

たとえば、このパラメータをnullに設定すると、Data Integrationはnullをヌルポインタと見なします。

いいえ

デフォルト値なし

compress

fileTypeパラメータがCSVに設定されている場合の圧縮形式。サポートされている圧縮形式は、GZIP、BZ2、ZIP、LZO、LZO_DEFLATE、Hadoop-Snappy、およびFraming-Snappyです。

いいえ

デフォルト値なし

parquetSchema

いいえ

デフォルト値なし

csvReaderConfig

CSVファイルを読み取るために必要な構成です。パラメーター値は、MAPタイプと一致する必要があります。CSVファイルリーダーを使用して、CSVファイルからデータを読み取ることができます。CSVファイルリーダーは、複数の構成をサポートしています。

"csvReaderConfig":{
  // 安全スイッチ
  "safetySwitch": false,
  // 空のレコードをスキップ
  "skipEmptyRecords": false,
  // テキスト修飾子を使用
  "useTextQualifier": false
}

boolean caseSensitive = true;
char textQualifier = 34;
boolean trimWhitespace = true;
boolean useTextQualifier = true;// CSV ファイルでエスケープ文字を使用するかどうかを指定します。
char delimiter = 44;// デリミタ。
char recordDelimiter = 0;
char comment = 35;
boolean useComments = false;
int escapeMode = 1;
boolean safetySwitch = true;// 各列の長さを 100,000 文字に制限するかどうかを指定します。
boolean skipEmptyRecords = true;// 空の行をスキップするかどうかを指定します。
boolean captureRawRecord = true;

いいえ

デフォルト値なし

hadoopConfig

高可用性に関連するパラメーターなど、Hadoop の詳細パラメーターの設定。共有リソースグループは、高可用性に関連する高度な Hadoop パラメーターをサポートしていません。

"hadoopConfig":{
"dfs.nameservices": "testDfs",
"dfs.ha.namenodes.testDfs": "namenode1,namenode2",
"dfs.namenode.rpc-address.youkuDfs.namenode1": "",
"dfs.namenode.rpc-address.youkuDfs.namenode2": "",
"dfs.client.failover.proxy.provider.testDfs": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"dfs.data.transfer.protection": "integrity",
"dfs.datanode.use.datanode.hostname" :"true",
"dfs.client.use.datanode.hostname":"true"
}

"hadoopConfig":{ "dfs.data.transfer.protection": "integrity", "dfs.datanode.use.datanode.hostname" :"true", "dfs.client.use.datanode.hostname":"true" }

いいえ

デフォルト値なし

haveKerberos

Kerberos 認証を有効にするかどうかを指定します。デフォルト値: false。このパラメーターを true に設定する場合は、kerberosKeytabFilePath パラメーターと kerberosPrincipal パラメーターも構成する必要があります。

いいえ

false

kerberosKeytabFilePath

Kerberos 認証用のキータブファイルの絶対パス。 haveKerberos パラメーターが true に設定されている場合、このパラメーターは必須です。

いいえ

デフォルト値なし

kerberosPrincipal

Kerberos プリンシパル (例: ****/hadoopclient@**.***)。 haveKerberos パラメーターが true に設定されている場合、このパラメーターは必須です。

"haveKerberos":true, // haveKerberos を true に設定
"kerberosKeytabFilePath":"/opt/datax/**.keytab", // keytab ファイルの絶対パス
"kerberosPrincipal":"**/hadoopclient@**.**" // Kerberos プリンシパル

いいえ

デフォルト値なし

パラメーター

説明

必須

デフォルト値

defaultFS

HDFS の NameNode ノードのアドレス (例: hdfs://127.0.0.1:9000)。Data Integration の共有リソースグループを使用している場合、高可用性に関連する高度な Hadoop パラメーターを設定することはできません。これらのパラメーターを設定する場合は、Data Integration のカスタムリソースグループを使用する必要があります。詳細については、「Data Integration のカスタムリソースグループの作成と使用」をご参照ください。

はい

デフォルト値なし

fileType

HDFS に書き込むファイルの形式。有効な値:

• text: Hive のストレージテーブルにマッピングされるテキストファイル。

• orc: Hive の圧縮テーブルにマッピングされる ORC ファイル。

• parquet: 一般的な Parquet ファイル。

はい

デフォルト値なし

path

ファイルを書き込む HDFS のディレクトリ。HDFS Writer は、並列スレッドの構成に基づいて、複数のファイルをディレクトリに書き込みます。

ファイルの列を Hive テーブルの列に関連付けるには、path パラメーターを HDFS の Hive テーブルのストレージパスに設定します。たとえば、Hive データウェアハウスに指定されているストレージパスは /user/hive/warehouse/ です。この場合、test データベースに作成された hello テーブルのストレージパスは /user/hive/warehouse/test.db/hello です。

はい

デフォルト値なし

fileName

HDFS に書き込むファイルの名前のプレフィックス。指定されたプレフィックスにランダムなサフィックスが付加され、各スレッドで使用される実際のファイル名が形成されます。

はい

デフォルト値なし

column

データを書き込む列の名前。Hive テーブルの一部の列にのみデータを書き込むことはできません。

ファイルの列を Hive テーブルの列に関連付けるには、各列の name パラメーターと type パラメーターを設定します。name パラメーターは列の名前を指定し、type パラメーターは列のデータ型を指定します。

"column": 
[
    {
        "name": "userName", // ユーザー名
        "type": "string" // 文字列型
    },
    {
        "name": "age", // 年齢
        "type": "long" // long型
    }
]

fileType パラメーターが text または orc に設定されている場合は必須

デフォルト値なし

writeMode

書き込みモード。有効な値:

• append: HDFS Writer は、指定されたファイル名のプレフィックスに基づいてファイルを書き込み、実際のファイル名が既存のファイルの名前と競合しないようにします。

• nonConflict: 指定されたファイル名プレフィックスを持つファイルが宛先ディレクトリに存在する場合、HDFS Writer はエラーを返します。

• truncate: HDFS Writer は、ファイルをディレクトリに書き込む前に、指定されたファイル名プレフィックスで始まる名前の既存のファイルをすべて宛先ディレクトリから削除します。たとえば、fileName を abc に設定すると、abc で始まる名前の既存のファイルはすべて宛先ディレクトリから削除されます。

はい

デフォルト値なし

fieldDelimiter

HDFS に書き込むファイルで使用される列区切り文字。Hive テーブルと同じ区切り文字を使用していることを確認してください。そうでない場合、Hive テーブルのデータをクエリできません。

fileType パラメーターが text または orc に設定されている場合は必須

デフォルト値なし

compress

HDFS に書き込むファイルの圧縮形式。デフォルトでは、このパラメーターは空のままです。これは、ファイルが圧縮されていないことを示します。

テキストファイルの場合、GZIP および BZIP2 圧縮形式がサポートされています。

いいえ

デフォルト値なし

encoding

HDFS に書き込むファイルのエンコード形式。

いいえ

デフォルト値なし

parquetSchema

HDFS に書き込む Parquet ファイルのスキーマ。fileType パラメーターが parquet に設定されている場合にのみ、このパラメーターを使用できます。形式:

message MessageTypeName { // メッセージ型名
required, dataType, columnName; // 必須、データ型、列名
......................;
}

message m {
optional int64 id; // ID
optional int64 date_id; // 日付ID
optional binary datetimestring; // 日時文字列
optional int32 dspId; // DSP ID
optional int32 advertiserId; // 広告主ID
optional int32 status; // ステータス
optional int64 bidding_req_num; // 入札リクエスト数
optional int64 imp; // インプレッション数
optional int64 click_num; // クリック数
}

いいえ

デフォルト値なし

hadoopConfig

高可用性に関連するパラメーターなど、高度な Hadoop パラメーターの設定。Data Integration の共有リソースグループを使用している場合、高可用性に関連する高度な Hadoop パラメーターを設定することはできません。これらのパラメーターを設定する場合は、Data Integration のカスタムリソースグループを使用する必要があります。詳細については、「Data Integration のカスタムリソースグループの作成と使用」をご参照ください。

"hadoopConfig":{
"dfs.nameservices": "testDfs", // DFS ネームサービス
"dfs.ha.namenodes.testDfs": "namenode1,namenode2", // DFS HA ネームノード
"dfs.namenode.rpc-address.youkuDfs.namenode1": "", // DFS ネームノード RPC アドレス 1
"dfs.namenode.rpc-address.youkuDfs.namenode2": "", // DFS ネームノード RPC アドレス 2
"dfs.client.failover.proxy.provider.testDfs": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider" // DFS クライアントフェイルオーバープロキシプロバイダー
}

いいえ

デフォルト値なし

dataxParquetMode

Parquet ファイルの同期モード。有効な値: fields および columns。このパラメーターを fields に設定すると、HDFS Writer は ARRAY、MAP、STRUCT などの複合データ型のデータを書き込むことができます。

```json
    "writer": {
    "name": "hdfswriter", // hdfswriter
    "parameter": {
        "defaultFS": "oss://test-bucket", // デフォルトFS
        "fileType": "parquet", // ファイルタイプ
        "path": "/datasets/oss_demo/kpt", // パス
        "fileName": "test", // ファイル名
        "writeMode": "truncate", // 書き込みモード
        "encoding": "UTF-8", // エンコーディング
        "hadoopConfig": {
            "fs.oss.accessKeyId": "the-access-id", // アクセスキーID
            "fs.oss.accessKeySecret": "the-access-key", // アクセスキーシークレット
            "fs.oss.endpoint": "oss-cn-hangzhou.aliyuncs.com" // エンドポイント
            },
            "parquetSchema": "message test {\n    required int64 id;\n    optional binary name (UTF8);\n    optional int64 gmt_create;\n    required group map_col (MAP) {\n        repeated group key_value {\n            required binary key (UTF8);\n            required binary value (UTF8);\n        }\n    }\n    required group array_col (LIST) {\n        repeated group list {\n            required binary element (UTF8);\n        }\n    }\n    required group struct_col {\n        required int64 id;\n        required binary name (UTF8);\n    }    \n}", // Parquetスキーマ
            "dataxParquetMode": "fields" // DataX Parquetモード
            }
        }
    ```

いいえ

columns

haveKerberos

Kerberos 認証が必要かどうかを指定します。 このパラメーターを true に設定すると、kerberosKeytabFilePath パラメーターと kerberosPrincipal パラメーターが必要になります。

いいえ

false

kerberosKeytabFilePath

Kerberos 認証用の keytab ファイルの絶対パス。

haveKerberos パラメーターが true に設定されている場合は必須

デフォルト値なし

kerberosPrincipal

Kerberos プリンシパル (例: ****/hadoopclient@**.***)。haveKerberos パラメーターが true に設定されている場合は、このパラメーターが必要です。

"haveKerberos":true, // Kerberos認証を使用するかどうか
"kerberosKeytabFilePath":"/opt/datax/**.keytab", // keytabファイルのパス
"kerberosPrincipal":"**/hadoopclient@**.**" // Kerberosプリンシパル

いいえ

デフォルト値なし