DataWorks:HttpFile データソース

制限事項

HttpFile データソースは、Data Integration 専用のリソースグループのみをサポートしています。

データ型マッピング

データ同期タスクの開発

データ同期タスクの設定のエントリポイントと手順については、以下のセクションを参照してください。パラメータ設定の詳細については、タスクの設定タブにある各パラメータのヒントをご覧ください。

データソースの追加

特定のデータソースからデータを同期するためにデータ同期タスクを設定する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースの追加と管理」をご参照ください。

単一テーブルのデータを同期するためのバッチ同期タスクの設定

• 設定手順の詳細については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディタを使用したバッチ同期タスクの設定」をご参照ください。

• コードエディタを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメータと実行されるコードについては、「付録: コードとパラメータ」をご参照ください。

付録: コードとパラメータ

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合は、コードエディタの形式要件に基づいて、関連データソースのリーダーのパラメータを設定する必要があります。形式要件の詳細については、「コードエディタを使用したバッチ同期タスクの設定」をご参照ください。以下の情報は、コードエディタのリーダーのパラメータの設定の詳細について説明しています。

HttpFile リーダーのコード

次のコードでは、HttpFile ファイルからデータを読み取るように同期タスクが設定されています。

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "httpfile",
      "parameter": {
        "datasource": "", // データソース名
        "fileName": "/f/z/1.csv", // ファイルパス
        "requestMethod": "GET", // リクエストメソッド
        "requestBody": "", // リクエストボディ
        "requestHeaders": { // リクエストヘッダー
          "header1": "v1",
          "header2": "v2"
        },
        "socketTimeoutSeconds": 3600, // ソケットタイムアウト時間（秒）
        "connectTimeoutSeconds": 60, // 接続タイムアウト時間（秒）
        "bufferByteSizeInKB": 1024, // バッファサイズ（KB）
        "fileFormat": "csv", // ファイル形式
        "encoding": "utf8/gbk/...", // エンコーディング
        "fieldDelimiter": ",", // フィールド区切り文字
        "useMultiCharDelimiter": true, // マルチ文字区切り文字の使用
        "lineDelimiter": "\n", // 行区切り文字
        "skipHeader": true, // ヘッダーをスキップするかどうか
        "compress": "zip/gzip", // 圧縮形式
        "column": [ // カラム
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

HttpFile リーダーのコードのパラメータ

{
 "requestBody":"{\"a\":\"b\"}",
 "requestHeaders": {
 "Content-Type": "application/json"
 }
}

{
 "Content-Type": "application/json"
}

{
 "User-Agent": "DataX Http File Reader"
}

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    // データを読み取るファイルの最初の INT 型カラム。
    },
    {
       "type": "string",
       "value": "alibaba"  // 現在のカラムの値。このコードでは、値は定数 alibaba です。
    }

関連情報

• サポートされているデータソースの詳細については、「サポートされているデータソースの種類と同期操作」をご参照ください。

• データソースの権限を管理する方法の詳細については、「RAM 認証モード」をご参照ください。