Baixe arquivos via HTTP e sincronize-os com uma fonte de dados de destino - DataWorks: Central de Documentação do Alibaba Cloud

Grupos de recursos compatíveis

O HttpFile é compatível com os seguintes grupos de recursos:

Grupos de recursos Serverless (recomendado)
Grupos de recursos exclusivos para Data Integration

Tipos de campo compatíveis

Tipo de dado	Descrição
STRING	Texto.
LONG	Inteiro.
BYTES	Array de bytes. O conteúdo textual é convertido em um array de bytes codificado em UTF-8.
BOOL	Booleano.
DOUBLE	Decimal.
DATE	Data e hora. Formatos aceitos: `yyyy-MM-dd HH:mm:ss`, `yyyy-MM-dd`, `HH:mm:ss`.

Formatos de arquivo e compressão compatíveis

Formato de arquivo	Compatível
CSV	Sim
TEXT (delimitado)	Sim

Compressão	Compatível
gzip	Sim
bzip2	Sim
zip	Sim

O parâmetro skipHeader não é compatível com arquivos compactados.

Adicionar uma source de dados

Adicione a source de dados HttpFile na página Data Source Management antes de criar a tarefa de sincronização. Para obter instruções, consulte Gerenciamento de fontes de dados.

Configure uma tarefa de sincronização

Configure uma tarefa de sincronização offline

Use a interface sem código ou o editor de código para configurar sua tarefa:

Para consultar a referência completa do script e as descrições dos parâmetros, veja Referência de script.

Referência de script

Exemplo de script do Reader

O script a seguir lê um arquivo CSV via HTTP usando GET, ignora a linha de cabeçalho e mapeia cinco colunas para diferentes tipos de dados.

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "httpfile",
      "parameter": {
        "datasource": "<data-source-name>",
        "fileName": "/data/export.csv",
        "requestMethod": "GET",
        "requestHeaders": {
          "Authorization": "Bearer <token>"
        },
        "socketTimeoutSeconds": 3600,
        "connectTimeoutSeconds": 60,
        "bufferByteSizeInKB": 1024,
        "fileFormat": "csv",
        "encoding": "utf-8",
        "fieldDelimiter": ",",
        "skipHeader": true,
        "compress": "",
        "column": [
          { "index": 0, "type": "long" },
          { "index": 1, "type": "boolean" },
          { "index": 2, "type": "double" },
          { "index": 3, "type": "string" },
          { "index": 4, "type": "date" }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Substitua os espaços reservados pelos valores reais:

Espaço reservado	Descrição	Exemplo
`<data-source-name>`	Nome da source de dados HttpFile na página Data Source Management.	`my-http-source`
`<token>`	Seu token de autenticação de API.	`eyJhbGc...`

Parâmetros do Reader

Os parâmetros estão agrupados por função. Os parâmetros de conexão definem como alcançar o endpoint; os parâmetros de comportamento de leitura controlam a análise do arquivo.

Parâmetros de conexão

Parâmetro	Descrição	Obrigatório	Padrão
`datasource`	Nome da source de dados HttpFile. Deve corresponder exatamente ao nome exibido na página Data Source Management.	Sim	Nenhum
`fileName`	Caminho do arquivo no servidor HTTP. Codifique caracteres especiais ou não ASCII na URL. Por exemplo, um espaço em `/file/test abc.csv` torna-se `/file/test%20abc.csv`. A URL final da requisição combina a URL base da source de dados com este caminho. Para regras de codificação, consulte Referência de codificação de URL HTML.	Sim	Nenhum
`requestMethod`	Método HTTP. Valores válidos: `GET`, `POST`, `PUT`.	Não	`GET`
`requestParam`	Parâmetros de consulta anexados à URL. Tem efeito apenas quando `requestMethod` é `GET`. Codifique quaisquer caracteres especiais na URL. Por exemplo, `start=2024-03-25 17:06:54` torna-se `start=2024-03-25%2017:06:54`.	Não	Nenhum
`requestBody`	Corpo da requisição. Aplicável somente se `requestMethod` for `POST` ou `PUT`. Use em conjunto com `Content-Type` em `requestHeaders`. Exemplo: `{"requestBody": "{\"a\":\"b\"}", "requestHeaders": {"Content-Type": "application/json"}}`	Não	Nenhum
`requestHeaders`	Cabeçalhos de requisição HTTP como pares chave-valor. Exemplo: `{"Content-Type": "application/json"}`	Não	`{"User-Agent": "DataX Http File Reader"}`
`connectTimeoutSeconds`	Tempo de espera para estabelecer uma conexão HTTP, em segundos. Se excedido, a tarefa falha. Disponível apenas no modo Avançado; não configurável na interface sem código.	Não	`60`
`socketTimeoutSeconds`	Tempo máximo de espera entre pacotes de dados consecutivos, em segundos. A tarefa falha caso esse limite seja ultrapassado. Disponível apenas no modo Avançado; não configurável na interface sem código.	Não	`3600`
`bufferByteSizeInKB`	Tamanho do buffer de baixe, em KB.	Não	`1024`

Parâmetros de comportamento de leitura

Parâmetro	Descrição	Obrigatório	Padrão
`fileFormat`	Formato do arquivo de origem. Valores válidos: `csv`, `text`. Ambos permitem delimitadores de campo personalizados.	Não	Nenhum
`encoding`	Codificação de caracteres do arquivo.	Não	`utf-8`
`fieldDelimiter`	Delimitador de campos. Para caracteres não imprimíveis, use a representação Unicode, como `\u001b`.	Sim	`,`
`useMultiCharDelimiter`	Defina se o delimitador de campo é uma string com múltiplos caracteres.	Não	`false`
`lineDelimiter`	Delimitador de linha. Válido apenas quando `fileFormat` é `text`.	Não	Nenhum
`skipHeader`	Indica se a primeira linha deve ser ignorada. Defina como `true` para arquivos com linha de cabeçalho. Incompatível com arquivos compactados.	Não	`false`
`compress`	Formato de compressão do arquivo de origem. Deixe em branco se o arquivo não estiver compactado. Opções válidas: `gzip`, `bzip2`, `zip`.	Não	Nenhum (sem compressão)
`column`	Lista de colunas para leitura. Cada entrada exige `type` e também `index` ou `value` (nunca ambos). Consulte Configuração de colunas.	Sim	Todas as colunas lidas como STRING
`nullFormat`	String no arquivo de origem que representa um valor nulo. Por exemplo, `"nullFormat": "null"` trata a string `null` como nula; `"nullFormat": "\u0001"` interpreta o caractere não imprimível como nulo. Caso não definido, os dados de origem são gravados no destino sem alterações.	Não	Nenhum

Configuração de colunas

Cada entrada no array column usa os seguintes campos:

Campo	Descrição
`type`	Tipo de dado da coluna. Obrigatório. Valores válidos: `long`, `boolean`, `double`, `string`, `date`.
`index`	Posição da coluna no arquivo de origem, iniciando em 0. Especifique `index` ou `value`, mas não ambos.
`value`	Valor constante para preencher a coluna, em vez de ler do arquivo de origem. Informe `index` ou `value`, nunca os dois simultaneamente.

Para ler todas as colunas como STRING sem especificar tipos individuais:

"column": ["*"]

Para mapear colunas específicas com tipos e injetar uma constante:

"column": [
  { "type": "long", "index": 0 },
  { "type": "string", "value": "alibaba" }
]

DataWorks:HttpFile