DataWorks:Fonte de dados Amazon S3

Supported

Unsupported

• Somente arquivos no formato TXT podem ser lidos, e o schema do arquivo TXT deve ser uma tabela bidimensional.

• Lê dados de objetos no estilo CSV com delimitadores personalizados.

• Lê dados nos formatos ORC, PARQUET, JSON e JSONL.

• Lê diversos tipos de dados como strings e oferece suporte a pruning de colunas e colunas constantes.

• Suporta leitura recursiva e filtragem de nomes de objetos.

• Suporta compactação de objetos. Os formatos de compactação suportados são gzip, bzip2 e zip.

  Nota

  Não é possível compactar múltiplos objetos em um único pacote.

• Suporta leitura simultânea de múltiplos objetos.

• Não suporta leituras multi-thread de um único Object (File).

• Não suporta leituras multi-thread de um único Object compactado.

• Não suporta a leitura de um único Object (File) com tamanho superior a 100 GB.

Parameter

Description

Required

Default value

datasource

O nome da fonte de dados. O modo script permite adicionar fontes de dados. O valor deste parâmetro deve ser igual ao nome da fonte de dados adicionada.

Sim

N/A

Object

As informações do objeto no Amazon S3. É possível especifique múltiplos objetos. Por exemplo, se o bucket contiver uma pasta chamada test e essa pasta contiver um arquivo chamado ll.txt, defina Object como test/ll.txt.

• Ao especifique um único objeto S3, o leitor do Amazon S3 suporta apenas extração de dados single-thread.

• Ao especifique múltiplos objetos S3, o leitor do Amazon S3 suporta extração de dados multi-thread. O número de threads simultâneas é determinado pelo número de canais.

• Ao usar wildcards, o leitor do Amazon S3 tentará listar múltiplos objetos. Por exemplo, abc*[0-9] corresponde a abc0, abc1, abc2, abc3 e assim por diante. O uso de wildcards pode causar erros de out-of-memory. Recomenda-se não utilizar wildcards.

Sim

N/A

column

A lista de colunas a serem lidas. O parâmetro type especifique o tipo de dado dos dados de origem:

• Formato CSV/TEXT: O parâmetro index especifique o número da coluna no arquivo de texto (começando em 0), e o parâmetro value especifique um valor constante.

• Formato JSON/JSONL: Use jsonPath para especifique uma expressão JSONPath e extrair campos; o parâmetro value especifique um valor constante.

column": ["*"]

// CSV/TEXT format
                    "column":    
{       
"type": "long",       
"index": 0 //Retrieve the int field from the first column of the S3 text.
},    
{       
"type": "string",       
"value": "alibaba" //Generate the string field "alibaba" internally from S3 Reader as the current field.    
}

// JSON/JSONL format
"column":    
{       
"name": "id",       
"jsonPath": "$.id",       
"type": "LONG"
},    
{       
"name": "name",       
"jsonPath": "$.user.name",       
"type": "STRING"
},    
{       
"name": "source",       
"value": "s3",       
"type": "STRING"
}

Sim

Todos os dados são lidos como tipo STRING.

fieldDelimiter

O delimitador de colunas para leitura de dados.

Sim

Valor padrão: (,)

compress

O tipo de compactação. Por padrão, este parâmetro é deixado em branco, indicando que nenhuma compactação é aplicada. Os tipos de compactação suportados são gzip, bzip2 e zip.

Não

Sem compactação

encoding

A codificação dos arquivos a serem lidos.

Não

utf-8

nullFormat

Strings padrão em arquivos de texto não conseguem representar null (ponteiro nulo). O sistema de sincronização de dados usa nullFormat para defina quais strings podem representar null. Por exemplo, ao defina nullFormat="null" com o dado de origem igual a "null", o sistema de sincronização de dados o trata como um campo nulo.

Não

N/A

skipHeader

Para arquivos CSV, use skipHeader para especifique se a linha de cabeçalho deve ser lida.

• True: A linha de cabeçalho é lida durante a sincronização de dados.

• False: A linha de cabeçalho não é lida durante a sincronização de dados.

Não

false

csvReaderConfig

A configure para leitura de arquivos CSV. Este parâmetro é do tipo Map. O CsvReader lê arquivos CSV e oferece diversas opções de configure. Se este parâmetro não for configurado, os valores padrão serão aplicados.

Não

N/A

minLastModified

Filtra arquivos pela data da última modificação e defina o limite inferior inclusivo. Arquivos modificados em data igual ou posterior (>=) ao valor especificado são incluídos. Use o formato yyyyMMddHHmmss. Combinado com maxLastModified, este parâmetro defina o intervalo fechado à esquerda e aberto à direita [min, max).

maxLastModified

Filtra arquivos pela data da última modificação e defina o limite superior exclusivo. Somente arquivos modificados antes (<) do valor especificado são incluídos. Use o formato yyyyMMddHHmmss. Combinado com minLastModified, este parâmetro defina o intervalo fechado à esquerda e aberto à direita [min, max).

Parameter

Description

Required

Default value

datasource

O nome da fonte de dados. O modo script permite adicionar fontes de dados. O valor deste parâmetro deve ser igual ao nome da fonte de dados adicionada.

Sim

N/A

object

O nome do objeto de destino.

Sim

N/A

fileFormat

Os seguintes formatos de arquivo são suportados:

• csv: Somente o formato CSV estrito é suportado. Se os dados a serem gravados contiverem delimitadores de coluna, eles serão escapados conforme a sintaxe de escape CSV. O caractere de escape é uma aspas dupla (").

• text: Usa delimitadores de coluna para separar os dados de forma simples. Dados que contenham delimitadores de coluna não são escapados.

• parquet

• ORC

Sim

text

writeMode

• truncate: Antes da gravação, todos os objetos cujos nomes correspondem ao prefixo de nome de objeto especificado são excluídos. Por exemplo, ao defina "object":"abc", todos os objetos cujos nomes começam com abc são excluídos.

• append: Nenhum processamento é realizado antes da gravação. O gravador S3 do Data Integration grava os dados diretamente usando o nome de objeto especificado com um sufixo UUID aleatório para evitar conflitos de nome. Por exemplo, se o nome do objeto for defina como DI, o arquivo gravado será DI_xxxx_xxxx_xxxx.

• nonConflict: Um erro é reportado se qualquer objeto com prefixo correspondente existir no caminho especificado. Por exemplo, ao defina "object":"abc" e um objeto chamado abc123 já existir, um erro é reportado.

Sim

append

fieldDelimiter

O delimitador de colunas para gravação de dados.

Não

Valor padrão: (,)

lineDelimiter

O delimitador de linhas para gravação de dados.

Não

Valor padrão: (\n)

compress

O tipo de compactação. Por padrão, este parâmetro é deixado em branco, indicando que nenhuma compactação é aplicada.

• Quando fileFormat estiver defina como text ou csv, GZIP e BZIP2 são suportados.

• Quando fileFormat estiver defina como parquet ou orc, a compactação SNAPPY é suportada.

Não

Sem compactação

nullFormat

Strings padrão em arquivos de texto não conseguem representar null (ponteiro nulo). O sistema de sincronização de dados usa nullFormat para defina quais strings podem representar null. Por exemplo, ao defina nullFormat="null" com o dado de origem igual a null, o sistema de sincronização de dados o trata como um campo nulo.

Não

N/A

header

O cabeçalho a ser gravado. Exemplo: ["id", "name", "age"].

Não

N/A

writeSingleObject

true: Grava os dados em um único arquivo. false: Grava os dados em múltiplos arquivos.

Não

false

encoding

A codificação dos arquivos a serem gravados.

Não

utf-8

column

A configure de colunas para gravação de dados.

• Quando fileFormat estiver defina como csv ou text, configure o parâmetro column com marcadores numéricos. Exemplo:

  "column":[
   "0",
   "1"
   ]

• Quando fileFormat estiver defina como Parquet ou ORC, configure o parâmetro column com combinações de nome e tipo. Exemplo:

  "column": [
    {
      "name": "col1",
      "type": "BIGINT"
    },
    {
      "name": "col2",
      "type": "DOUBLE"
    }

Sim

N/A