DataWorks:OSS-HDFS

Categoria de tipo

Tipos de dados do OSS-HDFS

Inteiro

TINYINT, SMALLINT, INT, BIGINT

Ponto flutuante

FLOAT, DOUBLE, DECIMAL

String

STRING, CHAR, VARCHAR

Data e hora

DATE, TIMESTAMP

Booleano

BOOLEAN

Categoria de tipo

Tipos de dados do OSS-HDFS

Inteiro

TINYINT, SMALLINT, INT, BIGINT

Ponto flutuante

FLOAT, DOUBLE

String

CHAR, VARCHAR, STRING

Booleano

BOOLEAN

Data e hora

DATE, TIMESTAMP

Parâmetro

Descrição

Obrigatório

Valor padrão

path

Caminho do arquivo ou diretório a ser lido. Três estilos de entrada são suportados: OPÇÃO 1: Arquivo único — O OSS-HDFS Reader usa uma única thread para ler o arquivo. OPÇÃO 2: Múltiplos arquivos — O OSS-HDFS Reader lê os arquivos simultaneamente. A contagem real de threads é o menor valor entre o número de arquivos e a configuração concurrent. Use padrões regex simples, como /hadoop/data_201704*, ou parâmetros de agendamento para nomes de arquivos baseados em tempo. OPÇÃO 3: Caminho com curinga — O OSS-HDFS Reader percorre os arquivos correspondentes. Especifique / para ler todos os arquivos no diretório raiz. Apenas * e ? são suportados como caracteres curinga. Todos os arquivos em um único trabalho de sincronização são tratados como uma única tabela de dados; portanto, garanta que todos compartilhem o mesmo esquema. O par de AccessKey configurado na fonte de dados deve ter permissões de leitura no caminho OSS-HDFS correspondente.

Sim

Nenhum

fileFormat

Tipo de arquivo. Valores válidos: text, orc, csv, parquet. O OSS-HDFS Reader detecta automaticamente o tipo de arquivo e aplica a política de leitura correspondente. Antes do início da sincronização, ele verifica se todos os arquivos no caminho especificado correspondem ao valor de fileFormat. A tarefa falhará se houver incompatibilidade.

Sim

Nenhum

column

Lista de campos a serem lidos. Defina como ["*"] para ler todas as colunas como STRING. Para especificar colunas individuais, forneça type e index (lê do arquivo de dados, começando em 0) ou value (gera uma coluna constante sem ler do arquivo). Apenas um entre index ou value pode ser definido por entrada de coluna.

Sim

Nenhum

fieldDelimiter

Delimitador de campos para leitura de dados TextFile. Não é necessário para arquivos ORC ou Parquet.

Não

,

encoding

Codificação do arquivo.

Não

utf-8

nullFormat

String a ser tratada como valor nulo. Por exemplo, definir nullFormat: "null" faz com que o Data Integration trate a string de origem null como um campo nulo.

Não

Nenhum

compress

Formato de compactação. Valores válidos: gzip, bzip2, snappy.

Não

Nenhum

Parâmetro

Descrição

Obrigatório

Valor padrão

fileFormat

Tipo de arquivo. Valores válidos: text, orc, parquet.

Sim

Nenhum

path

Caminho no sistema de arquivos OSS-HDFS onde os dados são armazenados. O OSS-HDFS Writer grava vários arquivos neste diretório com base na configuração de simultaneidade. Ao associar a uma tabela Hive, especifique o caminho de armazenamento da tabela Hive no OSS-HDFS.

Sim

Nenhum

fileName

Nome base para os arquivos de saída. Um sufixo aleatório é anexado a este nome para cada thread simultânea, formando os nomes reais dos arquivos.

Sim

Nenhum

column

Campos a serem gravados. Não há suporte para gravação em um subconjunto de colunas. Ao associar a uma tabela Hive, especifique todos os nomes e tipos de campos. Use name para o nome do campo e type para o tipo do campo. Não é necessário quando fileFormat é parquet.

Sim (não necessário se fileFormat for parquet)

Nenhum

writeMode

Define como o OSS-HDFS Writer lida com arquivos existentes antes da gravação. O OSS-HDFS Writer utiliza uma estratégia de gravar-e-renomear: os dados são primeiramente escritos em um diretório temporário nomeado pela regra path_random e, em seguida, movidos para o caminho de destino após a conclusão de todas as gravações, garantindo nomes de arquivos exclusivos. Após a movimentação, o diretório temporário é excluído automaticamente. Se a conexão for interrompida, o diretório temporário e quaisquer arquivos parcialmente gravados não serão limpos automaticamente — exclua-os manualmente antes de tentar novamente. Valores válidos: append — grava diretamente sem pré-processamento, evitando conflitos de nomes de arquivos. nonConflict — relata um erro se já existir um arquivo com o prefixo fileName no diretório. truncate — exclui todos os arquivos correspondentes ao prefixo fileName antes de gravar (por exemplo, se fileName for abc, todos os arquivos começando com abc no diretório serão excluídos primeiro).

Sim

Nenhum

fieldDelimiter

Delimitador de campos para arquivos de saída. Apenas delimitadores de caractere único são suportados; múltiplos caracteres causam erro de execução. Não é necessário quando fileFormat é parquet.

Sim (não necessário se fileFormat for parquet)

Nenhum

compress

Formato de compactação para arquivos de texto. Valores válidos: gzip, bzip2. Deixe em branco para gravar sem compactação.

Não

Nenhum

encoding

Codificação do arquivo.

Não

utf-8

parquetSchema

Definição de esquema para arquivos de saída Parquet. Só tem efeito quando fileFormat é parquet. Use o seguinte formato: `message {

optional> ; ... }`. Tipos de dados suportados: BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (use BINARY para tipos string), FIXED_LEN_BYTE_ARRAY. Use optional para campos anuláveis e required para campos não nulos. Recomenda-se definir todos os campos como optional. Cada definição de linha deve terminar com ponto e vírgula, inclusive a última. Exemplo: message m { optional int64 id; optional binary username; optional int32 status; }

Não

Nenhum