DataWorks:OSS

Suportado

Não suportado

• Suporta arquivos TXT com esquema de tabela bidimensional.

• Aceita arquivos semelhantes a CSV com delimitador personalizado.

  Nota

  Os formatos de texto (TXT e CSV) oferecem suporte às compactações gzip, bzip2 e zip.

  Não é possível empacotar vários arquivos em um único arquivo compactado.

• Compatível com arquivos nos formatos ORC e Parquet.

• Permite a leitura de vários tipos de dados (representados como STRING), poda de colunas e constantes de coluna.

• Suporta leituras recursivas e filtragem por nome de objeto.

• Permite leituras simultâneas de múltiplos objetos.

• O reader não consegue ler um único objeto (arquivo) simultaneamente usando várias threads.

• Um único objeto compactado não oferece suporte a leituras multithread simultâneas.

Suportado

Não suportado

• Permite gravar dados em arquivos de texto com esquema de tabela bidimensional. Não há suporte para gravação de arquivos contendo objetos binários grandes (BLOBs), como vídeos e imagens.

• Aceita arquivos semelhantes a CSV com delimitador personalizado.

• Compatível com arquivos nos formatos ORC e Parquet.

  Nota

  No editor de código, há suporte para compactação SNAPPY.

• Oferece suporte a gravações multithread, nas quais cada thread grava em um part-file separado.

• Suporta rotação de arquivos e cria um novo arquivo para gravações subsequentes quando o arquivo atual excede um tamanho especificado.

• Não há suporte para gravações simultâneas em um único arquivo.

• Como o OSS não fornece tipos de dados nativos, o OSS Writer grava todos os dados como o tipo STRING nos objetos do OSS.

• Não é possível gravar dados em um bucket do OSS cuja classe de armazenamento seja Cold Archive.

• Um único objeto (arquivo) não pode exceder 100 GB.

Categoria

Tipo de coluna

Inteiro

LONG

String

STRING

Ponto flutuante

DOUBLE

Booleano

BOOLEAN

Data e hora

DATE

Parâmetro

Descrição

Obrigatório

Padrão

datasource

Define o nome da fonte de dados. No modo script, este valor deve corresponder ao nome de uma fonte de dados configurada.

Sim

Nenhum

object

Especifica um ou mais objetos a serem sincronizados do OSS. É possível definir objetos usando caminhos explícitos, curingas ou parâmetros dinâmicos.

1. Métodos de configuração

• Caminho explícito

  • Regra básica: Os caminhos devem começar no diretório raiz do bucket e não devem incluir o nome do bucket.

  • Especificar um único arquivo: Insira o caminho completo do arquivo. Por exemplo: my_folder/my_file.txt.

  • Especificar múltiplos objetos: Separe os caminhos de vários arquivos ou pastas com uma vírgula (,). Por exemplo: folder_a/file1.txt, folder_a/file2.txt.

• Caminho com curinga

  • Use curingas para corresponder a vários arquivos com um padrão específico.

  • *: Corresponde a zero ou mais caracteres.

  • ?: Corresponde exatamente a um caractere.

  • Exemplos:

    • abc*[0-9].txt corresponde a arquivos como abc0.txt, abc10.txt e abc_test_9.txt.

    • abc?.txt corresponde a arquivos como abc1.txt e abcX.txt.

• Caminho com parâmetro dinâmico

  • Incorpore parâmetros de agendamento no caminho para automatizar a sincronização de dados. Quando o job é executado, o sistema substitui esses parâmetros pelos seus valores reais.

  • Por exemplo, se você configurar o caminho como raw_data/${bizdate}/abc.txt, o job poderá sincronizar dinamicamente a pasta correspondente à data de negócios de cada dia.

  • Para mais informações sobre como usar parâmetros de agendamento, consulte Fontes de parâmetros de agendamento e suas expressões.

2. Simultaneidade e desempenho

O método de configuração determina diretamente a simultaneidade da extração de dados:

• Modo single-thread: Ao especificar um único arquivo descompactado com um caminho explícito, o job extrai dados no modo single-thread.

• Modo multithread: Ao especificar vários arquivos explícitos ou corresponder a vários arquivos com um curinga, o job usa leituras simultâneas para melhorar significativamente o throughput de extração. Configure a simultaneidade nas configurações de Channel.

Sim

Nenhum

parquetSchema

Use este parâmetro para definir o esquema de arquivos no formato Parquet. Aplica-se apenas quando fileFormat está definido como parquet. Após especificar o parquetSchema, garanta que a configuração geral seja um JSON válido.

message MessageTypeName {
required/optional, data_type, column_name;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

Não

Nenhum

column

Especifica a lista de colunas a serem lidas. 'type' define o tipo de dados na origem. 'index' indica o índice baseado em zero da coluna no arquivo de texto. 'value' define um valor constante para a coluna e instrui o sistema a gerar o valor em vez de lê-lo do arquivo de origem.

"column": ["*"]

"column":
        {
           "type": "long",
           "index": 0    // Reads an integer from the first column of the OSS text file.
        },
        {
           "type": "string",
           "value": "alibaba"  // Generates a constant string 'alibaba' for the current column.
        }

Sim

Todas as colunas são lidas como o tipo de dados STRING.

fileFormat

O formato de arquivo dos objetos de origem no OSS. Os valores válidos são 'csv' e 'text'. Ambos os formatos aceitam delimitadores personalizados.

Sim

csv

fieldDelimiter

O delimitador de campo.

Sim

,

lineDelimiter

O delimitador de linha.

Não

Nenhum

compress

O tipo de compactação dos arquivos de origem. Se este parâmetro não for definido, os arquivos serão considerados descompactados. Tipos suportados: gzip, bzip2 e zip.

Não

Sem compactação

encoding

A codificação de caracteres dos arquivos de origem.

Não

utf-8

nullFormat

Define uma string nos dados de origem que representa um valor nulo. Isso é necessário porque arquivos de texto não possuem uma representação padrão para valores nulos. Por exemplo:

• Se você definir nullFormat:"null", a string literal "null" nos dados de origem será tratada como um valor nulo.

• Se você definir nullFormat:"\u0001", a string "\u0001" (um caractere invisível) nos dados de origem será tratada como um valor nulo.

• Se omitir o parâmetro "nullFormat", o sistema gravará os dados de origem no destino tal como estão, sem nenhuma conversão de valor.

Não

Nenhum

skipHeader

Arquivos semelhantes a CSV podem ter uma linha de cabeçalho que serve como título e precisa ser ignorada. Por padrão, essa linha não é ignorada. O parâmetro skipHeader não é suportado no modo de arquivo compactado.

Não

false

csvReaderConfig

Um mapa de configurações adicionais para o CsvReader usado para analisar arquivos CSV. Se este parâmetro for omitido, o CsvReader usará suas configurações padrão.

Não

Nenhum

Parâmetro

Descrição

Obrigatório

Padrão

datasource

O nome da fonte de dados. No editor de código, este valor deve corresponder ao nome da fonte de dados configurada.

Sim

Nenhum

object

O nome do objeto de saída no OSS. O OSS usa nomes de objetos para simular uma estrutura de diretórios. O nome do objeto segue as convenções abaixo:

• Se você definir "object": "datax", o nome do objeto gravado começará com datax, e uma string aleatória será anexada como sufixo.

• Se você definir "object": "cdo/datax", o nome do objeto gravado começará com /cdo/datax, e uma string aleatória será anexada como sufixo. O OSS usa a barra (/) como delimitador para simular diretórios.

Se não desejar um sufixo UUID aleatório, configure "writeSingleObject": "true". Para mais informações, consulte a descrição do parâmetro writeSingleObject.

Sim

Nenhum

ossBlockSize

O tamanho de uma parte do OSS. O valor padrão é 16 MB. Quando o formato de saída do arquivo for parquet ou ORC, configure este parâmetro no mesmo nível do parâmetro object.

Como um upload multipart do OSS é limitado a 10.000 partes, o tamanho padrão da parte restringe o tamanho máximo do arquivo a 160 GB. Para fazer upload de arquivos maiores, aumente o tamanho da parte.

Não

16

writeMode

Define como o OSS Writer lida com dados existentes antes da gravação:

• truncate: Exclui todos os objetos que correspondem ao prefixo especificado no parâmetro object antes de gravar novos dados. Por exemplo, se você definir "object":"abc", todos os objetos com o prefixo abc serão excluídos.

• append: Não realiza nenhuma limpeza. O OSS Writer grava novos dados usando o nome do objeto especificado como prefixo e anexando um UUID aleatório para garantir um nome exclusivo. Por exemplo, se especificar o nome do objeto como DataIntegration, o nome real do objeto será semelhante a DataIntegration_**__**.

• nonConflict: Se já existir um objeto cujo nome corresponda ao prefixo especificado, o job de sincronização falhará. Por exemplo, se você definir "object":"abc" e existir um objeto chamado abc123, um erro será relatado.

Sim

Nenhum

writeSingleObject

Determina se todos os dados devem ser gravados em um único objeto.

• true: Grava todos os dados em um único objeto. Se nenhum dado for lido da origem, um arquivo vazio não será criado.

• false: Grava dados em vários objetos. Se nenhum dado for lido da origem e um cabeçalho estiver configurado, será criado um arquivo vazio contendo apenas o cabeçalho. Caso contrário, será criado um arquivo vazio de zero byte.

Não

false

fileFormat

O formato de arquivo dos objetos de saída. Os seguintes formatos são suportados:

• csv: Grava dados no formato CSV estrito. Se os dados incluírem o delimitador de campo, ele será escapado sendo colocado entre aspas duplas (") de acordo com as regras padrão de escape de CSV.

• text: Grava dados como texto simples, usando o delimitador de campo especificado. Ao contrário de csv, este formato não escapa delimitadores que aparecem dentro dos dados.

• parquet: Se usar este formato de arquivo, especifique o parâmetro parquetSchema para definir o esquema de dados.

  Importante

  • Para gravar dados no formato Parquet, alterne para o editor de código e configure o parâmetro parquetSchema. Para um exemplo de configuração, consulte Apêndice: Demonstração de script e descrições de parâmetros.

  • Se não configurar o parâmetro parquetSchema, o DataWorks converterá os tipos de dados da origem com base em uma política específica. Para mais informações sobre a política de conversão, consulte Apêndice: Política de conversão de tipos de dados Parquet.

• ORC: Para usar este formato, alterne para o editor de código.

Não

text

compress

Especifica o formato de compactação para os arquivos de dados gravados no OSS. Este parâmetro deve ser configurado no editor de código.

Não

Nenhum

fieldDelimiter

O delimitador de campo para os dados de saída.

Não

,

encoding

Define a codificação de caracteres para os arquivos de saída.

Não

utf-8

parquetSchema

Obrigatório quando fileFormat está definido como parquet. Este parâmetro define o esquema do arquivo Parquet de saída. Use o seguinte formato:

message MessageTypeName {
modifier, data_type, column_name;
......................;
}

Os itens de configuração são descritos da seguinte forma:

• MessageTypeName: O nome do tipo de mensagem.

• modifier: required indica que o campo não pode conter um valor nulo. optional indica que o campo pode conter um valor nulo. Recomendamos definir todos os campos como optional.

• data_type: Os tipos de dados Parquet suportados incluem BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (para tipos string) e FIXED_LEN_BYTE_ARRAY.

Exemplo:

message m {
    optional int64 id;
    optional int64 date_id;
    optional binary datetimestring;
    optional int32 dspId;
    optional int32 advertiserId;
    optional int32 status;
    optional int64 bidding_req_num;
    optional int64 imp;
    optional int64 click_num;
    }

Não

Nenhum

nullFormat

Em arquivos de texto, não é possível usar uma string padrão para definir um valor nulo. O sistema de sincronização de dados fornece o parâmetro nullFormat para especificar uma string que representa um valor nulo. Por exemplo, se configurar nullFormat="null" e os dados de origem forem null, o sistema de sincronização de dados o tratará como um campo nulo.

Não

Nenhum

header

Especifica o cabeçalho a ser gravado nos arquivos de saída. O valor deve ser um array JSON de strings, como ["id", "name", "age"].

Não

Nenhum

maxFileSize (Configuração avançada, não suportada na interface sem código)

Controla o tamanho máximo de um único objeto de saída antes que o arquivo sofra rotação, semelhante à rotação de arquivos de log. Para uploads multipart, o tamanho da parte é de 10 MB, que também serve como granularidade mínima de rotação. Um valor de maxFileSize menor que 10 MB é tratado como 10 MB. Uma solicitação InitiateMultipartUploadRequest do OSS suporta no máximo 10.000 partes.

Quando um arquivo sofre rotação, o novo nome do objeto é criado anexando um número sequencial (como _1, _2 ou _3) ao nome base do objeto, que já inclui um prefixo e um UUID aleatório.

Não

100.000

suffix (Configuração avançada, não suportada na interface sem código)

Especifica um sufixo a ser anexado aos nomes dos objetos de saída. Por exemplo, se definir suffix como .csv, os nomes finais dos objetos serão semelhantes a prefixo-do-objeto_uuid-aleatorio.csv.

Não

Nenhum