DataWorks:Fonte de dados do Tablestore

Parâmetro

Descrição

Obrigatório

Valor padrão

column

Conjunto de nomes de colunas a serem sincronizados da tabela configurada, descrito usando um array JSON. Como o Tablestore é um sistema NoSQL, especifique os nomes das colunas durante a extração de dados pelo Tablestore Reader.

• Leitura de colunas regulares é suportada, por exemplo, {"name":"col1"}.

• Leitura parcial de colunas é suportada. Se uma coluna não for configurada, o Tablestore Reader não a lerá.

• Leitura de colunas constantes é suportada, por exemplo, {"type":"STRING", "value":"DataX"}. Use o campo type para descrever o tipo da constante. Os seguintes tipos são suportados: String, Int, Double, Bool, Binary (codificado em Base64), INF_MIN (o valor mínimo definido pelo sistema no Tablestore; ao usar este valor, não especifique o atributo value, caso contrário um erro será relatado) e INF_MAX (o valor máximo definido pelo sistema no Tablestore; ao usar este valor, não especifique o atributo value, caso contrário um erro será relatado).

• Funções ou expressões personalizadas não são suportadas. Como o Tablestore não fornece funções semelhantes a SQL ou capacidades de expressão, o Tablestore Reader não pode oferecer recursos de colunas baseados em funções ou expressões.

Sim

N/A

begin e end

Os parâmetros begin e end especificam o intervalo de dados a serem extraídos da tabela do Tablestore.

Não

(INF_MIN, INF_MAX)

split

Parâmetro de configuração avançada que permite definir divisões personalizadas. Não recomendamos o uso deste parâmetro em cenários gerais.

{
  "range": {
    "begin": [{"type": "INF_MIN"}],
    "end":   [{"type": "INF_MAX"}],
    "split": [
      {"type": "STRING","value": "1"},
      {"type": "STRING","value": "2"},
      {"type": "STRING","value": "3"},
      {"type": "STRING","value": "4"},
      {"type": "STRING","value": "5"}
    ]
  }

// Segment 1
[MIN, 1)
// Segment 2
[1, 2)
// Segment 3
[2, 3)
// Segment 4
[3, 4)
// Segment 5
[4, 5)
// Segment 6
[5, MAX)

Não

Quando o parâmetro split não está configurado, a lógica de divisão automática é utilizada.

A lógica de divisão automática encontra os valores máximo e mínimo da Partition Key e realiza uma segmentação uniforme.

A Partition Key suporta tipos inteiros e strings. Chaves inteiras usam divisão inteira para segmentação, e chaves string usam o código Unicode do primeiro caractere para segmentação.

Parâmetro

Descrição

Obrigatório

Valor padrão

column

column é um array onde cada elemento representa uma coluna. Configure colunas constantes e colunas regulares.

Exemplo de script para leitura de quatro colunas:

"column": [
  {
    "name": "_m_name"               // Measurement name field of the time series
  },
  {
    "name": "tag_key",                // Value corresponding to tag_key in the tag field of the time series
    "is_timeseries_tag":"true"
  },
  {
    "name": "string_column",        // Column named string_column in fields
    "type":"string"                    // with data type string
  },
  {
    "value": "constant_value",        // Constant column with a fixed value of "constant_value"
    "type":"string"
  }
],

Sim

N/A

measurementName

Nome da medição da série temporal a ser lida. Se este parâmetro não for configurado, os dados de toda a tabela serão lidos.

Não

N/A

timeRange

Intervalo de tempo dos dados a serem lidos. O intervalo é [begin, end), fechado à esquerda e aberto à direita, onde begin deve ser menor que end. A unidade do carimbo de data/hora é microssegundos. O formato é o seguinte:

"timeRange":{
    // begin: optional, defaults to 0, valid range is 0~LONG_MAX
    "begin":1400000000000,
    // end: optional, defaults to Long Max (9223372036854775807L), valid range is 0~LONG_MAX
    "end"  :1600000000000
},

Não

Todas as versões

Parâmetro

Descrição

Obrigatório

Valor padrão

column

Colunas a serem exportadas. Apenas colunas regulares são suportadas no modo de coluna.

"column": [
    {"name1":"{your column name1}"},
    {"name2":"{your column name2}"}
],

Sim

Todas as colunas

range

Intervalo de dados a ser lido. O intervalo é [begin, end), fechado à esquerda e aberto à direita, onde:

• Quando begin é menor que end, os dados são lidos em ordem crescente.

• Quando begin é maior que end, os dados são lidos em ordem decrescente.

• begin e end não podem ser iguais.

Os seguintes tipos são suportados para o campo type:

• string

• int

• binary: O valor é passado como uma string binária codificada em Base64.

• INF_MIN: Representa o menor valor possível.

• INF_MAX: Representa o maior valor possível.

Formato:

"range":{
    // Optional, defaults to reading from the smallest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MIN by default; in reverse order, INF_MAX
    // Examples:
    // If the table has 2 PKs with types string and int respectively, the following 3 inputs are all valid:
    //1. Read from the beginning of the table -> to the end of the table:
    //"begin":[],"end":[],
    //2. Read from first PK value "a" and the minimum of the second PK -> to first PK value "b" and the maximum of the second PK:
    //"begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}],
    //3. Read from first PK value "a" and the minimum of the second PK -> to the end of the table:
    //"begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[],    
    //
    // Binary type PK columns are special because JSON does not support direct binary input, so the system requires:
    // To pass binary data, you must use (Java) Base64.encodeBase64String method to convert the binary into a visible string, then fill this string into the value
    // Example (Java):
    //   byte[] bytes = "hello".getBytes();  # Construct binary data, here using the byte value of the string hello
    //   String inputValue = Base64.encodeBase64String(bytes) # Call the Base64 method to convert binary into a visible string
    //   After executing the above code, inputValue will be "aGVsbG8="
    //   Final configuration: {"type":"binary","value" : "aGVsbG8="}

    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],

    // Defaults to reading until the largest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MAX by default; in reverse order, INF_MIN
    // Optional
    "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}],

    // When the data volume is large, concurrent export needs to be enabled. Split can divide the data in the current range into multiple concurrent tasks based on split points
    // Optional
    //   1. The input values in split can only be the first column of the PK (partition key), and the value type must be consistent with the PartitionKey
    //   2. The value range must be between begin and end
    //   3. The values within split must be in ascending or descending order according to the forward/reverse order relationship of begin and end
    "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}]
},

Não

Todos os dados

timeRange

Intervalo de tempo dos dados a serem lidos. O intervalo é [begin, end), fechado à esquerda e aberto à direita, onde begin deve ser menor que end. A unidade do carimbo de data/hora é microssegundos.

"timeRange":{
    // begin: Optional. Default value: 0. Value range: 0 to LONG_MAX.
    "begin":1400000000000,
    // end: Optional. Default value: Long Max (9223372036854775807L). Value range: 0 to LONG_MAX.
    "end"  :1600000000000
},

Não

Todas as versões

maxVersion

Número máximo de versões de dados a serem solicitadas. O intervalo de valores é de 1 a INT32_MAX.

Não

Todas as versões

Parâmetro

Descrição

Obrigatório

Valor padrão

primaryKey

Informações da chave primária da tabela do Tablestore, descritas usando um array JSON. Como o Tablestore é um sistema NoSQL, especifique os nomes das colunas durante a importação de dados pelo Tablestore Writer.

"primaryKey" : [
    {"name":"gid", "type":"INT"},
    {"name":"uid", "type":"STRING"}
                 ],

Sim

N/A

column

Conjunto de nomes de colunas a serem sincronizados da tabela configurada, descrito usando um array JSON.

"column" : [
     {"name":"col1", "type":"INT"},
     {"name":"col2", "type":"DOUBLE"},
     {"name":"col3", "type":"STRING"},
     {"name":"col4", "type":"BINARY"},
     {"name":"col5", "type":"BOOL"}
              ],

O campo name especifica o nome da coluna do Tablestore onde gravar, e o campo type especifica o tipo de dado a ser gravado. O Tablestore suporta os tipos STRING, INT, DOUBLE, BOOL e BINARY.

Sim

N/A

writeMode

Sim

N/A

enableAutoIncrement

Define se é permitido gravar dados em uma tabela do Tablestore que contém colunas de chave primária com incremento automático.

• true: O plugin verifica automaticamente as informações da coluna de incremento automático da tabela de destino e adiciona a coluna durante a gravação de dados (não é necessário configurar o nome da coluna de incremento automático).

• false: Um erro é relatado ao tentar gravar em uma tabela que contém colunas de chave primária com incremento automático.

Não

false

requestTotalSizeLimitation

Limite de tamanho de uma única linha de dados ao gravar no Tablestore. O tipo de configuração é numérico.

Não

1MB

attributeColumnSizeLimitation

Limite de tamanho de uma única coluna de atributo ao gravar no Tablestore. O tipo de configuração é numérico.

Não

2MB

primaryKeyColumnSizeLimitation

Limite de tamanho de uma única coluna de chave primária ao gravar no Tablestore. O tipo de configuração é numérico.

Não

1KB

attributeColumnMaxCount

Limite de número de colunas de atributo ao gravar no Tablestore. O tipo de configuração é numérico.

Não

1.024

Parâmetro

Descrição

Obrigatório

Valor padrão

column

Cada elemento no array column corresponde a um campo nos dados da série temporal. Cada elemento pode ser configurado com os seguintes parâmetros:

• name: Nome da coluna. Campo obrigatório. Os seguintes campos predefinidos estão disponíveis:

  • O nome da medição da série temporal é identificado por _m_name. O tipo de dado é String.

  • A fonte de dados da série temporal é identificada por _data_source. O tipo de dado é String.

  • As tags da série temporal são identificadas por _tags. O tipo de dado é String. O formato da string é ["tagKey1=value1","tagKey2=value2"].

  • O carimbo de data/hora da série temporal é identificado por _time. O tipo de dado é Long. A unidade padrão é microssegundos.

• is_timeseries_tag: Indica se a coluna é um par chave-valor dentro do campo tags. Campo opcional. Valor padrão: false.

• type: Tipo de valor da coluna. Campo opcional. Valor padrão: string. Tipos suportados: string, int, double, bool e binary.

Como o nome da medição e o carimbo de data/hora dos dados da série temporal não podem estar vazios, configure os campos _m_name e _time.

mName1    source1    ["tag1=A","tag2=B"]    1677763080000000    field_value     C

Use a seguinte configuração:

"column": [
      {
        "name": "_m_name"
      },
      {
        "name": "_data_source",
      },
      {
        "name": "_tags",
      },
      {
        "name": "_time",
      },
      {
        "name": "string_1",
        "type":"string"
      },
      {
        "name":"tag3",
        "is_timeseries_tag":"true",
      }
    ],

Sim

N/A

timeunit

Unidade do campo de carimbo de data/hora _time. Valores suportados: NANOSECONDS, MICROSECONDS, MILLISECONDS, SECONDS e MINUTES.

Não

MICROSECONDS

Parâmetro

Descrição

Obrigatório

Valor padrão

primaryKey

Colunas de chave primária da tabela.

Para reduzir a sobrecarga de configuração, não é necessário especificar a posição da primaryKey no registro (linha). No entanto, o formato do registro deve ser fixo: a primaryKey deve estar no início da linha, seguida pela primaryKey e depois pelo columnName. O formato do registro é: {pk0,pk1...}, {columnName}, {timestamp}, {value}.

1,pk1,row1,1677699863871,value_0_0
                      
Exemplo de configuração:
1,pk1,row2,1677699863871,value_0_1
1,pk1,row3,1677699863871,value_0_2
2,pk2,row1,1677699863871,value_1_0
2,pk2,row2,1677699863871,value_1_1
2,pk2,row3,1677699863871,value_1_2
3,pk3,row1,1677699863871,value_2_0
3,pk3,row2,1677699863871,value_2_1
3,pk3,row3,1677699863871,value_2_2

"primaryKey" : [
    "gid",
    "uid"
    ],

Resultado da gravação no formato de linha larga:

gid     uid     row1        row2        row3
1        pk1        value_0_0    value_0_1    value_0_2
2        pk2        value_1_0    value_1_1    value_1_2
3        pk3        value_2_0    value_2_1    value_2_2

Sim

N/A

columnNamePrefixFilter

Filtro de prefixo do nome da coluna.

Para dados importados do HBase, cf e qulifier formam juntos o columnName. No entanto, o Tablestore não suporta cf, então filtre o prefixo cf.

Exemplo de configuração: "columnNamePrefixFilter":"cf:"

Não

N/A