DataWorks:Origen de datos de Tablestore

Parámetro

Descripción

Obligatorio

Valor predeterminado

column

Conjunto de nombres de columnas que se sincronizarán desde la tabla configurada, descrito mediante un arreglo JSON. Dado que Tablestore es un sistema NoSQL, es necesario especificar los nombres de las columnas durante la extracción de datos por parte de Tablestore Reader.

• Se admite la lectura de columnas regulares; por ejemplo, {"name":"col1"}.

• Se permite la lectura parcial de columnas. Si no configura una columna específica, Tablestore Reader la omitirá durante la lectura.

• Se admite la lectura de columnas constantes; por ejemplo, {"type":"STRING", "value":"DataX"}. Puede usar el campo type para definir el tipo de la constante. Los tipos compatibles son: String, Int, Double, Bool, Binary (codificado en Base64), INF_MIN (valor mínimo definido por el sistema en Tablestore; si utiliza este valor, no especifique el atributo value, de lo contrario se generará un error) e INF_MAX (valor máximo definido por el sistema en Tablestore; si utiliza este valor, no especifique el atributo value, de lo contrario se generará un error).

• No se admiten funciones ni expresiones personalizadas. Como Tablestore no ofrece capacidades de funciones o expresiones similares a SQL, Tablestore Reader no puede proporcionar características de columnas basadas en funciones o expresiones.

Sí

N/A

begin y end

Los parámetros begin y end definen el intervalo de datos que se extraerá de la tabla de Tablestore.

No

(INF_MIN, INF_MAX)

split

Se trata de un parámetro de configuración avanzada que le permite definir divisiones personalizadas. No se recomienda su uso en escenarios generales.

{
  "range": {
    "begin": [{"type": "INF_MIN"}],
    "end":   [{"type": "INF_MAX"}],
    "split": [
      {"type": "STRING","value": "1"},
      {"type": "STRING","value": "2"},
      {"type": "STRING","value": "3"},
      {"type": "STRING","value": "4"},
      {"type": "STRING","value": "5"}
    ]
  }

// Segment 1
[MIN, 1)
// Segment 2
[1, 2)
// Segment 3
[2, 3)
// Segment 4
[3, 4)
// Segment 5
[4, 5)
// Segment 6
[5, MAX)

No

Si no se configura el parámetro split, se aplica la lógica de división automática.

Dicha lógica identifica los valores máximo y mínimo de la Partition Key y realiza una segmentación uniforme.

La Partition Key admite tipos enteros y de cadena. Las claves enteras utilizan división entera para la segmentación, mientras que las claves de cadena emplean el código Unicode del primer carácter.

Parámetro

Descripción

Obligatorio

Valor predeterminado

column

column es un arreglo donde cada elemento representa una columna. Puede configurar tanto columnas constantes como regulares.

Ejemplo de script para leer cuatro columnas:

"column": [
  {
    "name": "_m_name"               // Measurement name field of the time series
  },
  {
    "name": "tag_key",                // Value corresponding to tag_key in the tag field of the time series
    "is_timeseries_tag":"true"
  },
  {
    "name": "string_column",        // Column named string_column in fields
    "type":"string"                    // with data type string
  },
  {
    "value": "constant_value",        // Constant column with a fixed value of "constant_value"
    "type":"string"
  }
],

Sí

N/A

measurementName

Nombre de la medición de la serie temporal que se va a leer. Si no se configura este parámetro, se leerán los datos de toda la tabla.

No

N/A

timeRange

Intervalo de tiempo de los datos a leer. Corresponde a [begin, end), un intervalo cerrado a la izquierda y abierto a la derecha, donde begin debe ser menor que end. La unidad de la marca de tiempo es microsegundos. El formato es el siguiente:

"timeRange":{
    // begin: optional, defaults to 0, valid range is 0~LONG_MAX
    "begin":1400000000000,
    // end: optional, defaults to Long Max (9223372036854775807L), valid range is 0~LONG_MAX
    "end"  :1600000000000
},

No

Todas las versiones

Parámetro

Descripción

Obligatorio

Valor predeterminado

column

Especifica las columnas a exportar. En modo columna solo se admiten columnas regulares.

"column": [
    {"name1":"{your column name1}"},
    {"name2":"{your column name2}"}
],

Sí

Todas las columnas

range

Rango de datos a leer. Corresponde a [begin, end), un intervalo cerrado a la izquierda y abierto a la derecha, donde:

• Si begin es menor que end, los datos se leen en orden ascendente.

• Si begin es mayor que end, los datos se leen en orden descendente.

• begin y end no pueden ser iguales.

El campo type admite los siguientes tipos:

• string

• int

• binary: El valor se introduce como una cadena binaria codificada en Base64.

• INF_MIN: Representa el valor mínimo posible.

• INF_MAX: Representa el valor máximo posible.

Formato:

"range":{
    // Optional, defaults to reading from the smallest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MIN by default; in reverse order, INF_MAX
    // Examples:
    // If the table has 2 PKs with types string and int respectively, the following 3 inputs are all valid:
    //1. Read from the beginning of the table -> to the end of the table:
    //"begin":[],"end":[],
    //2. Read from first PK value "a" and the minimum of the second PK -> to first PK value "b" and the maximum of the second PK:
    //"begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}],
    //3. Read from first PK value "a" and the minimum of the second PK -> to the end of the table:
    //"begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[],    
    //
    // Binary type PK columns are special because JSON does not support direct binary input, so the system requires:
    // To pass binary data, you must use (Java) Base64.encodeBase64String method to convert the binary into a visible string, then fill this string into the value
    // Example (Java):
    //   byte[] bytes = "hello".getBytes();  # Construct binary data, here using the byte value of the string hello
    //   String inputValue = Base64.encodeBase64String(bytes) # Call the Base64 method to convert binary into a visible string
    //   After executing the above code, inputValue will be "aGVsbG8="
    //   Final configuration: {"type":"binary","value" : "aGVsbG8="}

    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],

    // Defaults to reading until the largest value
    // The input can be an empty array, a PK prefix, or a complete PK. When reading data in forward order, PK suffix is padded with INF_MAX by default; in reverse order, INF_MIN
    // Optional
    "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}],

    // When the data volume is large, concurrent export needs to be enabled. Split can divide the data in the current range into multiple concurrent tasks based on split points
    // Optional
    //   1. The input values in split can only be the first column of the PK (partition key), and the value type must be consistent with the PartitionKey
    //   2. The value range must be between begin and end
    //   3. The values within split must be in ascending or descending order according to the forward/reverse order relationship of begin and end
    "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}]
},

No

Todos los datos

timeRange

Intervalo de tiempo de los datos a leer. Corresponde a [begin, end), un intervalo cerrado a la izquierda y abierto a la derecha, donde begin debe ser menor que end. La unidad de la marca de tiempo es microsegundos.

"timeRange":{
    // begin: Optional. Default value: 0. Value range: 0 to LONG_MAX.
    "begin":1400000000000,
    // end: Optional. Default value: Long Max (9223372036854775807L). Value range: 0 to LONG_MAX.
    "end"  :1600000000000
},

No

Todas las versiones

maxVersion

Número máximo de versiones de datos a solicitar. El rango de valores válidos va de 1 a INT32_MAX.

No

Todas las versiones

Parámetro

Descripción

Obligatorio

Valor predeterminado

primaryKey

Información de la clave principal de la tabla de Tablestore, descrita mediante un array JSON. Dado que Tablestore es un sistema NoSQL, debe especificar los nombres de las columnas durante la importación de datos mediante Tablestore Writer.

"primaryKey" : [
    {"name":"gid", "type":"INT"},
    {"name":"uid", "type":"STRING"}
                 ],

Sí

N/A

column

Conjunto de nombres de columnas que se sincronizarán desde la tabla configurada, descrito mediante un array JSON.

"column" : [
     {"name":"col1", "type":"INT"},
     {"name":"col2", "type":"DOUBLE"},
     {"name":"col3", "type":"STRING"},
     {"name":"col4", "type":"BINARY"},
     {"name":"col5", "type":"BOOL"}
              ],

El campo name especifica el nombre de la columna de Tablestore donde se escribirá, mientras que el campo type indica el tipo de dato a escribir. Tablestore admite los tipos STRING, INT, DOUBLE, BOOL y BINARY.

Sí

N/A

writeMode

Sí

N/A

enableAutoIncrement

Especifica si se permite escribir datos en una tabla de Tablestore que contiene columnas de clave principal de incremento automático.

• true: El plugin detecta automáticamente la información de la columna de incremento automático en la tabla de destino y la incluye durante la escritura de datos (no es necesario configurar el nombre de la columna de incremento automático).

• false: Se reporta un error al intentar escribir en una tabla que contiene columnas de clave principal de incremento automático.

No

false

requestTotalSizeLimitation

Este parámetro limita el tamaño de una sola fila de datos al escribir en Tablestore. El tipo de configuración es numérico.

No

1MB

attributeColumnSizeLimitation

Este parámetro limita el tamaño de una sola columna de atributo al escribir en Tablestore. El tipo de configuración es numérico.

No

2MB

primaryKeyColumnSizeLimitation

Este parámetro limita el tamaño de una sola columna de clave principal al escribir en Tablestore. El tipo de configuración es numérico.

No

1KB

attributeColumnMaxCount

Este parámetro limita el número de columnas de atributo al escribir en Tablestore. El tipo de configuración es numérico.

No

1,024

Parámetro

Descripción

Obligatorio

Valor predeterminado

column

Cada elemento del array de columnas corresponde a un campo en los datos de series temporales. Cada elemento se puede configurar con los siguientes parámetros:

• name: Nombre de la columna. Este campo es obligatorio. Están disponibles los siguientes campos predefinidos:

  • El nombre de la métrica de la serie temporal se identifica mediante _m_name. El tipo de dato es String.

  • El origen de datos de la serie temporal se identifica mediante _data_source. El tipo de dato es String.

  • Las etiquetas de la serie temporal se identifican mediante _tags. El tipo de dato es String. El formato de la cadena es ["tagKey1=value1","tagKey2=value2"].

  • La marca de tiempo de la serie temporal se identifica mediante _time. El tipo de dato es Long. La unidad predeterminada es microsegundos.

• is_timeseries_tag: Especifica si la columna es un par clave-valor dentro del campo de etiquetas. Este campo es opcional. Valor predeterminado: false.

• type: Tipo de valor de la columna. Este campo es opcional. Valor predeterminado: string. Tipos admitidos: string, int, double, bool y binary.

Dado que el nombre de la métrica y la marca de tiempo de los datos de series temporales no pueden estar vacíos, debe configurar los campos _m_name y _time.

mName1    source1    ["tag1=A","tag2=B"]    1677763080000000    field_value     C

Utilice la siguiente configuración:

"column": [
      {
        "name": "_m_name"
      },
      {
        "name": "_data_source",
      },
      {
        "name": "_tags",
      },
      {
        "name": "_time",
      },
      {
        "name": "string_1",
        "type":"string"
      },
      {
        "name":"tag3",
        "is_timeseries_tag":"true",
      }
    ],

Sí

N/A

timeunit

Unidad del campo de marca de tiempo _time. Valores admitidos: NANOSECONDS, MICROSECONDS, MILLISECONDS, SECONDS y MINUTES.

No

MICROSECONDS

Parámetro

Descripción

Obligatorio

Valor predeterminado

primaryKey

Columnas de clave principal de la tabla.

Para reducir la sobrecarga de configuración, no es necesario especificar la posición de primaryKey en el registro (línea). Sin embargo, el formato del registro debe ser fijo: primaryKey debe ir al inicio de la fila, seguido por primaryKey y luego columnName. El formato del registro es: {pk0,pk1...}, {columnName}, {timestamp}, {value}.

1,pk1,row1,1677699863871,value_0_0
                      
Ejemplo de configuración:
1,pk1,row2,1677699863871,value_0_1
1,pk1,row3,1677699863871,value_0_2
2,pk2,row1,1677699863871,value_1_0
2,pk2,row2,1677699863871,value_1_1
2,pk2,row3,1677699863871,value_1_2
3,pk3,row1,1677699863871,value_2_0
3,pk3,row2,1677699863871,value_2_1
3,pk3,row3,1677699863871,value_2_2

"primaryKey" : [
    "gid",
    "uid"
    ],

Resultado de escritura en formato de fila ancha:

gid     uid     row1        row2        row3
1        pk1        value_0_0    value_0_1    value_0_2
2        pk2        value_1_0    value_1_1    value_1_2
3        pk3        value_2_0    value_2_1    value_2_2

Sí

N/A

columnNamePrefixFilter

Filtro de prefijo de nombre de columna.

Para los datos importados desde HBase, cf y qulifier forman conjuntamente el columnName. Sin embargo, Tablestore no admite cf, por lo que es necesario filtrar el prefijo cf.

Ejemplo de configuración: "columnNamePrefixFilter":"cf:"

No

N/A