Fields in the DataSource data structure - OpenSearch - Centro de documentación de Alibaba Cloud

Descripción

Información del origen de datos

Ejemplo

{
  "tableName": "news",
  "type": "rds",
  "fields": [
    { "id": "id" },
    { "caption": "caption" },
    { "content": "content" },
    { "categoryId": "category_id" }
  ],
  "plugins": {
    "caption": {
      "name": "HTMLTagRemover",
      "parameters": {}
    },
    "content": {
      "name": "HTMLTagRemover",
      "parameters": {}
    }
  },
  "keyField": "id",
  "parameters": {
    "filter": "",
    "instanceId": "rm-abc",
    "dbName": "my_db",
    "dbTableName": "my_table",
    "dbUser": "my_user",
    "dbPassword": "my-password",
    "autoSync": true
  }
}

Estructura

Campo	Tipo	Descripción
`tableName`	String	Nombre de la tabla en el sistema de origen.
`type`	String	Tipo del origen de datos. Valores válidos: `rds`, `odps`, `opensearch` y `polardb`. Este valor determina qué campos son obligatorios en `parameters`.
`fields[]`	Object	Asignaciones de campos entre la tabla de origen y la tabla de destino. Cada entrada es un par `{key: value}` donde `key` es el nombre del campo de origen y `value` es el nombre del campo de destino.
`plugins`	Object	Plugins de procesamiento de datos que se aplican a campos específicos antes de la indexación. Cada clave es un nombre de campo de destino; cada valor es un objeto Plugin.
`plugins.*`	Object	Detalles del plugin. Para más información, consulte Plugin a continuación. *: nombre del campo.
`keyField`	String	Clave principal de la tabla del origen de datos.
`parameters`	Object	Parámetros de conexión y sincronización para el origen de datos. Los campos obligatorios dependen del valor de `type`. Consulte rds, odps, opensearch y polardb.

Plugin

Ejemplo

{
  "name": "HTMLTagRemover",
  "parameters": {}
}

Estructura

Campo	Tipo	Descripción
`name`	String	Plugin que se debe aplicar. Valores válidos: `JsonKeyValueExtractor`, `MultiValueSpliter`, `KeyValueExtractor`, `StringCatenateExtractor` y `HTMLTagRemover`.
`parameters`	Object	Configuración del plugin. Los campos obligatorios dependen del valor de `name`. Consulte las secciones de plugins a continuación.

JsonKeyValueExtractor

Extrae el valor de una clave especificada desde un campo de origen que contiene JSON. El valor extraído se escribe en el campo de destino. Solo se puede extraer una clave por instancia del plugin.

Ejemplo

{
  "key": "my_field"
}

Estructura

Campo	Tipo	Descripción
`key`	String	Clave que se debe extraer del campo de origen JSON.

MultiValueSpliter

Divide el valor de un campo de origen en varios valores mediante un delimitador. Los valores resultantes se escriben como elementos de matriz en el campo de destino.

El campo de destino debe ser de tipo ARRAY . Para usar un carácter no imprimible como delimitador, especifíquelo como una secuencia de escape Unicode (por ejemplo, \u001D ).

Ejemplo

{
  "seperator": "|"
}

Estructura

Campo	Tipo	Descripción
`seperator`	String	Delimitador que se usa para dividir el valor del campo de origen.

KeyValueExtractor

Extrae el valor de una clave especificada desde un campo de origen que contiene pares clave-valor. El valor extraído se escribe en el campo de destino. Los delimitadores son opcionales.

Ejemplo

{
  "key": "my_field",
  "fieldSep": ";",
  "kvSep": ":"
}

Estructura

Campo	Tipo	Descripción
`key`	String	Clave cuyo valor se debe extraer.
`fieldSep`	String	Delimitador que separa varios pares clave-valor.
`kvSep`	String	Delimitador que separa una clave de su valor.

StringCatenateExtractor

Concatena los valores de varios campos de destino en una sola cadena mediante un conector especificado y escribe el resultado en el campo objetivo.

Este plugin no puede concatenar campos de tipos enteros. Se recomienda usar campos de tipos literales. Todos los campos listados en sources deben ser campos de destino.

Ejemplo

{
  "connector": "-",
  "sources": "id,title"
}

Estructura

Campo	Tipo	Descripción
`connector`	String	Cadena que se inserta entre los valores de campo concatenados.
`sources`	String	Lista separada por comas de nombres de campos de destino que se van a concatenar.

HTMLTagRemover

Elimina las etiquetas HTML del valor de un campo de origen y escribe el resultado en texto plano en el campo de destino. No se requieren parámetros adicionales.

rds

Se conecta a una instancia de ApsaraDB RDS.

Ejemplo

{
  "instanceId": "rds-instance-id",
  "dbName": "my_db",
  "dbTableName": "my_table",
  "dbUser": "my_user",
  "dbPassword": "my_passwd",
  "filter": "",
  "autoSync": true
}

Estructura

Campo	Tipo	Descripción
`instanceId`	String	ID de la instancia de RDS.
`dbName`	String	Nombre de la base de datos.
`dbTableName`	String	Nombre de la tabla en la base de datos.
`dbUser`	String	Cuenta que se usa para conectarse a la base de datos.
`dbPassword`	String	Contraseña que se usa para conectarse a la base de datos.
`filter`	String	Condiciones de filtro que limitan las filas que se sincronizan. Operadores compatibles: `<`, `>`, `=`, `!=`, `>=` y `<=`. Separe varias condiciones con comas (,).
`autoSync`	Boolean	Especifica si se debe habilitar la sincronización automática de datos. Valores válidos: `true` y `false`.

odps

Se conecta a una tabla de MaxCompute (ODPS).

Ejemplo

{
  "projectName": "my_project",
  "tableName": "my_table",
  "partition": "",
  "done": "no",
  "donePrefix": "",
  "timestamp": ""
}

Estructura

Campo	Tipo	Descripción
`projectName`	String	Nombre del proyecto de MaxCompute.
`tableName`	String	Nombre de la tabla.
`partition`	String	Partición desde la cual se leerá. Para consultar la sintaxis de particiones, consulte Configure a MaxCompute data source.
`done`	String	Especifica si se debe usar un archivo DONE para indicar que la exportación de datos ha finalizado. Valores válidos: `no` y `yes`.
`donePrefix`	String	Prefijo del archivo DONE. Obligatorio cuando `done` se establece en `yes`.
`timestamp`	String	Marca de tiempo de la importación completa de datos.

opensearch

Usa otra aplicación de Open Search como origen de datos.

Ejemplo

{
  "appId": "12345678",
  "tableName": "my_table",
  "appType": "standard",
  "filter": ""
}

Estructura

Campo	Tipo	Descripción
`appId`	String	ID de la aplicación de Open Search de origen.
`tableName`	String	Nombre de la tabla en la aplicación de origen.
`appType`	String	Tipo de la aplicación de origen. Valores válidos: `standard`, `advance` y `enhanced`. `standard` indica una aplicación estándar. `advance` indica una aplicación avanzada de una generación anterior. `enhanced` indica una aplicación avanzada de la generación actual. Las nuevas aplicaciones no pueden usar el tipo `advance`.
`filter`	String	Condiciones de filtro que limitan los registros que se sincronizan. Operadores compatibles: `<`, `>`, `=`, `!=`, `>=` y `<=`. Separe varias condiciones con comas (,).

polardb

Se conecta a un clúster de PolarDB.

Ejemplo

{
  "clusterId": "my_cluster_id",
  "dbName": "my_db",
  "dbTableName": "my_table",
  "aliyunUserId": "123455789",
  "dbUser": "my_user",
  "dbPassword": "my_passwd",
  "autoSync": true,
  "filter": "id>100"
}

Estructura

Campo	Tipo	Descripción
`clusterId`	String	ID del clúster de PolarDB.
`dbName`	String	Nombre de la base de datos.
`dbTableName`	String	Nombre de la tabla.
`aliyunUserId`	String	ID de la cuenta de Alibaba Cloud.
`dbUser`	String	Cuenta que se usa para conectarse a la base de datos.
`dbPassword`	String	Contraseña que se usa para conectarse a la base de datos.
`autoSync`	Boolean	Especifica si se debe habilitar la sincronización automática de datos. Valores válidos: `true` y `false`.
`filter`	String	Condiciones de filtro que limitan las filas que se sincronizan. Operadores compatibles: `<`, `>`, `=`, `!=`, `>=` y `<=`. Separe varias condiciones con comas (,).