DataWorks:Source de données SelectDB

Paramètre

Description

Obligatoire

Valeur par défaut

datasource

Le nom de la source de données. Le mode Script vous permet d'ajouter des sources de données. La valeur de ce paramètre doit correspondre au nom de la source de données ajoutée.

Oui

N/A

table

Le nom de la table à synchroniser.

Oui

N/A

column

Les colonnes dans lesquelles les données sont écrites dans la table de destination. Séparez les noms de colonnes par des virgules (,). Exemple : "column":["id","name","age"]. Pour écrire des données dans toutes les colonnes dans l'ordre, utilisez (). Exemple : "column":[""].

Oui

N/A

preSql

Les instructions SQL à exécuter avant l'exécution de la tâche de synchronisation des données. Actuellement, le mode Assistant ne permet d'exécuter qu'une seule instruction SQL, tandis que le mode Script en prend plusieurs en charge. Par exemple, vous pouvez effacer les anciennes données de la table avant l'exécution de la tâche.

Non

N/A

postSql

Les instructions SQL à exécuter après l'exécution de la tâche de synchronisation des données. Actuellement, le mode Assistant ne permet d'exécuter qu'une seule instruction SQL, tandis que le mode Script en prend plusieurs en charge. Par exemple, vous pouvez ajouter un horodatage.

Non

N/A

maxBatchRows

Le nombre maximal de lignes à importer par lot. Ce paramètre fonctionne conjointement avec batchSize pour contrôler le volume de chaque importation par lot. L'importation par lot commence lorsque l'un ou l'autre seuil est atteint.

Non

500000

batchSize

La taille maximale des données à importer par lot. Ce paramètre fonctionne conjointement avec maxBatchRows pour contrôler le volume de chaque importation par lot. L'importation par lot commence lorsque l'un ou l'autre seuil est atteint.

Non

94371840

maxRetries

Le nombre de tentatives après l'échec d'une importation par lot.

Non

3

labelPrefix

Le préfixe de libellé pour chaque chargement par lot. Le libellé final est composé de labelPrefix + UUID pour former un libellé globalement unique, garantissant ainsi que les données ne sont pas importées plusieurs fois.

Non

datax_selectdb_writer_

loadProps

Les paramètres de requête pour COPY INTO, principalement utilisés pour configurer le format des données lors de l'importation. Par défaut, les données sont importées au format JSON. Si loadProps n'est pas configuré ou défini sur "loadProps":{}, le format JSON par défaut est utilisé, comme indiqué dans la configuration suivante. (Actuellement, SelectDB ne prend en charge que strip_outer_array=true.)

"loadProps": {
        "format": "json",
        "strip_outer_array":true
    }

Si vous souhaitez importer des données au format CSV, spécifiez le format CSV et configurez les délimiteurs de ligne et de colonne comme suit. Si vous ne spécifiez pas les délimiteurs de ligne et de colonne, toutes les données d'entrée sont converties en chaînes par défaut, avec \t comme délimiteur de colonne et \n comme délimiteur de ligne, afin de former un fichier CSV pour l'opération d'importation SelectDB.

"loadProps": {
        "format":"csv",
        "column_separator": "\\x01",
        "line_delimiter": "\\x02"
    }

Non

N/A

clusterName

Le nom du cluster SelectDB Cloud. Vous pouvez le consulter sur la console SelectDB.

Non

N/A

flushInterval

L'intervalle de temps (en ms) entre les lots d'écriture de données. Si les paramètres maxBatchRows et batchSize sont définis sur des valeurs élevées, le système peut déclencher l'importation des données en fonction de l'intervalle de temps avant que le volume de données spécifié ne soit atteint.

Non

30000