ApsaraDB for SelectDB:Importer des données avec DataWorks

Ajouter des sources de données

Avant de développer une tâche de synchronisation des données, créez une source de données MySQL et une source de données SelectDB dans DataWorks.

1. Créez une source de données MySQL. Pour plus d'informations, consultez MySQL Data Source.

2. Créez une source de données SelectDB. Pour plus d'informations, consultez Data Source Management. Le tableau suivant présente les paramètres clés.

   Paramètre	Description
   Data source name	Nom de la source de données.
   MySQL connection string	Chaîne de connexion JDBC : jdbc:mysql://<ip>:<port>/<dbname>. Dans la console ApsaraDB for SelectDB, accédez à la page Instance Details > Network Information pour obtenir le VPC Endpoint (ou le Public Endpoint) ainsi que le MySQL Port. Exemple : jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db Remarque Si l'instance MySQL et l'instance ApsaraDB for SelectDB se trouvent dans le même VPC, utilisez le VPC Endpoint. Sinon, utilisez le Public Endpoint.
   HTTP connection address	Adresse de connexion HTTP : <ip>:<port>. Dans la console ApsaraDB for SelectDB, accédez à la page Instance Details > Network Information pour obtenir le VPC Endpoint (ou le Public Endpoint) ainsi que le HTTP Port. Exemple : selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 Remarque Si l'instance MySQL et l'instance ApsaraDB for SelectDB se trouvent dans le même VPC, utilisez le VPC Endpoint. Sinon, utilisez le Public Endpoint.
   Username	Saisissez le nom d'utilisateur de votre instance ApsaraDB for SelectDB.
   Password	Saisissez le mot de passe associé à l'utilisateur de votre instance ApsaraDB for SelectDB.

   Important

   Pour ajouter la source de données, ajoutez les adresses IP du groupe de ressources DataWorks à la liste d'autorisation des sources de données telles que SelectDB. Pour plus d'informations, consultez Add IP addresses to a whitelist. Lors de la configuration de la liste d'autorisation, distinguez bien les groupes de ressources Data Integration exclusifs et partagés.

Configurer la synchronisation hors ligne de table unique

Vous pouvez configurer une tâche de synchronisation hors ligne en mode assistant ou en mode script. Pour plus d'informations, consultez les rubriques suivantes :

• Wizard mode configuration

• Script mode configuration

  Pour obtenir la liste complète des paramètres et un exemple de script pour le mode script, consultez Mode script : exemples et paramètres.

Configuration du script de tâche hors ligne

Pour configurer une tâche hors ligne en mode script, respectez le format détaillé dans Script mode configuration.

Exemple de script MySQL Reader et SelectDB Writer

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

Paramètres du script

"loadProps": {
       "format": "json",
       "strip_outer_array":true
    }

"loadProps": {
       "format":"csv",
       "column_separator": "\\x01",
       "line_delimiter": "\\x02"
    }