ApsaraDB for SelectDB:Importar dados usando o DataWorks

Adicionar sources de dados

Antes de desenvolver uma tarefa de sincronização de dados, crie um source de dados MySQL e um source de dados SelectDB no DataWorks.

1. Crie um source de dados MySQL. Para mais informações, consulte MySQL Data Source.

2. Crie um source de dados SelectDB. Para mais informações, consulte Data Source Management. A tabela a seguir lista os principais parâmetros.

   Parâmetro	Descrição
   Data source name	Nome do source de dados.
   MySQL connection string	String de conexão JDBC: jdbc:mysql://<ip>:<port>/<dbname>. No console do ApsaraDB for SelectDB, acesse a página Instance Details > Network Information para obter o VPC Endpoint (ou Public Endpoint) e a MySQL Port. Exemplo: jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db Nota Se a instância MySQL e a instância do ApsaraDB for SelectDB estiverem na mesma VPC, use o VPC Endpoint. Caso contrário, use o Public Endpoint.
   HTTP connection address	Endereço de conexão HTTP: <ip>:<port>. No console do ApsaraDB for SelectDB, acesse a página Instance Details > Network Information para obter o VPC Endpoint (ou Public Endpoint) e a HTTP Port. Exemplo: selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 Nota Se a instância MySQL e a instância do ApsaraDB for SelectDB estiverem na mesma VPC, use o VPC Endpoint. Caso contrário, use o Public Endpoint.
   Username	Insira o nome de usuário da sua instância do ApsaraDB for SelectDB.
   Password	Insira a senha do usuário da sua instância do ApsaraDB for SelectDB.

   Importante

   Para adicionar o source de dados, adicione os endereços IP do grupo de recursos do DataWorks à lista de permissões dos sources de dados, como o SelectDB. Para mais informações, consulte Add IP addresses to a whitelist. Ao configurar a lista de permissões, distinga entre grupos de recursos exclusivos e compartilhados do Data Integration.

Configure sincronização offline de tabela única

Configure uma tarefa de sincronização offline no modo assistente ou no modo script. Para mais detalhes, consulte os tópicos a seguir:

• Wizard mode configuration

• Script mode configuration

  Para obter a lista completa de parâmetros e um exemplo de script para o modo script, consulte Script mode: samples and parameters.

Configuração de script de tarefa offline

Ao configurar uma tarefa offline no modo script, use o formato detalhado em Script mode configuration.

Exemplo de script para MySQL Reader e SelectDB Writer

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

Parâmetros do script

"loadProps": {
       "format": "json",
       "strip_outer_array":true
    }

"loadProps": {
       "format":"csv",
       "column_separator": "\\x01",
       "line_delimiter": "\\x02"
    }