ApsaraDB for SelectDB:Verileri DataWorks kullanarak içe aktarma

Veri kaynakları ekleme

Bir veri eşitleme görevi geliştirmeden önce, DataWorks'te bir MySQL veri kaynağı ve bir SelectDB veri kaynağı oluşturun.

1. MySQL veri kaynağı oluşturun. Daha fazla bilgi için bkz. MySQL Veri Kaynağı.

2. SelectDB veri kaynağı oluşturun. Daha fazla bilgi için bkz. Veri Kaynağı Yönetimi. Aşağıdaki tabloda anahtar parametreler listelenmiştir.

   Parametre	Açıklama
   Data source name	Veri kaynağının adı.
   MySQL connection string	JDBC bağlantı dizesi: jdbc:mysql://<ip>:<port>/<dbname>. ApsaraDB for SelectDB konsolunda Instance Details > Network Information sayfasına giderek VPC Endpointnı (veya Public Endpointyı) ve MySQL Portnı edinin. Örnek: jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db Not MySQL örneği ve ApsaraDB for SelectDB örneği aynı VPC'de bulunuyorsa VPC Endpointnı kullanın. Aksi takdirde Public Endpointyı kullanın.
   HTTP connection address	HTTP bağlantı adresi: <ip>:<port>. ApsaraDB for SelectDB konsolunda Instance Details > Network Information sayfasına giderek VPC Endpointnı (veya Public Endpointyı) ve HTTP Portnı edinin. Örnek: selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 Not MySQL örneği ve ApsaraDB for SelectDB örneği aynı VPC'de bulunuyorsa VPC Endpointnı kullanın. Aksi takdirde Public Endpointyı kullanın.
   Username	ApsaraDB for SelectDB örneğinizin kullanıcı adını girin.
   Password	ApsaraDB for SelectDB örneğinizin kullanıcısı için parolayı girin.

   Önemli

   Veri kaynağını eklemek için DataWorks kaynak grubunun IP adreslerini SelectDB gibi veri kaynaklarının izin listesine ekleyin. Daha fazla bilgi için bkz. İzin listesine IP adresleri ekleme. İzin listesini yapılandırırken özel ve paylaşılan Veri Entegrasyonu kaynak grupları arasında ayrım yapın.

Tek tablo çevrimdışı eşitlemeyi yapılandırma

Sihirbaz modunda veya betik modunda bir çevrimdışı eşitleme görevi yapılandırabilirsiniz. Daha fazla bilgi için aşağıdaki konulara bakın:

• Sihirbaz modu yapılandırması

• Betik modu yapılandırması

  Betik modu için tam parametre listesi ve örnek bir betik için bkz. Betik modu: örnekler ve parametreler.

Çevrimdışı görev betiği yapılandırması

Betik modunda çevrimdışı bir görev yapılandırırken Betik modu yapılandırması bölümünde belirtilen biçimi kullanın.

MySQL Reader ve SelectDB Writer betik örneği

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

Betik parametreleri

"loadProps": {
       "format": "json",
       "strip_outer_array":true
    }

"loadProps": {
       "format":"csv",
       "column_separator": "\\x01",
       "line_delimiter": "\\x02"
    }