ApsaraDB for SelectDB：Gunakan DataWorks untuk mengimpor data

Catatan penggunaan

• Jika Anda menggunakan fitur Integrasi Data dari DataWorks untuk mengimpor data ke instans ApsaraDB for SelectDB, data harus ditulis secara offline.

• Anda tidak dapat menulis bidang tipe data BITMAP, HyperLogLog (HLL), atau QUANTILE_STATE.

Mengembangkan tugas sinkronisasi data

Tambahkan sumber data

Sebelum mengonfigurasi tugas sinkronisasi data, tambahkan sumber data MySQL dan sumber data ApsaraDB for SelectDB ke DataWorks.

1. Untuk informasi lebih lanjut tentang cara menambahkan sumber data MySQL, lihat Sumber Data MySQL.

2. Untuk informasi lebih lanjut tentang cara menambahkan sumber data ApsaraDB for SelectDB, lihat Tambahkan dan Kelola Sumber Data. Tabel berikut menjelaskan parameter yang digunakan untuk menambahkan sumber data ApsaraDB for SelectDB.

   Parameter	Deskripsi
   Data Source Name	Nama sumber data.
   JDBC URL	Java Database Connectivity (JDBC) URL dalam format jdbc:mysql://<ip>:<port>/<dbname>. Untuk mendapatkan titik akhir virtual private cloud (VPC) atau titik akhir publik dan port MySQL dari instans ApsaraDB for SelectDB, lakukan operasi berikut: Masuk ke ApsaraDB for SelectDB dan buka halaman Instance Details dari instans yang ingin Anda lihat informasinya. Di bagian Network Information tab Informasi Dasar, lihat nilai parameter VPC Endpoint atau Public Endpoint dan parameter MySQL Port. Contoh: jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db Catatan Jika instans MySQL dan instans ApsaraDB for SelectDB berada di VPC yang sama, gunakan titik akhir VPC untuk parameter ini. Jika instans MySQL dan instans ApsaraDB for SelectDB berada di VPC yang berbeda, gunakan titik akhir publik untuk parameter ini.
   HTTP address	Alamat IP dan nomor port yang digunakan untuk mengakses instans ApsaraDB for SelectDB melalui HTTP. Nilainya dalam format <ip>:<port>. Untuk mendapatkan titik akhir VPC atau titik akhir publik dan port HTTP dari instans ApsaraDB for SelectDB, lakukan operasi berikut: Masuk ke ApsaraDB for SelectDB dan buka halaman Instance Details dari instans yang ingin Anda lihat informasinya. Di bagian Network Information tab Informasi Dasar, lihat nilai parameter VPC Endpoint atau Public Endpoint dan parameter HTTP Port. Contoh: selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 Catatan Jika instans MySQL dan instans ApsaraDB for SelectDB berada di VPC yang sama, gunakan titik akhir VPC untuk parameter ini. Jika instans MySQL dan instans ApsaraDB for SelectDB berada di VPC yang berbeda, gunakan titik akhir publik untuk parameter ini.
   Username	Nama pengguna akun pemilik instans ApsaraDB for SelectDB.
   Password	Kata sandi akun pemilik instans ApsaraDB for SelectDB.

   Penting

   Untuk memastikan bahwa sumber data dapat ditambahkan, tambahkan alamat IP dari kelompok sumber daya di DataWorks ke daftar putih alamat IP dari sumber data seperti ApsaraDB for SelectDB. Untuk informasi lebih lanjut, lihat Konfigurasikan Daftar Putih Alamat IP. Saat mengonfigurasi daftar putih alamat IP, tambahkan alamat IP dari jenis kelompok sumber daya yang berbeda ke daftar putih alamat IP yang sesuai. Misalnya, alamat IP dari grup sumber daya eksklusif untuk Integrasi Data dan grup sumber daya bersama untuk Integrasi Data harus ditambahkan ke daftar putih alamat IP yang berbeda.

Konfigurasikan tugas sinkronisasi batch untuk menyinkronkan data dari satu tabel

Anda dapat mengonfigurasi tugas sinkronisasi batch menggunakan antarmuka tanpa kode atau editor kode. Untuk informasi lebih lanjut, lihat topik-topik berikut:

• Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Antarmuka Tanpa Kode

• Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode

  Untuk informasi lebih lanjut tentang contoh cara mengonfigurasi tugas sinkronisasi batch menggunakan editor kode dan parameter terkait, lihat bagian Kode Contoh dan Parameter dari topik ini.

Kode contoh dan parameter

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, tulis skrip berdasarkan persyaratan format di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode.

Kode untuk MySQL Reader dan SelectDB Writer

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

Parameter

"loadProps": {
   "format": "json",
   "strip_outer_array":true
}

"loadProps": {
   "format":"csv",
   "column_separator": "\\x01",
   "line_delimiter": "\\x02"
}

Tipe data yang didukung

Tabel berikut menjelaskan tipe data yang didukung oleh ApsaraDB for SelectDB.

Referensi

Apa itu DataWorks?