Dukungan DataWorks untuk sinkronisasi data AnalyticDB for MySQL 2.0 - DataWorks

Sumber data AnalyticDB for MySQL 2.0 memungkinkan sinkronisasi data dua arah antara AnalyticDB for MySQL 2.0 dan sistem data lainnya di DataWorks. Gunakan sumber data ini untuk membaca atau menulis data ke AnalyticDB for MySQL 2.0 dalam tugas sinkronisasi offline.

Batasan

Sinkronisasi offline mendukung pembacaan data dari views.
Reader AnalyticDB for MySQL 2.0 tidak mendukung tipe multivalue. Jika data sumber berisi tipe multivalue, tugas sinkronisasi akan gagal.

Tipe field yang didukung

Baca offline

Tabel berikut mencantumkan pemetaan tipe data untuk Reader AnalyticDB for MySQL 2.0. Data mengalir dari AnalyticDB for MySQL 2.0 melalui DataX ke MaxCompute.

AnalyticDB for MySQL 2.0 type	DataX type	MaxCompute type	Notes
BIGINT	LONG	BIGINT
TINYINT	LONG	INT
SMALLINT	LONG	INT
INT	LONG	INT
FLOAT	STRING	DOUBLE	AnalyticDB for MySQL 2.0 mengirimkan FLOAT sebagai string. MaxCompute menyimpan nilai tersebut sebagai DOUBLE.
DOUBLE	STRING	DOUBLE	AnalyticDB for MySQL 2.0 mengirimkan DOUBLE sebagai string. MaxCompute menyimpan nilai tersebut sebagai DOUBLE.
VARCHAR	STRING	STRING
DATE	DATE	DATETIME
TIME	DATE	DATETIME
TIMESTAMP	DATE	DATETIME

Tulis offline

Tabel berikut mencantumkan pemetaan tipe data untuk Writer AnalyticDB for MySQL 2.0.

DataWorks type	AnalyticDB for MySQL 2.0 data type
Integer	INT, TINYINT, SMALLINT, BIGINT
Floating-point	FLOAT, DOUBLE
String	VARCHAR
Date and time	DATE, TIMESTAMP
Boolean	BOOLEAN

Tambahkan sumber data

Sebelum mengembangkan tugas sinkronisasi di DataWorks, tambahkan sumber data yang diperlukan dengan mengikuti petunjuk dalam Data source management. Deskripsi parameter tersedia di Konsol DataWorks saat Anda menambahkan sumber data.

Kembangkan tugas sinkronisasi data

Konfigurasikan tugas sinkronisasi offline untuk satu tabel

Gunakan salah satu metode berikut untuk mengonfigurasi tugas:

Codeless UI: Lihat Configure a task in the codeless UI.
Code editor: Lihat Configure a task in the code editor. Untuk referensi parameter lengkap dan contoh skrip, lihat Appendix: Script examples and parameter descriptions.

Konfigurasikan tugas sinkronisasi baca offline untuk seluruh database

Lihat Batch database synchronization configuration.

Lampiran: Contoh skrip dan deskripsi parameter

Reader

Contoh skrip

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "ads",
      "parameter": {
        "datasource": "ads_demo",
        "table": "th_test",
        "column": [
          "id",
          "testtinyint",
          "testbigint",
          "testdate",
          "testtime",
          "testtimestamp",
          "testvarchar",
          "testdouble",
          "testfloat"
        ],
        "mode": "ODPS",
        "odps": {
          "accessId": "<yourAccessKeyId>",
          "accessKey": "<yourAccessKeySecret>",
          "account": "<yourAccount>",
          "odpsServer": "http://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api",
          "tunnelServer": "http://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com",
          "accountType": "aliyun",
          "project": "odps_test"
        }
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": ""
    },
    "speed": {
      "concurrent": 2,
      "throttle": true,
      "mbps": "12"
    }
  }
}

Parameter Reader

Parameter	Description	Required	Default value
`table`	Nama tabel tempat data diekspor.	Yes	None
`column`	Kolom yang akan diekspor. Jika tidak ditentukan, semua kolom diekspor.	No	`*`
`limit`	Jumlah maksimum catatan yang diekspor.	No	None
`where`	Klausa WHERE untuk memfilter data yang diekspor. String ini ditambahkan langsung ke kueri. Contoh: `id < 100`.	No	None
`mode`	Mode ekspor. Lihat Choose an export mode.	No	`Select`
`odps.accessId`	ID AccessKey dari Akun Alibaba Cloud yang digunakan oleh AnalyticDB for MySQL 2.0 untuk mengakses ODPS (MaxCompute). Akun harus memiliki izin Describe, Create, Select, Alter, Update, dan Drop. Diperlukan ketika `mode` bernilai `ODPS`.	Conditional	None
`odps.accessKey`	Rahasia AccessKey dari Akun Alibaba Cloud yang digunakan oleh AnalyticDB for MySQL 2.0 untuk mengakses ODPS. Akun harus memiliki izin Describe, Create, Select, Alter, Update, dan Drop. Diperlukan ketika `mode` bernilai `ODPS`.	Conditional	None
`odps.odpsServer`	Titik akhir API ODPS. Diperlukan ketika `mode` bernilai `ODPS`.	Conditional	None
`odps.tunnelServer`	Titik akhir ODPS Tunnel. Diperlukan ketika `mode` bernilai `ODPS`.	Conditional	None
`odps.project`	Nama proyek ODPS. Diperlukan ketika `mode` bernilai `ODPS`.	Conditional	None
`odps.accountType`	Jenis akun yang digunakan untuk mengakses ODPS. Berlaku hanya ketika `mode` bernilai `ODPS`.	No	`aliyun`

Pilih mode ekspor

Parameter mode mengontrol cara Reader mengekspor data dari AnalyticDB for MySQL 2.0.

Mode	How it works	When to use
`Select`	Menggunakan klausa SQL LIMIT untuk ekspor terpaginasi. Tidak memerlukan kredensial tambahan.	Default. Gunakan untuk sebagian besar kasus.
`ODPS`	Menggunakan ODPS DUMP untuk mengekspor data secara langsung. Memerlukan kredensial akses ODPS (parameter `odps.*`).	Gunakan untuk ekspor volume besar di mana performa ODPS DUMP lebih disukai.

Writer

Contoh skrip

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "ads",
      "parameter": {
        "datasource": "",
        "table": "",
        "partition": "",
        "column": [
          "id"
        ],
        "writeMode": "insert",
        "batchSize": "256",
        "overWrite": "true",
        "options.ignoreEmptySource": true
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "throttle": true,
      "concurrent": 1,
      "mbps": "12"
    }
  }
}

Parameter Writer

Parameter	Description	Required	Default value
`Connection URL`	Informasi koneksi untuk instans AnalyticDB for MySQL 2.0. Format: `Address:Port`.	Yes	None
`Database`	Nama database AnalyticDB for MySQL 2.0.	Yes	None
`Access Id`	ID AccessKey untuk instans AnalyticDB for MySQL 2.0.	Yes	None
`Access Key`	Rahasia AccessKey untuk instans AnalyticDB for MySQL 2.0.	Yes	None
`datasource`	Nama sumber data seperti yang ditambahkan di DataWorks. Harus sesuai persis dengan nama sumber data.	Yes	None
`table`	Nama tabel tujuan.	Yes	None
`writeMode`	Mode penulisan. Lihat Choose a write mode.	Yes	None
`column`	Bidang yang akan ditulis. Atur ke `["*"]` untuk menyertakan semua bidang, atau tentukan daftar seperti `["a", "b", "c"]`.	Yes	None
`partition`	Nama partisi di tabel tujuan. Diperlukan jika tabel tujuan adalah tabel standar (terpartisi).	No	None
`suffix`	String koneksi kustom yang ditambahkan ke URL JDBC (Java Database Connectivity) (`ip:port`). Contoh: `autoReconnect=true&failOverReadOnly=false&maxReconnects=10`.	No	None
`batchSize`	Jumlah catatan yang ditulis per batch. Diperlukan ketika `writeMode` bernilai `insert`.	Conditional	None
`bufferSize`	Ukuran buffer pengumpulan data DataX. Data sumber diurutkan dalam buffer ini berdasarkan kolom kunci partisi tabel tujuan sebelum dikirimkan dalam batch. Atur `bufferSize` menjadi beberapa kali lipat nilai `batchSize` untuk performa terbaik. Diperlukan ketika `writeMode` bernilai `insert`.	Conditional	Disabled
`overWrite`	Apakah akan menimpa data yang sudah ada di tabel tujuan. `true` menimpa data yang ada; `false` menambahkan data baru. Berlaku hanya ketika `writeMode` bernilai `Load`.	No	`true`
`options.ignoreEmptySource`	Apakah akan mengabaikan error ketika data sumber kosong. Jika `false` dan data sumber tidak dapat dibaca, tugas akan gagal.	No	`true`

Pilih mode penulisan

Parameter writeMode mengontrol cara Writer mengimpor data ke AnalyticDB for MySQL 2.0.

Mode	How it works	When to use
`insert`	Menyisipkan catatan baris demi baris. Jika terjadi konflik kunci primary, catatan baru akan menimpa catatan yang ada. Memerlukan `batchSize` dan `bufferSize`.	Gunakan untuk penulisan inkremental atau bergaya upsert.
`Load`	Mengimpor data melalui sistem pihak ketiga. Parameter `overWrite` mengontrol apakah akan menimpa atau menambahkan.	Gunakan untuk skenario muat penuh tabel atau bulk-load.