DataWorks：Sumber data AnalyticDB for MySQL 2.0

Batasan

• Data dari tampilan dapat dibaca selama sinkronisasi batch.

• AnalyticDB for MySQL 2.0 Reader tidak mendukung pembacaan data bertipe multivalue. Jika Anda mencoba membaca data jenis ini, AnalyticDB for MySQL 2.0 Reader akan berhenti secara tak terduga.

Pemetaan tipe data

Membaca data batch

Tabel berikut mencantumkan pemetaan tipe data yang digunakan oleh AnalyticDB for MySQL 2.0 Reader untuk mengonversi tipe data.

Menulis data batch

Tabel berikut mencantumkan pemetaan tipe data yang digunakan oleh AnalyticDB for MySQL 2.0 Writer untuk mengonversi tipe data.

Mengembangkan tugas sinkronisasi data

Untuk informasi tentang titik masuk dan prosedur konfigurasi tugas sinkronisasi data, lihat bagian berikut. Untuk detail pengaturan parameter, lihat infotip setiap parameter di tab konfigurasi tugas.

Menambahkan sumber data

Mengonfigurasi tugas sinkronisasi batch untuk menyinkronkan data tabel tunggal

• Untuk detail prosedur konfigurasi, lihat Mengonfigurasi Tugas Sinkronisasi Batch Menggunakan Antarmuka Tanpa Kode dan Mengonfigurasi Tugas Sinkronisasi Batch Menggunakan Editor Kode.

• Untuk informasi tentang semua parameter yang dikonfigurasi dan kode yang dijalankan saat menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, lihat Lampiran: Kode dan Parameter.

Mengonfigurasi pengaturan sinkronisasi untuk menerapkan sinkronisasi batch semua data dalam database

Untuk detail prosedur konfigurasi, lihat Mengonfigurasi Tugas Sinkronisasi di Data Integration.

Lampiran: Kode dan parameter

Lampiran: Mengonfigurasi tugas sinkronisasi batch menggunakan editor kode

Kode untuk AnalyticDB for MySQL 2.0 Reader

{
    "type": "job",
  "steps": [
    {
            "stepType": "ads",
      "parameter": {
        "datasource": "ads_demo",
        "table": "th_test",
        "column": [
          "id",
          "testtinyint",
          "testbigint",
          "testdate",
          "testtime",
          "testtimestamp",
          "testvarchar",
          "testdouble",
          "testfloat"
        ],
        "odps": {
          "accessId": "<yourAccessKeyId>",
          "accessKey": "<yourAccessKeySecret>",
          "account": "*********@aliyun.com",
          "odpsServer": " http://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api",
          "tunnelServer": "http://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com",
          "accountType": "aliyun",
          "project": "odps_test"
        },
        "mode": "ODPS"
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0",
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": ""
    },
    "speed": {
      "concurrent": 2,
      "throttle": true,// Menentukan apakah akan mengaktifkan pembatasan laju. Nilai false menunjukkan bahwa pembatasan laju dinonaktifkan, dan nilai true menunjukkan bahwa pembatasan laju diaktifkan. Parameter mbps hanya berlaku ketika parameter throttle disetel ke true.
                  "mbps":"12"// Laju transmisi maksimum. Unit: MB/s.
    }
  }
}

Parameter dalam kode untuk AnalyticDB for MySQL 2.0 Reader

Kode untuk AnalyticDB for MySQL 2.0 Writer

{
    "type":"job",
    "version":"2.0",
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ads",// Nama plugin.
            "parameter":{
                "partition":"",// Nama partisi ke mana Anda ingin menulis data.
                "datasource":"",// Nama sumber data.
                "column":[// Nama kolom.
                     "id"
                ],
                "writeMode":"insert",// Mode penulisan.
                "batchSize":"256",// Jumlah catatan data yang ditulis sekaligus.
                "table":"",// Nama tabel.
                "overWrite":"true"// Menentukan apakah akan menimpa data di tabel tujuan. Nilai true menunjukkan bahwa data di tabel tujuan ditimpa. Nilai false menunjukkan bahwa data di tabel tujuan tidak ditimpa dan data baru ditambahkan ke data yang sudah ada. Parameter ini hanya berlaku ketika parameter writeMode disetel ke load.
                "options.ignoreEmptySource":true// Menentukan apakah sistem melaporkan kesalahan jika sumber tidak berisi data. Nilai true menunjukkan bahwa sistem tidak melaporkan kesalahan, dan nilai false menunjukkan bahwa sistem melaporkan kesalahan. Nilai default parameter ini adalah true.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum catatan data kotor yang diizinkan.
        },
        "speed":{
            "throttle":true,// Menentukan apakah akan mengaktifkan pembatasan laju. Nilai false menunjukkan bahwa pembatasan laju dinonaktifkan, dan nilai true menunjukkan bahwa pembatasan laju diaktifkan. Parameter mbps hanya berlaku ketika parameter throttle disetel ke true.
            "concurrent":1, // Jumlah maksimum thread paralel.
            "mbps":"12"// Laju transmisi maksimum. Unit: MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter dalam kode untuk AnalyticDB for MySQL 2.0 Writer