Tablestore：Ekspor data lengkap ke MaxCompute

Antarmuka tanpa kode (default)

Konfigurasikan item-item berikut di antarmuka tanpa kode:

• Data Source: Pilih sumber dan tujuan sumber data.

• Runtime Resource: Pilih kelompok sumber daya. Sistem secara otomatis menguji konektivitas sumber data setelah Anda melakukan pemilihan.

• Data Source:

  • Table: Pilih tabel data sumber dari daftar drop-down.

  • Primary Key Range (Start): Tentukan awal rentang kunci primer dari mana data dibaca. Nilainya harus dalam format array JSON. inf_min merepresentasikan nilai tak hingga kecil.

    Sebagai contoh, jika kunci primer terdiri dari kolom int bernama id dan kolom string bernama name, konfigurasi contohnya sebagai berikut:

    Rentang kunci primer tertentu	Data lengkap
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • Primary Key Range (End): Tentukan akhir rentang kunci primer dari mana data dibaca. Nilainya harus dalam format array JSON. inf_max merepresentasikan nilai tak hingga besar.

    Sebagai contoh, jika kunci primer terdiri dari kolom int bernama id dan kolom string bernama name, konfigurasi contohnya sebagai berikut:

    Rentang kunci primer tertentu	Data lengkap
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • Splitting Configuration: Tentukan informasi konfigurasi pemisahan kustom dalam format array JSON. Dalam kebanyakan kasus, kami menyarankan agar Anda tidak mengonfigurasi parameter ini. Jika tidak dikonfigurasi, atur nilainya menjadi [].

    Jika terjadi hot spot pada penyimpanan data Tablestore dan kebijakan pemisahan otomatis Tablestore Reader tidak efektif, gunakan aturan pemisahan kustom. Aturan ini menentukan titik pemisahan dalam rentang kunci primer awal dan akhir. Anda hanya perlu mengonfigurasi kunci shard dan tidak perlu menentukan semua kunci primer.

• Destination: Konfigurasikan item-item berikut. Biarkan nilai default untuk parameter lain atau ubah sesuai kebutuhan.

  • Production Project Name: Nama proyek MaxCompute yang terkait dengan sumber data tujuan. Parameter ini diisi otomatis.

  • Tunnel Resource Group: Nilai default adalah Common transmission resources. Kelompok sumber daya ini menggunakan kuota gratis MaxCompute. Pilih kelompok sumber daya Tunnel khusus sesuai kebutuhan.

  • Table: Pilih tabel tujuan. Klik Generate Target Table Schema untuk membuat tabel tujuan secara otomatis.

  • Partition: Tentukan partisi tempat data yang disinkronkan disimpan. Parameter ini dapat digunakan untuk sinkronisasi inkremental harian.

  • Write Mode: Pilih apakah akan menghapus data yang ada sebelum menulis atau menambahkan data ke tabel.

• Destination Field Mapping: Konfigurasikan pemetaan bidang dari tabel sumber ke tabel tujuan. Sistem secara otomatis memetakan bidang berdasarkan tabel sumber. Ubah pemetaan sesuai kebutuhan.

Setelah menyelesaikan konfigurasi, klik Save di bagian atas halaman.

Editor kode

Klik Code Editor di bagian atas halaman untuk mengedit skrip di editor.

Skrip contoh berikut digunakan untuk tabel data sumber yang kunci primernya terdiri dari kolom int bernama id dan kolom string bernama name. Kolom atributnya adalah bidang int bernama age. Dalam skrip Anda, ganti nilai parameter datasource dan table dengan nilai aktual Anda.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "INTEGER"
                    },
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "age",
                        "type": "INTEGER"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "pt=${bizdate}",
                "truncate": true,
                "datasource": "target_data",
                "tunnelQuota": "default",
                "column": [
                    "id",
                    "name",
                    "age"
                ],
                "emptyAsNull": false,
                "guid": null,
                "table": "source_table",
                "consistencyCommit": false
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Setelah selesai mengedit skrip, klik Save di bagian atas halaman.