Tablestore:Ekspor data lengkap ke OSS

Antarmuka tanpa kode

Konfigurasikan item-item berikut:

• Data source: Pilih sumber dan tujuan sumber data.

• Runtime Resource: Pilih kelompok sumber daya. Sistem kemudian secara otomatis menguji konektivitas sumber data.

• Data Source:

  • Table: Pilih tabel data sumber dari daftar drop-down.

  • Primary Key Range (Start): Awal rentang kunci primer yang akan dibaca, ditentukan sebagai array JSON. Nilai inf_min merepresentasikan negatif tak hingga.

    Jika kunci primer terdiri dari kolom kunci primer int bernama id dan kolom kunci primer string bernama name, lihat contoh konfigurasi berikut:

    Rentang kunci primer	Data lengkap
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • Primary Key Range (End): Akhir rentang kunci primer yang akan dibaca, ditentukan sebagai array JSON. Nilai inf_max merepresentasikan positif tak hingga.

    Jika kunci primer terdiri dari kolom kunci primer int bernama id dan kolom kunci primer string bernama name, lihat contoh konfigurasi berikut:

    Rentang kunci primer	Data lengkap
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • Splitting Configuration: Parameter ini biasanya tidak diperlukan. Atur ke [].

    Jika hotspot pada data Tablestore Anda membuat kebijakan pemisahan otomatis tidak efektif, gunakan aturan pemisahan kustom. Aturan ini mendefinisikan titik pemisahan dalam rentang kunci primer. Anda hanya perlu mengonfigurasi kunci pemisah, bukan setiap kolom kunci primer.

• Destination: Pilih Text Type target dan konfigurasikan parameter terkait.

  • Text Type: Opsi termasuk csv, text, orc, dan parquet.

  • Object Name (Path Included): Jalur dan nama file tujuan di bucket OSS. Contoh: tablestore/resource_table.csv.

  • Column Delimiter: Default-nya adalah ,. Jika delimiter adalah karakter non-printable, masukkan encoding Unicode-nya, seperti \u001b atau \u007c.

  • Object Path: Hanya diperlukan untuk tipe teks parquet. Menentukan jalur file dalam bucket OSS.

  • File Name: Hanya diperlukan untuk tipe teks parquet. Menentukan nama file dalam bucket OSS.

• Destination Field Mapping: Memetakan bidang dari tabel sumber ke file tujuan. Setiap baris, yang ditentukan dalam format JSON, merepresentasikan satu bidang.

  • Source Field: Termasuk bidang kunci primer dan kolom atribut dari tabel sumber.

    Jika kunci primer terdiri dari kolom kunci primer int bernama id dan kolom kunci primer string bernama name, serta terdapat kolom atribut int bernama age, lihat contoh berikut:

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

  • Target Field: Termasuk bidang kunci primer dan kolom atribut dari tabel sumber.

    Jika kunci primer terdiri dari kolom kunci primer int bernama id dan kolom kunci primer string bernama name, serta terdapat kolom atribut int bernama age, lihat contoh berikut:

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

Setelah menyelesaikan konfigurasi, klik Save di bagian atas halaman.

Mode skrip

Di bagian atas halaman, klik Code Editor untuk beralih ke tampilan pengeditan skrip.

Skrip contoh berikut digunakan untuk mengekspor ke file CSV. Kunci primer tabel sumber terdiri dari kolom int bernama id dan kolom string bernama name. Tabel ini juga mencakup kolom atribut int bernama age. Saat menggunakan skrip ini, ganti nilai datasource, table, dan object dengan nilai Anda sendiri.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss",
            "parameter": {
                "dateFormat": "yyyy-MM-dd HH:mm:ss",
                "datasource": "target_data",
                "writeSingleObject": false,
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "truncate",
                "encoding": "UTF-8",
                "fieldDelimiter": ",",
                "fileFormat": "csv",
                "object": "tablestore/source_table.csv"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Setelah selesai mengedit skrip, klik Save di bagian atas halaman.