Tablestore：Ekspor data lengkap ke OSS

Antarmuka tanpa kode (default)

Konfigurasikan item berikut:

• Data Source: Pilih sumber dan tujuan data.

• Runtime Resource: Pilih kelompok sumber daya. Setelah Anda membuat pilihan, sistem secara otomatis menguji konektivitas sumber data.

• Data Source:

  • Table: Anda dapat memilih tabel sumber dari daftar tarik-turun.

  • Primary Key Range (Start): Kunci primer awal dari rentang yang akan dibaca. Nilainya adalah larik JSON. inf_min merepresentasikan tak hingga negatif.

    Jika kunci primer mencakup kolom int bernama id dan kolom string bernama name, konfigurasi berikut adalah contohnya:

    Rentang kunci primer yang ditentukan	Data lengkap
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • Primary Key Range (End): Akhir dari rentang kunci primer untuk data yang dibaca, ditentukan sebagai larik JSON. inf_max merepresentasikan tak hingga positif.

    Jika kunci primer mencakup kolom int bernama id dan kolom string bernama name, konfigurasi berikut adalah contohnya:

    Rentang kunci primer yang ditentukan	Data lengkap
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • Shard Configuration: Konfigurasi shard kustom dalam format larik JSON. Biasanya, Anda dapat membiarkan parameter ini tidak dikonfigurasi dengan mengaturnya ke [].

    Jika terjadi hotspot dalam penyimpanan data Tablestore dan kebijakan sharding otomatis Tablestore Reader tidak efektif, kami menyarankan agar Anda menggunakan aturan sharding kustom. Aturan sharding kustom memungkinkan Anda menentukan kunci shard dalam rentang kunci primer. Anda hanya perlu mengonfigurasi kunci shard, bukan semua kunci primer.

• Data Destination: Pilih Text Type dan konfigurasikan parameter yang sesuai.

  • Text Type: Nilai yang valid adalah csv, text, orc, dan parquet.

  • File Name (including Path): Jalur lengkap ke file di bucket OSS. Misalnya, tablestore/resource_table.csv.

  • Column Delimiter: Nilai default adalah ,. Jika pemisah adalah karakter non-printable, masukkan pengkodean Unicode-nya, seperti \u001b atau \u007c.

  • File Path: Jalur file di bucket OSS. Parameter ini hanya diperlukan untuk jenis file parquet.

  • File Name: Nama file di bucket OSS. Parameter ini hanya diperlukan untuk file dalam format parquet.

• Destination Field Mapping: Memetakan bidang dari tabel sumber ke file tujuan. Setiap baris merepresentasikan satu bidang dalam format JSON.

  • Source Field: Bidang kunci primer dan kolom atribut dari tabel sumber.

    Jika kunci primer mencakup kolom int bernama id dan kolom string bernama name, serta kolom atribut mencakup bidang int bernama age, konfigurasi berikut adalah contohnya:

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

  • Destination Field: Bidang kunci primer dan kolom atribut dari tabel sumber.

    Jika kunci primer mencakup kolom int bernama id dan kolom string bernama name, serta kolom atribut mencakup bidang int bernama age, konfigurasi berikut adalah contohnya:

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

Untuk menyimpan konfigurasi, klik Save di bagian atas halaman.

Editor kode

Klik Code Editor di bagian atas halaman. Editor kode akan terbuka. Edit skrip.

Contoh berikut menunjukkan konfigurasi di mana jenis file tujuan adalah CSV. Tabel sumber memiliki kunci primer yang mencakup kolom int bernama id dan kolom string bernama name. Kolom atribut adalah bidang int bernama age. Saat mengonfigurasi skrip, ganti datasource, nama tabel table, dan nama file tujuan object dalam contoh skrip dengan nilai aktual Anda.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss",
            "parameter": {
                "dateFormat": "yyyy-MM-dd HH:mm:ss",
                "datasource": "target_data",
                "writeSingleObject": false,
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "truncate",
                "encoding": "UTF-8",
                "fieldDelimiter": ",",
                "fileFormat": "csv",
                "object": "tablestore/source_table.csv"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Setelah mengedit skrip, klik Save di bagian atas halaman.