DataWorks：Sumber data Redis

Parameter

Deskripsi

Wajib

Bawaan

expireTime

Waktu kedaluwarsa untuk kunci di Redis. Jika Anda tidak menentukan parameter ini, nilai bawaan 0 digunakan, yang berarti kunci tidak pernah kedaluwarsa.

Tidak

0 (Kunci tidak pernah kedaluwarsa.)

keyFieldDelimiter

Delimiter yang digunakan untuk menggabungkan beberapa kolom menjadi kunci Redis, misalnya key=key1\u0001id. Parameter ini wajib ketika Anda menggabungkan beberapa kolom menjadi satu kunci. Anda dapat mengabaikan parameter ini jika kuncinya hanya terdiri dari satu kolom.

Tidak

\u0001

dateFormat

Format untuk nilai bertipe Date saat ditulis ke Redis, seperti yyyy-MM-dd HH:mm:ss.

Tidak

Tidak ada

datasource

Nama sumber data. Nama ini harus sesuai dengan yang Anda konfigurasi di Konsol DataWorks.

Ya

Tidak ada

selectDatabase

Indeks database tujuan. Nilai yang valid berkisar dari "0" hingga "N-1", di mana N adalah jumlah `databases` yang dikonfigurasi di Redis. Parameter ini tidak tersedia untuk kluster Redis.

Tidak

Bawaan ke database 0.

writeMode

Tipe data nilai yang akan ditulis ke Redis. Redis Writer mendukung lima tipe berikut:

• String (string)

• List (list)

• Set (set)

• Sorted Set (zset)

• Hash (hash)

Konfigurasi writeMode bervariasi tergantung tipe datanya. Untuk detailnya, lihat bagian parameter writeMode di bawah ini.

Tidak

string

keyIndexes

Indeks kolom sumber berbasis nol yang digunakan untuk kunci Redis.

• Untuk menggunakan satu kolom dari sumber sebagai kunci Redis, tentukan indeksnya. Misalnya, untuk menggunakan kolom pertama sebagai kunci, atur nilainya menjadi 0.

• Untuk menggunakan beberapa kolom sumber sebagai kunci Redis komposit, tentukan indeksnya dalam bentuk array. Misalnya, untuk menggunakan kolom kedua dan ketiga sebagai kunci komposit, atur nilainya menjadi [1,2].

Ya

Tidak ada

batchSize

Jumlah catatan yang ditulis dalam satu batch. Nilai yang lebih besar dapat mengurangi interaksi jaringan dengan Redis dan meningkatkan throughput. Namun, mengatur nilai ini terlalu tinggi dapat menyebabkan error kehabisan memori (OOM) pada proses job sinkronisasi.

Tidak

1000

timeout

Timeout operasi penulisan dalam milidetik.

Tidak

30000

redisMode

Mode penyebaran Redis. Nilai yang valid:

• Cluster mode: Atur ClusterMode ke ClusterMode.

  Dalam mode ini, Redis Writer terhubung langsung ke kluster Redis. Mode ini biasanya digunakan untuk kluster Redis yang dikelola sendiri dan instans Redis Alibaba Cloud dengan alamat koneksi langsung. Mode kluster mendukung penulisan batch.

• redisMode: Biarkan redisMode kosong atau jangan konfigurasi.

  Mode ini biasanya digunakan untuk instans Redis Alibaba Cloud dengan alamat proxy, alamat pemisahan baca/tulis, atau alamat edisi standar. Mode non-kluster tidak mendukung penulisan batch.

Tidak

Tidak ada

column

Konfigurasi kolom yang akan ditulis ke Redis. Parameter ini berlaku ketika `writeMode.type` adalah `string` dan `writeMode.mode` adalah `set`.

• Jika Anda tidak mengonfigurasi parameter ini, nilai ditulis sebagai string nilai yang digabungkan dengan delimiter (format CSV). Misalnya, jika suatu catatan memiliki nilai `18` dan `male`, nilai di Redis mungkin `"18::male"`.

• Jika Anda mengonfigurasi parameter ini, misalnya, "column": [{"index":"0", "name":"id"}, {"index":"1", "name":"name"}], nilai tersebut ditulis dalam format JSON, seperti {"id":"<value_from_source>","name":"<value_from_source>"}</value_from_source></value_from_source>. Misalnya, jika `id` adalah `1` dan `name` adalah `John`, nilai di Redis adalah {"id":"1","name":"John"}.

Tidak

Tidak ada

Tipe nilai

Parameter type

Parameter mode

Parameter valueFieldDelimiter

Contoh konfigurasi

String

Atur type ke string.

Untuk tipe nilai String, mode menentukan mode penulisan:

• Atur mode ke set.

• Jika kunci sudah ada, nilainya akan ditimpa.

valueFieldDelimiter adalah delimiter untuk menggabungkan nilai. Nilai bawaannya adalah \u0001.

• Parameter ini digunakan ketika satu baris data sumber memiliki lebih dari satu kolom nilai. Misalnya, jika terdapat tiga kolom nilai, nilai-nilai tersebut digabungkan dengan delimiter, seperti value1\u0001value2\u0001value3.

• Jika data sumber hanya memiliki satu kolom kunci dan satu kolom nilai, Anda tidak perlu mengonfigurasi parameter ini.

"writeMode":{
        "type": "string",
        "mode": "set",
        "valueFieldDelimiter": "\u0001"
        }

List

Atur type ke list.

Untuk tipe nilai List, mode dapat berupa salah satu berikut:

• lpush: Dorong elemen ke kepala (kiri) daftar.

• rpush: Dorong elemen ke ekor (kanan) daftar.

"writeMode":{
    "type": "list",
    "mode": "lpush|rpush",
    "valueFieldDelimiter": "\u0001"
}

Set

Atur type ke set.

Untuk tipe nilai Set, mode menentukan mode penulisan:

• Atur mode ke sadd untuk menambahkan anggota ke set.

• Jika kunci dengan nama yang sama sudah ada tetapi bertipe berbeda, nilainya akan ditimpa.

"writeMode":{
        "type": "set",
        "mode": "sadd",
        "valueFieldDelimiter": "\u0001"
        }

Sorted Set

Atur type ke zset.

Untuk tipe nilai Sorted Set, mode menentukan mode penulisan:

• Atur mode ke zadd untuk menambahkan anggota ke sorted set.

• Jika kunci dengan nama yang sama sudah ada tetapi bukan sorted set, nilainya akan ditimpa.

Tidak diperlukan.

"writeMode":{
        "type": "zset",
        "mode": "zadd"
        }

Hash

Atur type ke hash.

Untuk tipe nilai Hash, mode menentukan mode penulisan:

• Atur mode ke hset untuk menambahkan data ke hash.

• Jika kunci dengan nama yang sama sudah ada tetapi bukan hash, nilainya akan ditimpa.

Tidak diperlukan.

"writeMode":{
        "type": "hash",
        "mode": "hset"
        }