Sumber data Memcache - DataWorks

DataWorks menyediakan Memcache Writer untuk menulis data ke sumber data Memcache. Anda dapat mengonfigurasi tugas sinkronisasi batch untuk sumber data Memcache hanya dengan menggunakan editor kode. Topik ini menjelaskan cara menyinkronkan data ke sumber data Memcache.

Batasan

Anda hanya dapat mengonfigurasi tugas sinkronisasi batch untuk menyinkronkan data ke sumber data Memcache menggunakan editor kode.

Pemetaan tipe data

Memcache Writer menulis data hanya dalam format teks. Metode konversi tipe data bervariasi berdasarkan format penulisan data oleh Memcache Writer.

text: Memcache Writer menggunakan pembatas kolom delimiter yang ditentukan untuk mengubah data sumber menjadi string.
binary: Format ini tidak didukung.

Mengembangkan tugas sinkronisasi data

Untuk informasi tentang titik masuk dan prosedur mengonfigurasi tugas sinkronisasi data, lihat bagian berikut. Untuk detail pengaturan parameter, lihat infotip setiap parameter pada tab konfigurasi tugas.

Tambahkan sumber data

Konfigurasikan tugas sinkronisasi batch untuk menyinkronkan data tabel tunggal

Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode.
Untuk informasi tentang semua parameter yang dikonfigurasi dan kode yang dijalankan saat menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, lihat Lampiran: Kode dan Parameter.

Lampiran: Kode dan parameter

Lampiran: Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Kode untuk Memcache Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ocs",// Nama plugin.
            "parameter":{
                "writeFormat":"text",// Format penulisan data sumber oleh Memcache Writer.
                "expireTime":1000,// Waktu kedaluwarsa data sumber yang disimpan di database Memcache.
                "indexes":0,
                "datasource":"",// Nama sumber data.
                "writeMode":"set",// Mode penulisan.
                "batchSize":"256"// Jumlah catatan data yang ditulis dalam satu waktu.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum catatan data kotor yang diperbolehkan.
        },
        "speed":{
            "throttle":true,// Menentukan apakah throttling diaktifkan. Nilai false menunjukkan bahwa throttling dinonaktifkan, dan nilai true menunjukkan bahwa throttling diaktifkan. Parameter mbps hanya berlaku ketika parameter throttle diatur ke true.
            "concurrent":1, // Jumlah maksimum thread paralel.
            "mbps":"12"// Kecepatan transmisi maksimum. Unit: MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter dalam kode untuk Memcache Writer

Parameter	Deskripsi	Diperlukan	Nilai default
datasource	Nama sumber data. Harus sama dengan nama sumber data yang telah ditambahkan. Anda dapat menambahkan sumber data menggunakan editor kode.	Ya	Tidak ada nilai default
writeMode	Mode penulisan. Nilai valid: set: menyimpan data sumber. add: menyimpan data sumber hanya jika key-nya tidak ada di tujuan. Mode ini tidak didukung. replace: menggunakan data sumber untuk mengganti catatan data yang memiliki key yang sama dengan data sumber di tujuan. Mode ini tidak didukung. append: menambahkan data sumber ke akhir catatan data yang ada dengan key yang sama dengan data sumber, tetapi tidak memperbarui waktu kedaluwarsa catatan data yang ada. Mode ini tidak didukung. prepend: menambahkan data sumber ke awal catatan data yang ada dengan key yang sama dengan data sumber, tetapi tidak memperbarui waktu kedaluwarsa catatan data yang ada. Mode ini tidak didukung.	Ya	Tidak ada nilai default
writeFormat	Format penulisan data sumber oleh Memcache Writer. Hanya format teks yang didukung. text: mengubah data sumber menjadi format teks. Memcache Writer menggunakan kolom pertama dari data sumber sebagai key dan mengubah kolom berikutnya menjadi string menggunakan delimiter yang ditentukan. Kemudian, Memcache Writer menulis pasangan key-value ke Memcache. Sebagai contoh, data sumber berikut ada: `\| ID \| NAME \| COUNT\| \| ---- \|:------\|:-----\| \| 23 \| "CDP" \| 100 \|` Jika Anda mengatur pembatas kolom ke \^, data ditulis ke Memcache dalam format berikut: `\| KEY (OCS) \| VALUE(OCS) \| \| --------- \|:---------- \| \| 23 \| CDP\^100 \|`	Tidak	Tidak ada nilai default
expireTime	Waktu kedaluwarsa data sumber yang disimpan di Memcache. Memcache mendukung waktu kedaluwarsa dalam format berikut: unixtime: timestamp UNIX, yang menunjukkan titik waktu tertentu di masa depan ketika data kedaluwarsa. Timestamp UNIX mewakili jumlah detik yang telah berlalu sejak 00:00:00 pada 1 Januari 1970. seconds: periode waktu dalam detik mulai dari titik waktu saat ini. Ini menentukan periode selama data valid. Catatan Jika waktu kedaluwarsa yang ditentukan lebih besar dari 30 hari, server mengidentifikasi waktu tersebut sebagai timestamp UNIX.	Tidak	0, yang menunjukkan bahwa data tidak pernah kedaluwarsa.
batchSize	Jumlah catatan data yang ditulis dalam satu waktu. Atur parameter ini ke nilai yang sesuai berdasarkan kebutuhan bisnis Anda. Hal ini sangat mengurangi interaksi antara Data Integration dan Memcache serta meningkatkan throughput. Jika Anda mengatur parameter ini ke nilai yang terlalu besar, kesalahan out of memory (OOM) mungkin terjadi selama sinkronisasi data.	Tidak	1.024