DataWorks:Memcache (OCS)-DataWorks-Alibaba Cloud

Sumber data Memcache (sebelumnya dikenal sebagai OCS) memungkinkan Anda menulis data dari sumber data lain ke Memcache. DataWorks mendukung sinkronisasi data untuk Memcache (OCS), yang hanya dapat dikonfigurasi melalui editor kode. Topik ini menjelaskan fitur-fitur yang didukung.

Batasan

Anda hanya dapat menulis data ke Memcache (OCS) melalui editor kode.

Tipe bidang yang didukung

Memcache Writer mendukung satu format penulisan. Metode konversi tipe bergantung pada format tersebut.

text: Memcache Writer melakukan serialisasi data sumber ke dalam format STRING menggunakan pemisah fieldDelimiter yang dikonfigurasi dalam skrip task sinkronisasi.
binary: Saat ini tidak didukung.

Tambahkan sumber data

Sebelum mengembangkan task sinkronisasi di DataWorks, Anda harus menambahkan sumber data yang diperlukan ke DataWorks dengan mengikuti petunjuk dalam Data source management. Anda dapat melihat deskripsi parameter di Konsol DataWorks untuk memahami arti parameter saat menambahkan sumber data.

Kembangkan task sinkronisasi data

Untuk informasi mengenai titik masuk dan prosedur konfigurasi task sinkronisasi, lihat panduan konfigurasi berikut.

Panduan konfigurasi task sinkronisasi offline untuk satu tabel

Untuk prosedurnya, lihat Configure a task in the code editor.
Untuk contoh skrip dan deskripsi semua parameter editor kode, lihat Lampiran: Contoh skrip dan deskripsi parameter Memcache (OCS).

Lampiran: Contoh skrip dan deskripsi parameter Memcache (OCS)

Konfigurasi task sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi task sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip sesuai dengan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Configure a task in the code editor. Informasi berikut menjelaskan parameter yang harus Anda konfigurasikan untuk sumber data saat mengatur task sinkronisasi batch menggunakan editor kode.

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ocs",// Nama plugin.
            "parameter":{
                "writeFormat":"text",// Format data untuk Memcache Writer.
                "expireTime":1000,// Waktu hidup (TTL) untuk cache nilai Memcache.
                "indexes":0,
                "datasource":"",// Sumber data.
                "writeMode":"set",// Mode penulisan.
                "batchSize":"256"// Jumlah catatan dalam satu batch.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan laju data tidak dibatasi. Jika throttle diatur ke true, laju data dibatasi.
            "concurrent":1, // Konkurensi job.
            "mbps":"12"// Batas laju data. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer

Parameter	Deskripsi	Wajib	Nilai default
datasource	Nama sumber data. Editor kode memungkinkan Anda menambahkan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang Anda tambahkan.	Ya	Tidak ada
writeMode	Mode penulisan untuk Memcache Writer. Nilai yang valid: set: Menyimpan data. add: Menyimpan data hanya jika kunci belum ada. Mode ini saat ini tidak didukung. replace: Menyimpan data hanya jika kunci sudah ada. Mode ini saat ini tidak didukung. append: Menambahkan data ke konten kunci yang sudah ada. Parameter exptime diabaikan. Mode ini saat ini tidak didukung. prepend: Menambahkan data di awal konten kunci yang sudah ada. Parameter exptime diabaikan. Mode ini saat ini tidak didukung.	Ya	Tidak ada
writeFormat	Format data yang ditulis oleh Memcache Writer. Hanya format TEXT yang didukung. TEXT: Melakukan serialisasi data sumber ke dalam format teks. Bidang pertama digunakan sebagai kunci untuk data yang ditulis ke Memcache. Semua bidang berikutnya diserialisasi ke tipe String. Bidang-bidang tersebut digabung menjadi satu string lengkap menggunakan fieldDelimiter yang ditentukan. String tersebut kemudian ditulis ke Memcache. Sebagai contoh, data sumber adalah sebagai berikut. `\| ID \| NAME \| COUNT\| \| ---- \|:------\|:-----\| \| 23 \| "CDP" \| 100 \|` Jika Anda mengatur fieldDelimiter ke \^, data akan ditulis ke Memcache dalam format berikut. `\| KEY (OCS) \| VALUE (OCS) \| \| --------- \|:---------- \| \| 23 \| CDP\^100 \|`	Tidak	Tidak ada
expireTime	Waktu hidup (TTL) untuk cache nilai Memcache. Memcache mendukung dua jenis waktu kedaluwarsa. Timestamp Unix, yaitu jumlah detik sejak 1970-01-01 00:00:00 UTC. Nilai ini menentukan titik waktu di masa depan ketika data kedaluwarsa. Jumlah detik relatif terhadap waktu saat ini. Nilai ini menentukan durasi setelah data kedaluwarsa. Catatan Jika waktu kedaluwarsa lebih besar dari 60 × 60 × 24 × 30 detik (30 hari), server akan menganggapnya sebagai timestamp Unix.	Tidak	0. Nilai 0 menunjukkan bahwa data tidak pernah kedaluwarsa.
batchSize	Parameter ini menentukan jumlah catatan dalam satu pengiriman batch. Nilai yang lebih tinggi dapat secara signifikan mengurangi interaksi jaringan antara sistem sinkronisasi data dan MySQL serta meningkatkan throughput keseluruhan. Namun, mengatur nilai ini terlalu tinggi dapat menyebabkan error kehabisan memori (OOM) dalam proses sinkronisasi data.	Tidak	1.024