Checkpoint and Savepoint - Realtime Compute for Apache Flink

Checkpoint sistem dan snapshot pekerjaan secara kolektif disebut sebagai set status. Topik ini menjelaskan cara mengelola set status suatu pekerjaan, termasuk membuat, melihat, dan menghapusnya, serta memulihkan pekerjaan dari status tertentu.

Informasi latar belakang

Konsep

Rincian

System checkpoint

(Bersesuaian dengan Checkpoint dalam Apache Flink)

Siklus hidup checkpoint sepenuhnya dikelola oleh sistem Flink. Anda dapat mengonfigurasi Checkpointing Interval, Checkpointing Timeout, dan Min Interval Between Checkpoints, serta memantau status pembuatan checkpoint. Anda tidak dapat membuat atau menghapus checkpoint secara manual. Secara default, suatu pekerjaan menyimpan satu checkpoint sebagai status yang dapat dipilih untuk pemulihan pekerjaan. Untuk informasi lebih lanjut tentang pengaturan parameter, lihat Konfigurasikan informasi penerapan pekerjaan.

Job snapshot

(Bersesuaian dengan Savepoint dalam Apache Flink)

Siklus hidupnya sepenuhnya dikelola oleh pengguna.

Anda dapat memicunya selama atau setelah pekerjaan berjalan, atau dari platform VVP secara sekali waktu atau terjadwal.
Pengguna atau platform VVP juga dapat memicu penghapusan secara manual, baik sekali maupun terjadwal.
Saat Anda memulai penerapan, Anda dapat memulihkannya dari titik simpan tertentu.

Catatan

Saat dikonfigurasi untuk pembuatan atau pembersihan berkala, sistem mengikuti aturan yang dikonfigurasi pengguna. Oleh karena itu, operasi ini juga dianggap dikelola pengguna.

Anda dapat melakukan operasi berikut pada checkpoint dan snapshot pekerjaan. Tabel berikut menjelaskan skenario dan menyediakan tautan ke dokumentasi terkait.

Operasi	Skenario	Tautan Dokumen
Buat snapshot pekerjaan secara manual	Jika Anda ingin membuat snapshot pekerjaan secara manual pada waktu tertentu saat pekerjaan sedang berjalan atau berhenti, lalu memulihkan pekerjaan dari snapshot tersebut, Anda dapat membuat snapshot pekerjaan secara manual. Penting Titik simpan yang dibuat secara manual hanya dapat dihapus secara manual. Titik simpan tersebut tidak dapat dihapus berdasarkan aturan pembersihan otomatis. Jika Anda memilih Stop With Savepoint saat membatalkan penerapan, data yang perlu diambil lebih sedikit. Namun, proses pembatalan memerlukan waktu lebih lama.	Buat snapshot pekerjaan secara manual Hentikan Pekerjaan
Konfigurasikan pembuatan otomatis terjadwal untuk snapshot pekerjaan	Jika Anda memerlukan sistem untuk membuat snapshot pekerjaan secara otomatis dalam interval reguler, Anda dapat mengonfigurasi periode pembuatan. Setelah Anda menyimpan aturan tersebut, sistem akan secara otomatis membuat snapshot pekerjaan sesuai periode yang ditentukan selama pekerjaan berjalan. Anda tidak perlu membuatnya secara manual.	Konfigurasikan pembuatan otomatis terjadwal untuk snapshot pekerjaan
Ikhtisar pembuatan system checkpoint dan job snapshot	Pada halaman ikhtisar, Anda dapat melihat riwayat pembuatan checkpoint dan snapshot pekerjaan untuk memahami dengan cepat status pencadangan status pekerjaan dan waktu pembuatannya.	Lihat ringkasan pembuatan status
Pulihkan pekerjaan dari snapshot tertentu (termasuk dari pekerjaan lain)	Jika Anda ingin memulihkan pekerjaan dari snapshot tertentu, Anda dapat menentukan snapshot tersebut untuk memulihkan pekerjaan. Catatan Anda dapat berbagi snapshot antar pekerjaan. Dalam kasus ini, Anda harus memastikan kompatibilitas status antar pekerjaan, misalnya saat melakukan pengujian dual run.	Pulihkan pekerjaan dari snapshot tertentu (termasuk dari pekerjaan lain)
Konfigurasikan aturan pembersihan otomatis untuk snapshot pekerjaan	Jika Anda ingin sistem membersihkan snapshot pekerjaan secara otomatis alih-alih menghapusnya secara manual, Anda dapat mengonfigurasi jumlah snapshot yang disimpan atau periode retensinya. Setelah Anda menyimpan aturan tersebut, sistem akan secara otomatis membersihkan snapshot berdasarkan aturan ini selama pekerjaan berjalan. Catatan Pembersihan otomatis tidak menghapus titik simpan yang dibuat secara manual. Titik simpan tersebut hanya dapat dihapus secara manual. Jika penerapan ditangguhkan dalam jangka waktu lama, sistem akan menghapus titik simpannya berdasarkan aturan pembersihan saat penerapan dimulai kembali.	Konfigurasikan aturan pembersihan otomatis untuk snapshot pekerjaan
Hapus snapshot pekerjaan tertentu secara manual	Snapshot pekerjaan yang dibuat secara manual tidak dihapus secara otomatis sebelum pekerjaan berhenti. Oleh karena itu, Anda perlu menghapus snapshot pekerjaan yang sudah kedaluwarsa secara berkala. Jika tidak, snapshot tersebut akan memakan ruang yang tidak perlu di Bucket OSS Anda dan menimbulkan biaya penyimpanan.	Hapus snapshot pekerjaan tertentu secara manual
Atur parameter terkait State	Atur parameter yang terkait dengan sistem penyimpanan status aliran, State TTL untuk pekerjaan SQL, dan apakah akan menyimpan data temporary yang dihasilkan selama proses snapshot pekerjaan di disk lokal.	Atur parameter terkait State

Buat snapshot pekerjaan secara manual

Catatan

Anda hanya dapat membuat snapshot pekerjaan secara manual untuk pekerjaan yang berstatus running.

Buka halaman pembuatan snapshot pekerjaan.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Klik Console di kolom Actions ruang kerja target.
3. Pada halaman Operation Center > Job O&M, klik nama pekerjaan target.
Di pojok kanan atas halaman, klik Create Snapshot.
Pilih format snapshot dan masukkan deskripsi.
Klik Create.

Konfigurasikan pembuatan otomatis terjadwal untuk snapshot pekerjaan

Buka halaman manajemen set status.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Untuk ruang kerja target, klik Console di kolom Actions.
3. Pada halaman Operation Center > Job O&M, klik nama pekerjaan target.
4. Klik State Set Management.

Pada tab Configuration, aktifkan Scheduled Automatic Creation of Job Snapshots dan atur periodenya.

Anda dapat mengklik Quick Settings untuk memilih rentang waktu, atau memasukkan ekspresi cron secara manual. Untuk memasukkan ekspresi secara manual, klik setiap bidang secara berurutan dan ubah nilainya. Tabel berikut menjelaskan rentang nilai dan karakter khusus yang didukung untuk lima bidang dalam ekspresi cron.

Bidang	Diperlukan	Rentang nilai	Karakter khusus
Minute	Ya	[0, 59]	* , - /
Hour	Ya	[0, 23]	* , - /
Day	Ya	[1, 31]	* , - /
Month	Ya	[1, 12] atau [JAN, DEC]	* , - /
Week	Ya	[1, 7] atau [MON, SUN]. Catatan Jika Anda menggunakan format [1, 7], angka 1 merepresentasikan Senin dan 7 merepresentasikan Minggu.	* , - /

Catatan

Interval minimum adalah 10 menit. Jika interval yang ditentukan dalam ekspresi cron kurang dari 10 menit, sistem akan memicu tugas setiap 10 menit secara default.

Setiap bidang mendukung beberapa karakter khusus. Setiap karakter khusus memiliki makna spesifik, seperti dijelaskan dalam tabel berikut.

Karakter khusus	Arti	Contoh
`*`	Menunjukkan semua nilai yang mungkin.	Pada bidang Month, `` berarti setiap bulan. Pada bidang Week, `` berarti setiap hari dalam seminggu.
`,`	Berikut adalah nilai-nilai enumerasi.	Pada bidang Minute, `5,20` berarti tugas dipicu pada menit ke-5 dan ke-20.
`-`	Rentang	Pada bidang Minute, `5-20` berarti tugas dipicu setiap menit dari menit ke-5 hingga menit ke-20.
`/`	Menentukan penambahan.	Pada bidang Minute, `0/15` berarti tugas dipicu setiap 15 menit, dimulai dari menit ke-0. Pada bidang Minute, `3/20` berarti tugas dipicu setiap 20 menit, dimulai dari menit ke-3.

Tabel berikut memberikan contoh ekspresi cron.

Contoh	Deskripsi
`15 10 * * *`	Menjalankan tugas setiap hari pukul 10:15 pagi.
`0 12 * * *`	Menjalankan tugas setiap hari pukul 12:00 siang.
`0 10,14,16 * * *`	Menjalankan tugas setiap hari pukul 10:00 pagi, 2:00 siang, dan 4:00 sore.
`0/30 9-17 * * *`	Menjalankan tugas setiap 30 menit dari pukul 9:00 pagi hingga 5:00 sore setiap hari.
`* 14 * * *`	Menjalankan tugas setiap menit dari pukul 2:00 sore hingga 2:59 sore setiap hari.
`0-5 14 * * *`	Menjalankan tugas setiap menit dari pukul 2:00 sore hingga 2:05 sore setiap hari.
`0/5 14 * * *`	Menjalankan tugas setiap 5 menit dari pukul 2:00 sore hingga 2:55 sore setiap hari.
`0/5 14,18 * * *`	Menjalankan tugas setiap 5 menit dari pukul 2:00 sore hingga 2:55 sore dan dari pukul 6:00 sore hingga 6:55 sore setiap hari.
`0 12 * * WED`	Menjalankan tugas setiap Rabu pukul 12:00 siang.
`15 10 15 * *`	Menjalankan tugas setiap tanggal 15 pukul 10:15 pagi.
`10,44 14 * 3 WED`	Menjalankan tugas setiap Rabu pukul 2:10 sore dan 2:44 sore di bulan Maret setiap tahun.

Penting

Definisi bidang: Ekspresi cron memiliki lima bidang: minute hour day-of-month month day-of-week.
Gabungan day-of-month dan day-of-week: Jika Anda menentukan nilai untuk bidang ketiga (day-of-month) dan kelima (day-of-week), kondisinya merupakan logika OR.
0 12 1 * 5 memicu tugas pukul 12:00 siang pada tanggal 1 setiap bulan atau setiap hari Jumat. Tidak hanya memicu tugas bila tanggal 1 jatuh pada hari Jumat.
Tanda tanya (?) tidak didukung: Jangan gunakan karakter ?. Sistem akan melaporkan error atau gagal mengenali ekspresi tersebut. Untuk mengabaikan suatu bidang, gunakan karakter *.

Lihat ringkasan pembuatan status

Buka halaman manajemen set status.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Di kolom Actions untuk ruang kerja target, klik Console.
3. Pada halaman Operation Center > Job O&M, klik nama pekerjaan target.
4. Klik State Set Management.

Pada tab Overview, Anda dapat melihat informasi berikut.

Kategori	Informasi ikhtisar
System checkpoint	Lihat informasi tentang checkpoint terakhir yang berhasil dan gagal, termasuk ID, waktu penyelesaian, durasi, dan ukuran penyimpanan penuh.
Job snapshot	Lihat informasi tentang snapshot pekerjaan terakhir yang berhasil dan gagal, termasuk ID snapshot, waktu penyelesaian, durasi, atau waktu kegagalan.

Pulihkan pekerjaan dari snapshot tertentu (termasuk dari pekerjaan lain)

Catatan

Untuk memulihkan pekerjaan dari snapshot, pekerjaan tersebut harus berstatus stopped. Jika pekerjaan Anda berstatus running, hentikan terlebih dahulu.

Buka halaman manajemen set status.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Untuk ruang kerja target, klik Console di kolom Actions.
3. Buka Operation Center > Job O&M dan klik nama pekerjaan target.
4. Klik State Set Management.
Pada tab History, temukan snapshot target dalam daftar Job Snapshots.
Di kolom Actions untuk snapshot target, pilih More > Restore Job from This Snapshot.
Pada kotak dialog konfigurasi Start Job, konfigurasikan informasi startup untuk pekerjaan tersebut.
Untuk informasi lebih lanjut tentang konfigurasi, lihat Mulai pekerjaan.

Konfigurasikan aturan pembersihan otomatis untuk snapshot pekerjaan

Buka halaman manajemen set status.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Untuk ruang kerja target, klik Console di kolom Actions.
3. Pada halaman Operation Center > Job O&M, klik nama pekerjaan target.
4. Klik State Set Management.
Pada tab Configuration, aktifkan Scheduled Automatic Cleanup of Job Snapshots dan konfigurasikan aturan pembersihan otomatisnya.
Anda dapat mengonfigurasi Number of Historical Snapshots to Keep dan Maximum Retention Period for Historical Snapshots. Selama pekerjaan Flink berjalan, snapshot akan dihapus jika salah satu kondisi ini terpenuhi.
Klik Save Changes.

Hapus snapshot pekerjaan tertentu secara manual

Buka halaman manajemen set status.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Untuk ruang kerja target, klik Console di kolom Actions.
3. Pada halaman Operation Center > Job O&M, klik nama pekerjaan target.
4. Klik State Set Management.
Pada tab History, temukan snapshot target dalam daftar Job Snapshots.
Di kolom Actions untuk snapshot target, pilih More > Delete This Snapshot.
Klik OK.

Atur parameter terkait State

Buka halaman O&M pekerjaan target.
1. Masuk ke Konsol Realtime Compute for Apache Flink.
2. Temukan ruang kerja target, lalu di kolom Actions, klik Console.
3. Pada halaman Operation Center > Job O&M, klik pekerjaan target.
Pada tab Deployment Details, di bagian Runtime Parameter Settings, klik Edit.
Di Other Configurations, tambahkan kode berikut lalu klik Save. Kode berikut merupakan contoh.
```
state.backend.incremental: true
table.exec.state.ttl: 129600000
```
Untuk informasi lebih lanjut tentang parameter dasar dan advanced yang dapat Anda atur untuk Flink, lihat Konfigurasi penyimpanan backend status tingkat enterprise.

Referensi

Untuk jawaban atas pertanyaan umum mengenai checkpoint atau snapshot pekerjaan di Realtime Compute for Apache Flink, lihat Checkpoint dan snapshot pekerjaan.
Untuk informasi lebih lanjut tentang dampak kompatibilitas modifikasi SQL, lihat Modifikasi SQL dan kompatibilitas.