cara mengelola katalog SLS - Realtime Compute for Apache Flink

Katalog SLS secara otomatis mengurai log dalam Logstore Simple Log Service (SLS) untuk melakukan inferensi skema tabel. Setelah Anda mengonfigurasi Katalog SLS, Anda dapat langsung mengakses Logstore SLS dalam pekerjaan Flink tanpa perlu mendeklarasikan skema tabel SLS di Flink SQL, sehingga memungkinkan pengambilan informasi field secara mulus. Topik ini menjelaskan cara membuat, menampilkan, menggunakan, dan menghapus Katalog SLS.

Konteks

Topik ini mencakup aspek-aspek berikut dalam pengelolaan Katalog SLS:

Buat Katalog SLS
Tampilkan Katalog SLS
Tampilkan Logstore SLS
Gunakan Katalog SLS
Hapus Katalog SLS

Batasan

Semua field diurai sebagai tipe String. Jika Anda memerlukan tipe data lain, gunakan Flink SQL untuk mengonversinya.
Hanya pekerjaan Flink yang menggunakan Ververica Runtime (VVR) 6.0.7 atau versi yang lebih baru yang mendukung Katalog SLS.
Anda tidak dapat memodifikasi Katalog SLS yang sudah ada menggunakan pernyataan DDL.
Anda hanya dapat melakukan kueri terhadap tabel data. Pembuatan, modifikasi, atau penghapusan database dan tabel tidak didukung.
Tabel yang disediakan oleh Katalog SLS dapat digunakan sebagai tabel sumber dan tabel sink dalam pekerjaan Flink SQL, tetapi tidak dapat digunakan sebagai tabel dimensi lookup.

Catatan

Katalog SLS menghasilkan skema tabel dengan mengurai data sampel. Untuk Logstore dengan format data yang tidak konsisten, katalog secara default menyimpan semua kolom guna mengembalikan skema seluas mungkin. Jika format data Logstore berubah, skema tabel yang diperoleh dari Katalog SLS pada waktu yang berbeda bisa menjadi tidak konsisten. Perbedaan skema hasil inferensi sebelum dan sesudah restart pekerjaan dapat menyebabkan masalah eksekusi pekerjaan.

Sebagai contoh, pekerjaan Flink SQL mereferensikan sebuah tabel dalam Katalog SLS. Jika pekerjaan tersebut direstart dari titik simpan setelah berjalan selama periode tertentu, pekerjaan tersebut mungkin mengambil skema yang berbeda dari skema yang digunakan pada eksekusi sebelumnya. Rencana eksekusi pekerjaan SQL menggunakan versi yang dihasilkan berdasarkan skema sebelumnya, sehingga dapat menyebabkan ketidaksesuaian dalam operasi downstream, seperti kondisi filter atau pengambilan nilai field. Oleh karena itu, buatlah tabel SLS menggunakan CREATE TEMPORARY TABLE dalam pekerjaan Flink SQL Anda agar menggunakan skema tetap.

Buat Katalog SLS

Anda dapat mengonfigurasi Katalog SLS melalui UI atau dengan menjalankan perintah SQL. Kami menyarankan menggunakan UI.

Gunakan UI

Buka halaman Data Management.
1. Login ke Konsol Realtime Compute, lalu klik Actions di kolom Console ruang kerja target.
2. Klik Data Management.
Klik Create Catalog, pilih SLS, lalu klik Next.

Konfigurasikan parameter-parameter berikut.

Penting

Setelah katalog dibuat, pengaturan ini tidak dapat diubah. Untuk mengubah pengaturan, hapus katalog tersebut dan buat katalog baru.

Parameter	Tipe	Deskripsi	Diperlukan	Catatan
nama katalog	String	Nama Katalog SLS.	Ya	Masukkan nama kustom dalam bahasa Inggris.
endpoint	String	Alamat endpoint.	Ya	Untuk informasi lebih lanjut, lihat Endpoint.
proyek	String	Nama proyek SLS.	Ya	Tidak ada.
accessId	String	ID AccessKey akun Alibaba Cloud Anda.	Ya	Untuk informasi selengkapnya, lihat Cara melihat ID AccessKey dan Rahasia AccessKey? Penting Untuk melindungi informasi AccessKey Anda, gunakan variabel untuk menentukan nilai AccessKey. Untuk informasi selengkapnya, lihat Project variables.
accessKey	String	Rahasia AccessKey akun Alibaba Cloud Anda.	Ya

Klik Confirm.
Anda dapat melihat katalog yang telah dibuat di area Metadata sebelah kiri.

Perintah SQL

Pada editor Data Query, masukkan perintah untuk mengonfigurasi Katalog SLS.

CREATE CATALOG <catalogName> WITH(
  'type'='sls',
  'endpoint'='<brokers>',
  'project'='project',
  'accessId'='${secret_values.ak_id}',
  'accessKey'='${secret_values.ak_secret}'
)

Parameter	Tipe	Deskripsi	Diperlukan	Catatan
catalogName	String	Nama Katalog SLS.	Ya	Masukkan nama kustom dalam bahasa Inggris.
tipe	String	Jenis katalog.	Ya	Nilainya tetap sls.
endpoint	String	Alamat endpoint.	Ya	Untuk informasi lebih lanjut, lihat Endpoint.
proyek	String	Nama proyek SLS.	Ya	Tidak ada.
accessId	String	ID AccessKey akun Alibaba Cloud Anda.	Ya	Untuk informasi selengkapnya, lihat Cara melihat ID AccessKey dan Rahasia AccessKey? Penting Untuk melindungi informasi AccessKey Anda, gunakan manajemen rahasia untuk menentukan nilai ID AccessKey. Untuk informasi selengkapnya, lihat Manage variables.
accessKey	String	Rahasia AccessKey akun Alibaba Cloud Anda.	Ya	Untuk informasi selengkapnya, lihat Cara melihat ID AccessKey dan Rahasia AccessKey? Penting Untuk melindungi informasi AccessKey Anda, gunakan manajemen rahasia untuk menentukan nilai Rahasia AccessKey. Untuk informasi selengkapnya, lihat Manage variables.

Pilih kode yang digunakan untuk membuat katalog, lalu klik Run di sebelah kiri nomor baris. Anda juga dapat meletakkan kursor pada kode tersebut dan klik kanan Run.
Di area Metadata sebelah kiri, tampilkan katalog yang telah dibuat.

Tampilkan Katalog SLS

Setelah Anda mengonfigurasi Katalog SLS, ikuti langkah-langkah berikut untuk melihat metadata SLS.

Buka halaman Data Management.
1. Login ke Konsol Realtime Computing for Apache Flink.
2. Di kolom Actions untuk ruang kerja target, klik Console.
3. Klik Data Management.
Pada halaman Catalog List, tampilkan kolom Name dan Type.
Catatan
Untuk melihat informasi tentang Logstore dalam katalog, klik View.

Tampilkan Logstore SLS

Pada editor Data Query, masukkan perintah berikut.
```
DESCRIBE `${catalog_name}`.`${project_name}`.`${logstore_name}`;
```
Parameter
Deskripsi
${catalog_name}
Nama Katalog SLS.
${project_name}
Nama proyek SLS.
${logstore_name}
Nama Logstore SLS.
Pilih kode yang digunakan untuk menampilkan katalog, lalu klik Run di sebelah kiri nomor baris.
Jika berhasil dieksekusi, Anda dapat melihat detail tabel pada hasilnya.

Gunakan Katalog SLS

Sebagai tabel sumber untuk membaca data dari Logstore SLS.
```
INSERT INTO ${other_sink_table}
SELECT...
FROM `${catalog_name}`.`${project_name}`.`${logstore_name}`/*+OPTIONS('startTime'='2023-06-01 00:00:00')*/;
```
Catatan
Untuk menentukan parameter tambahan WITH saat menggunakan tabel dari Katalog SLS, gunakan SQL Hints untuk menambahkan parameter tersebut. Sebagai contoh, pernyataan SQL di atas menggunakan SQL Hints untuk menentukan bahwa konsumsi data dimulai dari '2023-06-01 00:00:00'. Untuk informasi selengkapnya mengenai parameter lainnya, lihat Simple Log Service connector.

Sebagai tabel sink untuk menulis data ke Logstore SLS.

INSERT INTO `${catalog_name}`.`${project_name}`.`${logstore_name}`
SELECT ... 
FROM ${other_source_table}

Penting

Sebelum membaca dari Logstore sumber atau menulis ke Logstore tujuan, Anda harus mengaktifkan indexing untuk Logstore tersebut. Hal ini karena katalog membaca data dari tabel sink untuk memverifikasi bahwa skema data yang akan ditulis sesuai dengan skema Logstore SLS tujuan. Untuk informasi selengkapnya mengenai cara mengaktifkan indexing, lihat Create an index.

Hapus Katalog SLS

Anda dapat menghapus Katalog SLS melalui UI atau dengan menjalankan perintah SQL. Kami menyarankan menggunakan UI.

Peringatan

Menghapus Katalog SLS tidak memengaruhi pekerjaan yang sedang berjalan. Namun, pekerjaan yang menggunakan tabel dari katalog yang dihapus akan gagal menemukan tabel tersebut saat dipublikasikan atau direstart. Lakukan dengan hati-hati.

Metode UI

Buka halaman Data Management.
1. Login ke Konsol Realtime Computing for Apache Flink.
2. Klik Console di kolom Actions ruang kerja target.
3. Klik Data Management.
Pada halaman Catalog List, klik Delete di kolom Actions di sebelah nama katalog target.
Di pesan konfirmasi yang muncul, klik Delete.
Di area Metadata sebelah kiri, verifikasi bahwa katalog target telah dihapus.

Perintah SQL

Pada editor Data Query, masukkan perintah berikut.
```
DROP CATALOG ${catalog_name};
```
${catalog_name} adalah nama Katalog SLS target yang ingin Anda hapus.
Klik kanan perintah yang menghapus katalog, lalu pilih Run.
Di area Metadata sebelah kiri, periksa apakah katalog target telah dihapus.

Detail informasi tabel dari Katalog SLS

Agar tabel lebih mudah digunakan, Katalog SLS menambahkan parameter konfigurasi default dan metadata ke tabel yang dihasilkannya. Daftar berikut menjelaskan detail tabel yang diperoleh dari Katalog SLS:

Inferensi skema untuk tabel SLS
Saat Katalog SLS mengurai log untuk mendapatkan skema topik, katalog tersebut mengonsumsi satu paket untuk mengurai skema data. Katalog SLS mengurai nama dan tipe field dari log SLS. Karena SLS menyimpan semua data log sebagai string, semua field bertipe String.

Parameter tabel default

Parameter	Deskripsi	Catatan
connector	Jenis konektor.	Nilainya tetap sls.
endpoint	Alamat endpoint.	Untuk informasi lebih lanjut, lihat Endpoint.
proyek	Nama proyek SLS.	Tidak ada.
logstore	Nama Logstore SLS atau metricstore.	Tidak ada.
accessId	ID AccessKey akun Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Cara melihat ID AccessKey dan Rahasia AccessKey. Penting Untuk melindungi informasi AccessKey Anda, gunakan manajemen rahasia untuk menentukan nilai ID AccessKey. Untuk informasi selengkapnya, lihat Manage variables.
accessKey	Rahasia AccessKey akun Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Cara melihat ID AccessKey dan Rahasia AccessKey? Penting Untuk melindungi informasi AccessKey Anda, gunakan manajemen rahasia untuk menentukan nilai Rahasia AccessKey. Untuk informasi selengkapnya, lihat Manage variables.

Parameter	Deskripsi
${catalog_name}	Nama Katalog SLS.
${project_name}	Nama proyek SLS.
${logstore_name}	Nama Logstore SLS.