Cara menulis data dari SLS ke Hologres secara real-time - Hologres

Anda dapat menulis data dari Simple Log Service ke Hologres dengan berbagai cara. Topik ini menjelaskan cara menyinkronkan data dari Simple Log Service ke Hologres secara real-time menggunakan Realtime Compute for Apache Flink atau DataWorks.

Prasyarat

Layanan Log telah diaktifkan, dan sebuah project serta Logstore telah dibuat. Untuk informasi lebih lanjut, lihat Memulai.
Instans Hologres telah dibeli dan terhubung ke alat pengembangan. Untuk informasi lebih lanjut, lihat Prosedur penggunaan Hologres.
Realtime Compute for Apache Flink telah diaktifkan, dan sebuah project telah dibuat jika Anda ingin menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Aktifkan Flink yang sepenuhnya dikelola dan Buat dan kelola namespace.
DataWorks telah diaktifkan, dan sebuah ruang kerja telah dibuat jika Anda ingin menulis data dari Layanan Log ke Hologres menggunakan DataWorks. Untuk informasi lebih lanjut, lihat Panduan pembelian DataWorks dan Buat ruang kerja.

Informasi latar belakang

Simple Log Service adalah platform observabilitas dan analitik cloud-native yang menyediakan layanan berskala besar, berbiaya rendah, dan real-time untuk memproses berbagai jenis data seperti log, metrik, dan jejak. Simple Log Service memungkinkan Anda mengumpulkan, memproses, mengkueri, menganalisis, memvisualisasikan, mengonsumsi, dan mengirimkan data. Anda dapat mengonfigurasi alert di Konsol Simple Log Service. Simple Log Service membantu perusahaan meningkatkan kemampuan digital mereka dalam hal R&D, O&M, dan keamanan data.

Hologres dirancang untuk menyediakan mesin komputasi real-time berperforma tinggi, andal, hemat biaya, dan sangat skalabel. Hologres menyediakan solusi gudang data real-time yang mendukung pengelolaan volume data besar serta layanan kueri interaktif dengan respons sub-detik. Hologres banyak digunakan dalam skenario seperti pembangunan mid-end data real-time, analisis detail halus, analisis self-service, pembuatan profil pemasaran, pengelompokan audiens, dan kontrol risiko real-time. Anda dapat menulis data dari Simple Log Service ke Hologres secara cepat untuk analisis dan kueri real-time, sehingga membantu memaksimalkan nilai data bagi bisnis Anda.

Tulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink

Siapkan data di Simple Log Service.

Data simulasi yang disediakan oleh Simple Log Service digunakan sebagai data sumber dalam contoh ini. Data tersebut dihasilkan dengan mensimulasikan log login dan konsumsi pada platform game. Anda juga dapat menggunakan data bisnis Anda sendiri.
1. Masuk ke Konsol Simple Log Service.
2. Di bagian Import Data, klik tab Simulated Data Import.
3. Pada tab Simulated Data Import, klik Simulation di bagian Game Operation Logs.
4. Pada halaman Specify Logstore, pilih sebuah project dan sebuah Logstore, lalu klik Next.
5. Pada langkah Simulated Data Import , konfigurasikan parameter terkait rentang waktu dan frekuensi, lalu klik Import.
6. Gambar berikut menunjukkan field dan data simulasi yang dapat Anda kueri. Untuk informasi lebih lanjut, lihat Kueri dan analisis log.
  
  Kolom content bertipe JSON. Tabel hasil kueri berisi total 131.650 catatan log login simulasi dengan field berikut: __source__ (nilai: 127.0.0.1), __topic__ (nilai: game_op_log), content (struktur JSON yang berisi field auth), operation (nilai: login), timestamp, dan uid (ID pengguna dalam format UUID).
Buat tabel di Hologres.
Buat tabel yang digunakan untuk menerima data di Hologres. Anda dapat membuat indeks untuk field-field dalam tabel berdasarkan kebutuhan kueri Anda. Hal ini membantu meningkatkan efisiensi kueri. Untuk informasi lebih lanjut tentang indeks, lihat Ikhtisar. Pernyataan DDL berikut digunakan untuk membuat tabel:
```
CREATE TABLE sls_flink_holo (
    content JSONB ,
    operation TEXT,
    uid TEXT,
    topic  TEXT ,
    source TEXT ,
    c__timestamp TIMESTAMPTZ,
    receive_time BIGINT,
    PRIMARY KEY (uid)
  );
```

Gunakan Realtime Compute for Apache Flink untuk menulis data ke Hologres.

Lakukan langkah-langkah berikut untuk menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink:

Baca data dari Simple Log Service menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Buat tabel sumber Simple Log Service.
Tulis data ke Hologres menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Buat tabel hasil Hologres.

Contoh job SQL berikut memberikan ilustrasi cara menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink. Field berformat JSON ditulis langsung sebagai tipe data JSON di tabel Hologres. Tipe data JSON tersebut berkorespondensi dengan tipe VARCHAR di Realtime Compute for Apache Flink.

Catatan

Untuk informasi lebih lanjut tentang cara membuat dan menjalankan job SQL di Realtime Compute for Apache Flink, lihat Kembangkan draft SQL dan Mulai penerapan.
Jika data yang dibaca dari Simple Log Service berisi data berformat JSON, Anda dapat mengurai data tersebut sebelum menulisnya ke Realtime Compute for Apache Flink. Anda juga dapat langsung menulis data berformat JSON dari Simple Log Service ke Hologres.

CREATE TEMPORARY TABLE sls_input (
    content STRING,
    operation STRING,
    uid STRING,
    `__topic__` STRING METADATA VIRTUAL,
    `__source__` STRING METADATA VIRTUAL,
    `__timestamp__` BIGINT METADATA VIRTUAL,
    `__tag__` MAP<VARCHAR, VARCHAR> METADATA VIRTUAL
  )
WITH (
    'connector' = 'sls',
    'endpoint' = 'Internal endpoint of the Simple Log Service project',-- Titik akhir internal yang digunakan untuk mengakses project Simple Log Service.
    'accessid'='AccessKey ID of your Alibaba Cloud account',-- ID AccessKey Akun Alibaba Cloud Anda.
    'accesskey'='AccessKey secret of your Alibaba Cloud account',-- Rahasia AccessKey Akun Alibaba Cloud Anda.
    'starttime' = '2024-08-30 00:00:00',-- Waktu mulai konsumsi log.
    'project'='Project name',-- Nama project Simple Log Service.
    'logstore'='Logstore name'-- Nama Logstore.
  );

CREATE TEMPORARY TABLE hologres_sink (
    content VARCHAR,
    operation VARCHAR,
    uid VARCHAR,
    topic  STRING ,
    source STRING ,
    c__timestamp TIMESTAMP ,
    receive_time BIGINT
  )
WITH (
    'connector' = 'hologres',
    'dbname'='Name of the Hologres database',-- Nama database Hologres.
    'tablename'='Name of the Hologres table',-- Nama tabel Hologres tempat Anda menulis data.
    'username'='AccessKey ID of your Alibaba Cloud account',-- ID AccessKey Akun Alibaba Cloud Anda.
    'password'='AccessKey secret of your Alibaba Cloud account',-- Rahasia AccessKey Akun Alibaba Cloud Anda.
    'endpoint'='VPC endpoint of your Hologres instance.'-- Titik akhir VPC instans Hologres Anda.
  );

INSERT INTO hologres_sink
SELECT
   content,
   operation,
   uid,
   `__topic__` ,
   `__source__` ,
    CAST (
    FROM_UNIXTIME (`__timestamp__`) AS TIMESTAMP
  ),
   CAST (__tag__['__receive_time__'] AS BIGINT) AS receive_time
FROM
  sls_input;

Kueri data di Hologres.

Kueri data di Hologres yang ditulis dari SLS menggunakan Flink. Anda kemudian dapat melanjutkan pengembangan data sesuai kebutuhan bisnis Anda. Jalankan pernyataan SELECT * FROM sls_flink_holo;. Hasil kueri mencakup field seperti content, operation, uid, topic, source, dan c_timestamp. Hasil tersebut mengonfirmasi bahwa data log operasi game dari SLS, seperti catatan deposit, logout, dan login, berhasil ditulis ke Hologres oleh Flink.

Tulis data ke Hologres menggunakan DataWorks

Siapkan data di Simple Log Service.

Data simulasi yang disediakan oleh Simple Log Service digunakan sebagai data sumber dalam contoh ini. Data tersebut dihasilkan dengan mensimulasikan log login dan konsumsi pada platform game. Anda juga dapat menggunakan data bisnis Anda sendiri.
1. Masuk ke Konsol Simple Log Service.
2. Di bagian Import Data, klik tab Simulated Data Import.
3. Pada tab Simulated Data Import, klik Simulation di bagian Game Operation Logs.
4. Pada halaman Specify Logstore, pilih sebuah project dan sebuah Logstore, lalu klik Next.
5. Pada langkah Simulated Data Import , konfigurasikan parameter terkait rentang waktu dan frekuensi, lalu klik Import.
6. Gambar berikut menunjukkan field dan data simulasi yang dapat Anda kueri. Untuk informasi lebih lanjut, lihat Kueri dan analisis log.
  
  Kolom content bertipe JSON. Tabel hasil kueri berisi total 131.650 catatan log login simulasi dengan field berikut: __source__ (nilai: 127.0.0.1), __topic__ (nilai: game_op_log), content (struktur JSON yang berisi field auth), operation (nilai: login), timestamp, dan uid (ID pengguna dalam format UUID).
Buat tabel di Hologres.
Buat tabel yang digunakan untuk menerima data di Hologres. Anda dapat membuat indeks untuk field-field dalam tabel berdasarkan kebutuhan kueri Anda. Hal ini membantu meningkatkan efisiensi kueri. Untuk informasi lebih lanjut tentang indeks, lihat Ikhtisar. Pernyataan DDL berikut digunakan untuk membuat tabel:
Catatan
- Dalam contoh ini, field uid dikonfigurasi sebagai primary key yang digunakan untuk mengidentifikasi data secara unik. Anda dapat mengonfigurasi primary key sesuai kebutuhan bisnis Anda.
- Field uid juga dikonfigurasi sebagai distribution key. Dengan demikian, catatan data yang memiliki nilai field uid yang sama akan ditulis ke shard yang sama. Hal ini membantu meningkatkan performa kueri.
```
BEGIN;
CREATE  TABLE sls_dw_holo (
    content JSONB ,
    operation TEXT,
    uid TEXT,
    C_Topic  TEXT ,
    C_Source TEXT ,
    timestamp BIGINT,
    PRIMARY KEY (uid)
  );
  CALL set_table_property('sls_dw_holo', 'distribution_key', 'uid');
  CALL set_table_property('sls_dw_holo', 'event_time_column', 'timestamp');
COMMIT;
                        
```
Konfigurasikan sumber data.
Sebelum menulis data ke Hologres menggunakan layanan Data Integration milik DataWorks, Anda harus menambahkan sumber data Simple Log Service dan sumber data Hologres di ruang kerja DataWorks yang ditentukan.
- Konfigurasikan sumber data LogHub Layanan Log. Untuk informasi lebih lanjut, lihat Tambahkan sumber data LogHub (SLS).
- Konfigurasikan sumber data Hologres. Untuk informasi lebih lanjut, lihat Tambahkan sumber data Hologres.
Sinkronkan data dari Simple Log Service ke Hologres secara real-time.

Buat node sinkronisasi real-time dan jalankan node tersebut di Data Integration. Untuk informasi lebih lanjut, lihat Buat node sinkronisasi real-time untuk menyinkronkan data inkremental dari satu tabel dan O&M untuk node sinkronisasi real-time.

Dalam contoh ini, task sinkronisasi real-time menggunakan sumber data Loghub sebagai input dan sumber data Hologres sebagai output. Pemetaan field berikut dikonfigurasi. Di kotak dialog Field Mapping, petakan field sumber ke field tujuan: content→content, operation→operation, uid→uid, C_Topic→c_topic, C_Source→c_source, dan timestamp→timestamp. Anda dapat menambahkan pemetaan dengan cepat dengan mengklik Same-name Mapping atau Same-line Mapping. Setelah mengonfigurasi pemetaan, klik OK.
Kueri data di Hologres.

Setelah task sinkronisasi real-time mulai berjalan, Anda dapat mengkueri data SLS yang ditulis ke Hologres oleh Data Integration DataWorks. Di editor SQL, masukkan pernyataan kueri SELECT * FROM sls_dw_holo; lalu klik Run. Hasil kueri menampilkan data log operasi game dari SLS yang ditulis ke tabel, termasuk field seperti content, operation, uid, c_topic, c_source, dan timestamp.