Impor data dari Simple Log Service ke Hologres secara real-time - Hologres

Anda dapat menulis data dari Simple Log Service ke Hologres melalui berbagai metode. Topik ini menjelaskan cara menyinkronkan data dari Simple Log Service ke Hologres secara real-time menggunakan Realtime Compute for Apache Flink atau DataWorks.

Prasyarat

Layanan Log telah diaktifkan, dan sebuah Proyek serta penyimpanan log telah dibuat. Untuk informasi lebih lanjut, lihat Memulai.
Sebuah instance Hologres telah dibeli dan terhubung ke alat pengembangan. Untuk informasi lebih lanjut, lihat Prosedur menggunakan Hologres.
Realtime Compute for Apache Flink telah diaktifkan, dan sebuah proyek telah dibuat jika Anda ingin menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Aktifkan Flink yang sepenuhnya dikelola dan Buat dan kelola namespace.
DataWorks telah diaktifkan, dan sebuah ruang kerja telah dibuat jika Anda ingin menulis data dari Layanan Log ke Hologres menggunakan DataWorks. Untuk informasi lebih lanjut, lihat Aktifkan DataWorks dan Buat ruang kerja.

Informasi latar belakang

Simple Log Service adalah platform observabilitas dan analitik berbasis cloud-native yang menyediakan layanan berskala besar, biaya rendah, dan real-time untuk memproses berbagai jenis data seperti log, data deret waktu, dan jejak. Simple Log Service memungkinkan Anda mengumpulkan, memproses, menanyakan, menganalisis, memvisualisasikan, mengonsumsi, dan mengirimkan data. Anda dapat mengonfigurasi peringatan di konsol Simple Log Service. Simple Log Service membantu perusahaan meningkatkan kemampuan digital mereka dalam hal R&D, O&M, dan keamanan data.

Hologres dirancang untuk menyediakan mesin komputasi real-time dengan performa tinggi, keandalan tinggi, efisiensi biaya, dan skalabilitas tinggi. Hologres menyediakan solusi gudang data real-time yang membantu mengelola sejumlah besar data dan layanan kueri interaktif yang dapat merespons dalam sub-detik. Hologres banyak digunakan dalam skenario seperti pembangunan mid-end data real-time, analisis mendetail, analisis mandiri, pengaturan profil pemasaran, pengelompokan audiens, dan kontrol risiko real-time. Anda dapat menulis data dari Simple Log Service ke Hologres dengan cepat untuk analisis dan kueri real-time. Ini membantu mengeksploitasi data untuk bisnis Anda.

Tulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink

Persiapkan data di Simple Log Service.
Data simulasi yang disediakan oleh Simple Log Service digunakan sebagai data sumber dalam contoh ini. Data tersebut dihasilkan dengan mensimulasikan log masuk dan konsumsi platform game. Anda juga dapat menggunakan data bisnis Anda sendiri.
1. Masuk ke konsol Simple Log Service.
2. Di bagian Import Data, klik tab Simulated Data Import.
3. Pada tab Simulated Data Import, klik Simulation di bagian Game Operation Logs.
4. Di langkah Specify Logstore, pilih project dan Logstore, dan klik Next.
5. Di langkah Simulated Data Import , konfigurasikan parameter terkait rentang waktu dan frekuensi, dan klik Import.
6. Gambar berikut menunjukkan bidang simulasi dan data yang dapat Anda tanyakan. Untuk informasi lebih lanjut, lihat Tanyakan dan analisis log.
  Bidang content bertipe data JSON.
Buat tabel di Hologres.
Buat tabel yang digunakan untuk menerima data di Hologres. Anda dapat membuat indeks untuk bidang dalam tabel berdasarkan kebutuhan kueri Anda. Ini membantu meningkatkan efisiensi kueri. Untuk informasi lebih lanjut tentang indeks, lihat Ikhtisar. Pernyataan DDL berikut digunakan untuk membuat tabel:
```
CREATE TABLE sls_flink_holo (
    content JSONB ,
    operation TEXT,
    uid TEXT,
    topic  TEXT ,
    source TEXT ,
    c__timestamp TIMESTAMPTZ,
    receive_time BIGINT,
    PRIMARY KEY (uid)
  );
```

Gunakan Realtime Compute for Apache Flink untuk menulis data ke Hologres.

Lakukan langkah-langkah berikut untuk menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink:

Baca data dari Simple Log Service menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Buat tabel sumber Simple Log Service.
Tulis data ke Hologres menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Buat tabel hasil Hologres.

Contoh pekerjaan SQL berikut memberikan contoh cara menulis data dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink. Bidang berformat JSON ditulis langsung sebagai tipe data JSON di tabel Hologres. Tipe data JSON sesuai dengan tipe VARCHAR di Realtime Compute for Apache Flink.

Catatan

Untuk informasi lebih lanjut tentang cara membuat dan menjalankan pekerjaan SQL di Realtime Compute for Apache Flink, lihat Kembangkan draf SQL dan Mulai penyebaran.
Jika data yang dibaca dari Simple Log Service berisi data berformat JSON, Anda dapat mengurai data tersebut sebelum menulis data ke Realtime Compute for Apache Flink. Anda juga dapat langsung menulis data berformat JSON dari Simple Log Service ke Hologres.

CREATE TEMPORARY TABLE sls_input (
    content STRING,
    operation STRING,
    uid STRING,
    `__topic__` STRING METADATA VIRTUAL,
    `__source__` STRING METADATA VIRTUAL,
    `__timestamp__` BIGINT METADATA VIRTUAL,
    `__tag__` MAP<VARCHAR, VARCHAR> METADATA VIRTUAL
  )
WITH (
    'connector' = 'sls',
    'endpoint' = 'Titik akhir internal dari proyek Simple Log Service',-- Titik akhir internal yang digunakan untuk mengakses proyek Simple Log Service.
    'accessid'='ID AccessKey akun Alibaba Cloud Anda',-- ID AccessKey akun Alibaba Cloud Anda.
    'accesskey'='Rahasia AccessKey akun Alibaba Cloud Anda',-- Rahasia AccessKey akun Alibaba Cloud Anda.
    'starttime' = '2024-08-30 00:00:00',-- Waktu dimulainya konsumsi log.
    'project'='Nama proyek',-- Nama proyek Simple Log Service.
    'logstore'='Nama Logstore'-- Nama Logstore. 
  );

CREATE TEMPORARY TABLE hologres_sink (
    content VARCHAR,
    operation VARCHAR,
    uid VARCHAR,
    topic  STRING ,
    source STRING ,
    c__timestamp TIMESTAMP ,
    receive_time BIGINT
  )
WITH (
    'connector' = 'hologres',
    'dbname'='Nama database Hologres',-- Nama database Hologres. 
    'tablename'='Nama tabel Hologres',-- Nama tabel Hologres ke mana Anda menulis data. 
    'username'='ID AccessKey akun Alibaba Cloud Anda',-- ID AccessKey akun Alibaba Cloud Anda. 
    'password'='Rahasia AccessKey akun Alibaba Cloud Anda',-- Rahasia AccessKey akun Alibaba Cloud Anda 
    'endpoint'='Titik akhir VPC instance Hologres Anda.'-- Titik akhir VPC instance Hologres Anda. 
  );

INSERT INTO hologres_sink
SELECT
   content,
   operation,
   uid,
   `__topic__` ,
   `__source__` ,
    CAST (
    FROM_UNIXTIME (`__timestamp__`) AS TIMESTAMP
  ),
   CAST (__tag__['__receive_time__'] AS BIGINT) AS receive_time
FROM
  sls_input;

Tanyakan data di Hologres.
Anda dapat menanyakan data yang ditulis dari Simple Log Service ke Hologres menggunakan Realtime Compute for Apache Flink. Anda juga dapat mengembangkan data berdasarkan kebutuhan bisnis Anda.

Tulis data ke Hologres menggunakan DataWorks

Persiapkan data di Simple Log Service.
Data simulasi yang disediakan oleh Simple Log Service digunakan sebagai data sumber dalam contoh ini. Data tersebut dihasilkan dengan mensimulasikan log masuk dan konsumsi platform game. Anda juga dapat menggunakan data bisnis Anda sendiri.
1. Masuk ke konsol Simple Log Service.
2. Di bagian Import Data, klik tab Simulated Data Import.
3. Pada tab Simulated Data Import, klik Simulation di bagian Game Operation Logs.
4. Di langkah Specify Logstore, pilih project dan Logstore, dan klik Next.
5. Di langkah Simulated Data Import , konfigurasikan parameter terkait rentang waktu dan frekuensi, dan klik Import.
6. Gambar berikut menunjukkan bidang simulasi dan data yang dapat Anda tanyakan. Untuk informasi lebih lanjut, lihat Tanyakan dan analisis log.
  Bidang content bertipe data JSON.
Buat tabel di Hologres.
Buat tabel yang digunakan untuk menerima data di Hologres. Anda dapat membuat indeks untuk bidang dalam tabel berdasarkan kebutuhan kueri Anda. Ini membantu meningkatkan efisiensi kueri. Untuk informasi lebih lanjut tentang indeks, lihat Ikhtisar. Pernyataan DDL berikut digunakan untuk membuat tabel:
Catatan
- Dalam contoh ini, bidang uid dikonfigurasi sebagai kunci utama yang digunakan untuk mengidentifikasi data secara unik. Anda dapat mengonfigurasi kunci utama berdasarkan kebutuhan bisnis Anda.
- Bidang uid juga dikonfigurasi sebagai kunci distribusi. Dengan cara ini, catatan data yang memiliki nilai yang sama dari bidang uid ditulis ke shard yang sama. Ini membantu meningkatkan kinerja kueri.
```
BEGIN;
CREATE  TABLE sls_dw_holo (
    content JSONB ,
    operation TEXT,
    uid TEXT,
    C_Topic  TEXT ,
    C_Source TEXT ,
    timestamp BIGINT,
    PRIMARY KEY (uid)
  );
  CALL set_table_property('sls_dw_holo', 'distribution_key', 'uid');
  CALL set_table_property('sls_dw_holo', 'event_time_column', 'timestamp');
COMMIT;
                        
```
Konfigurasikan sumber data.
Sebelum Anda menulis data ke Hologres menggunakan layanan Integrasi Data dari DataWorks, Anda harus menambahkan sumber data Simple Log Service dan sumber data Hologres di ruang kerja DataWorks yang ditentukan.
- Konfigurasikan sumber data LogHub Layanan Log. Untuk informasi lebih lanjut, lihat Tambahkan sumber data LogHub (SLS).
- Konfigurasikan sumber data Hologres. Untuk informasi lebih lanjut, lihat Tambahkan sumber data Hologres.
Sinkronkan data dari Simple Log Service ke Hologres secara real-time.
Buat node sinkronisasi real-time dan jalankan node tersebut di Integrasi Data. Untuk informasi lebih lanjut, lihat Buat node sinkronisasi real-time untuk menyinkronkan data tambahan dari satu tabel dan O&M untuk node sinkronisasi real-time.
Dalam contoh ini, Simple Log Service LogHub dikonfigurasi sebagai sumber data sumber dan Hologres dikonfigurasi sebagai sumber data tujuan untuk node sinkronisasi real-time. Pemetaan bidang dikonfigurasikan untuk menyinkronkan data dari sumber ke tujuan. Gambar berikut menunjukkan contoh pemetaan bidang.
Tanyakan data di Hologres.
Setelah node sinkronisasi real-time dijalankan, Anda dapat menanyakan data yang ditulis ke Hologres menggunakan layanan Integrasi Data dari DataWorks di Hologres.