Hologres：Membangun dasbor analisis gudang data real-time dengan cepat

Prosedur

1. Dapatkan data sumber.

   Dapatkan data sumber dari DataHub atau log bisnis lainnya.

   Untuk mempermudah, tutorial ini menghasilkan data langsung dari Realtime Compute for Apache Flink. Untuk informasi selengkapnya, lihat Langkah 3.

2. Buat tabel penerima data di Hologres.

   Gunakan HoloWeb untuk membuat tabel dengan bidang dan tipe data yang sama seperti tabel sumber. Tabel ini akan menerima data real-time. Untuk petunjuk spesifik, lihat Connect to HoloWeb and execute queries. Contoh berikut menunjukkan pernyataan SQL.

   BEGIN;
   CREATE TABLE public.order_details (
   "user_id" int8,
   "user_name" text,
   "item_id" int8,
   "item_name" text,
   "price" numeric(38,2),
   "province" text,
   "city" text,
   "ip" text,
   "longitude" text,
   "latitude" text,
   "sale_timestamp" timestamptz NOT NULL
   );
   CALL SET_TABLE_PROPERTY('public.order_details','orientation', 'column');
   CALL SET_TABLE_PROPERTY('public.order_details','clustering_key', 'sale_timestamp:asc');
   CALL SET_TABLE_PROPERTY('public.order_details','segment_key', 'sale_timestamp');
   CALL SET_TABLE_PROPERTY('public.order_details','bitmap_columns', 'user_name,item_name,province,city,ip,longitude,latitude');
   CALL SET_TABLE_PROPERTY('public.order_details','dictionary_encoding_columns','user_name:auto,item_name:auto,province:auto,city:auto,ip:auto,longitude:auto,latitude:auto');
   CALL SET_TABLE_PROPERTY('public.order_details','time_to_live_in_seconds', '3153600000');
   CALL SET_TABLE_PROPERTY('public.order_details','distribution_key', 'user_id');
   CALL SET_TABLE_PROPERTY('public.order_details','storage_format', 'orc');
   COMMIT;

3. Di Realtime Compute for Apache Flink console, unggah resource JAR connector kustom ordergen. Untuk petunjuk spesifik, lihat Upload and use a custom connector.

4. Data dimurnikan secara real-time.

   Buka Realtime Compute for Apache Flink console. Gunakan Realtime Compute for Apache Flink untuk membersihkan dan mengagregasi data sumber. Kemudian, tulis data tersebut ke Hologres secara real-time menggunakan real-time data API. Untuk petunjuk spesifik, lihat Job development map. Contoh berikut menunjukkan pernyataan SQL.

   CREATE TEMPORARY TABLE source_table (
   user_id BIGINT,
   user_name VARCHAR,
   item_id BIGINT,
   item_name VARCHAR,
   price numeric (38, 2),
   province VARCHAR,
   city VARCHAR,
   longitude VARCHAR,
   latitude VARCHAR,
   ip VARCHAR,
   sale_timestamp TIMESTAMP
    )
   WITH ('connector' = 'ordergen');
   
   CREATE TEMPORARY TABLE hologres_sink (
   user_id BIGINT,
   user_name VARCHAR,
   item_id BIGINT,
   item_name VARCHAR,
   price numeric (38, 2),
   province VARCHAR,
   city VARCHAR,
   longitude VARCHAR,
   latitude VARCHAR,
   ip VARCHAR,
   sale_timestamp TIMESTAMP
    )
   WITH (
   'connector' = 'hologres',
   'dbname' = '<holo_db>',
   'tablename' = '<receive_table>',
   'username' = '<uid>',
   'password' = '<pid>',
   'endpoint' = '<host>'
    );
   
   INSERT INTO hologres_sink
   SELECT user_id,
    user_name,
    item_id,
    item_name,
    price,
    province,
    city,
    longitude,
    latitude,
    ip,
    sale_timestamp
   FROM
   source_table;

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter name	Description
   holo_db	Nama database Hologres.
   receive_table	Nama tabel di Hologres yang menerima data. Dalam topik ini, tabel tersebut adalah public.order_details.
   uid	ID AccessKey Akun Alibaba Cloud Anda.
   pid	Rahasia AccessKey Akun Alibaba Cloud Anda.
   host	Nama domain instans Hologres dalam jaringan VPC yang ditentukan. Buka halaman detail instans di Hologres console untuk mendapatkan nama domain dari bagian Network Information.

5. Buka halaman Job O&M di Realtime Compute for Apache Flink console dan mulai pekerjaan hingga statusnya Berjalan. Untuk informasi selengkapnya, lihat Start a job.

6. Lakukan kueri data secara real-time di Hologres.

   Di Hologres, lakukan kueri data real-time dari berbagai dimensi sesuai kebutuhan. Contoh berikut menunjukkan beberapa kueri.

   SELECT SUM(price) AS "GMV" FROM order_details ;
   
   SELECT COUNT(DISTINCT user_id) AS "UV" FROM order_details ;
   
   SELECT city AS "city", COUNT(DISTINCT user_id) AS "user_count" FROM order_details GROUP BY "city" ORDER BY "user_count" DESC limit 100;
   
   SELECT item_name AS "product", SUM(price) AS "sales_amount" FROM order_details GROUP BY "product" ORDER BY "sales_amount" DESC limit 100;
   
   SELECT to_char(sale_timestamp, 'MM-DD') AS "date", SUM(price) AS "GMV" FROM order_details GROUP BY "date" ORDER BY "GMV" DESC limit 100;                

7. Tampilkan dasbor DataV real-time.

   Hubungkan data yang dikueri dari Hologres langsung ke DataV untuk membuat dasbor real-time. Prosedurnya sebagai berikut:

   1. Tambahkan sumber data.

      1. Buka DataV console. Di panel navigasi sebelah kiri, pilih Data Preparation > Data Source. Di halaman Data Source, klik Add Data Source.

      2. Di panel Add Data Source, konfigurasikan parameter untuk sumber data Hologres.

      3. Klik OK.

   2. Buat dasbor real-time.

      Pilih widget yang diperlukan dan konfigurasikan sumber data berdasarkan konten yang ingin ditampilkan di dasbor. Untuk informasi selengkapnya, lihat Overview.

      Tutorial ini menggunakan grafik batang dasar, carousel, peta datar dasar, dan papan ticker. Contoh berikut menunjukkan cara mengonfigurasi papan ticker.

      1. Konfigurasikan sumber data.

      2. Konfigurasikan border, font, dan warna papan ticker.

   3. Tampilkan dasbor real-time.

      Setelah Anda mengonfigurasi parameter plugin dan sumber data dasbor, Anda dapat menambahkan elemen dekoratif untuk memperkaya tampilan plugin sesuai kebutuhan.

      • Sisi kiri menampilkan kunjungan produk real-time dan penjualan berdasarkan kota.

      • Peta di tengah menampilkan lokasi setiap transaksi, total penjualan, dan total kunjungan secara real-time.

      • Sisi kanan menampilkan proporsi penjualan dan peringkat penjualan produk secara real-time.