Hologres:Membangun dasbor analisis gudang data waktu nyata dengan cepat

Prosedur

1. Dapatkan data sumber.

   Dapatkan data sumber dari DataHub atau log layanan lainnya.

   Untuk tujuan demonstrasi, tutorial ini menghasilkan data langsung dari Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Langkah 3.

2. Buat tabel tujuan di Hologres.

   Gunakan HoloWeb untuk membuat tabel data real-time. Skema tabel harus sesuai dengan bidang dan tipe data dari tabel sumber. Untuk informasi selengkapnya, lihat Hubungkan ke HoloWeb dan jalankan kueri. Pernyataan SQL berikut memberikan contoh.

   BEGIN;
   CREATE TABLE public.order_details (
   "user_id" int8,
   "user_name" text,
   "item_id" int8,
   "item_name" text,
   "price" numeric(38,2),
   "province" text,
   "city" text,
   "ip" text,
   "longitude" text,
   "latitude" text,
   "sale_timestamp" timestamptz NOT NULL
   );
   CALL SET_TABLE_PROPERTY('public.order_details','orientation', 'column');
   CALL SET_TABLE_PROPERTY('public.order_details','clustering_key', 'sale_timestamp:asc');
   CALL SET_TABLE_PROPERTY('public.order_details','segment_key', 'sale_timestamp');
   CALL SET_TABLE_PROPERTY('public.order_details','bitmap_columns', 'user_name,item_name,province,city,ip,longitude,latitude');
   CALL SET_TABLE_PROPERTY('public.order_details','dictionary_encoding_columns','user_name:auto,item_name:auto,province:auto,city:auto,ip:auto,longitude:auto,latitude:auto');
   CALL SET_TABLE_PROPERTY('public.order_details','time_to_live_in_seconds', '3153600000');
   CALL SET_TABLE_PROPERTY('public.order_details','distribution_key', 'user_id');
   CALL SET_TABLE_PROPERTY('public.order_details','storage_format', 'orc');
   COMMIT;

3. Di Realtime Compute for Apache Flink console, unggah resource JAR konektor kustom ordergen. Untuk informasi lebih lanjut, lihat Upload and use a custom connector.

4. Bersihkan data menggunakan Realtime Compute for Apache Flink.

   Di Realtime Compute for Apache Flink console, buat pekerjaan untuk membersihkan dan mengagregasi data sumber. Pekerjaan tersebut kemudian menggunakan API HoloHub untuk menulis data ke Hologres secara waktu nyata. Untuk informasi lebih lanjut, lihat Job development overview. Pernyataan SQL berikut merupakan contohnya.

   CREATE TEMPORARY TABLE source_table (
   user_id BIGINT,
   user_name VARCHAR,
   item_id BIGINT,
   item_name VARCHAR,
   price numeric (38, 2),
   province VARCHAR,
   city VARCHAR,
   longitude VARCHAR,
   latitude VARCHAR,
   ip VARCHAR,
   sale_timestamp TIMESTAMP
    )
   WITH ('connector' = 'ordergen');
   
   CREATE TEMPORARY TABLE hologres_sink (
   user_id BIGINT,
   user_name VARCHAR,
   item_id BIGINT,
   item_name VARCHAR,
   price numeric (38, 2),
   province VARCHAR,
   city VARCHAR,
   longitude VARCHAR,
   latitude VARCHAR,
   ip VARCHAR,
   sale_timestamp TIMESTAMP
    )
   WITH (
   'connector' = 'hologres',
   'dbname' = '<holo_db>',
   'tablename' = '<receive_table>',
   'username' = '<uid>',
   'password' = '<pid>',
   'endpoint' = '<host>'
    );
   
   INSERT INTO hologres_sink
   SELECT user_id,
    user_name,
    item_id,
    item_name,
    price,
    province,
    city,
    longitude,
    latitude,
    ip,
    sale_timestamp
   FROM
   source_table;

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi
   holo_db	Nama database Hologres.
   receive_table	Nama tabel tujuan di Hologres. Dalam tutorial ini, yaitu public.order_details.
   uid	ID AccessKey Akun Alibaba Cloud Anda.
   pid	Rahasia AccessKey Akun Alibaba Cloud Anda.
   host	Nama domain untuk titik akhir VPC dari instans Hologres. Temukan nama domain ini di bagian Network Information pada halaman Detail Instans di Hologres console.

5. Di halaman Deployments pada Realtime Compute for Apache Flink console, mulai pekerjaan tersebut dan tunggu hingga statusnya menjadi Running. Untuk informasi lebih lanjut, lihat Start a job.

6. Kueri data secara waktu nyata di Hologres.

   Jalankan kueri di Hologres untuk menganalisis data waktu nyata dari berbagai dimensi. Pernyataan SQL berikut merupakan contohnya.

   SELECT SUM(price) AS "GMV" FROM order_details ;
   
   SELECT COUNT(DISTINCT user_id) AS "UV" FROM order_details ;
   
   SELECT city AS "City", COUNT(DISTINCT user_id) AS "CustomerCount" FROM order_details GROUP BY "City" ORDER BY "CustomerCount" DESC limit 100;
   
   SELECT item_name AS "Product", SUM(price) AS "SalesAmount" FROM order_details GROUP BY "Product" ORDER BY "SalesAmount" DESC limit 100;
   
   SELECT to_char(sale_timestamp, 'MM-DD') AS "Date", SUM(price) AS "GMV" FROM order_details GROUP BY "Date" ORDER BY "GMV" DESC limit 100;                

7. Tampilkan dasbor DataV waktu nyata.

   Buat dasbor waktu nyata dengan menghubungkan hasil kueri Hologres langsung ke DataV. Ikuti langkah-langkah berikut:

   1. Tambahkan sumber data.

      1. Di DataV console, navigasi ke Data Preparation > Data Source di panel navigasi sebelah kiri. Di halaman Data Source, klik Add Source.

      2. Di panel Add Data Source, konfigurasikan parameter untuk sumber data Hologres.

      3. Klik OK.

   2. Buat dasbor waktu nyata.

      Pilih komponen yang Anda butuhkan untuk dasbor dan konfigurasikan sumber datanya. Untuk informasi lebih lanjut, lihat Overview.

      Tutorial ini menggunakan grafik kolom dasar, carousel, peta datar dasar, dan papan ticker. Langkah-langkah berikut menggunakan papan ticker sebagai contoh.

      1. Konfigurasikan sumber data.

      2. Konfigurasikan border, font, dan warna untuk papan ticker. Pratinjau komponen menampilkan dekorasi border, teks judul, dan nilai numerik secara waktu nyata.

   3. Tampilkan dasbor waktu nyata.

      Setelah mengonfigurasi komponen dasbor dan sumber data, Anda dapat menambahkan elemen dekoratif untuk menyesuaikan tampilan.

      • Sisi kiri menampilkan jumlah kunjungan produk dan jumlah penjualan kota secara waktu nyata.

      • Peta di tengah menampilkan lokasi setiap pesanan, jumlah total penjualan, dan jumlah total kunjungan secara waktu nyata.

      • Sisi kanan menampilkan pangsa penjualan dan peringkat penjualan produk secara waktu nyata.