:Tata Kelola Otomatis Tampilan Material

Fitur

Fitur tata kelola otomatis tampilan material di DataWorks bergantung pada fitur tampilan material dari MaxCompute. Fitur ini memindai dan mengidentifikasi subquery serupa dalam Pernyataan SQL MaxCompute di skenario penjadwalan DataWorks. DataWorks kemudian menggunakan subquery tersebut untuk merekomendasikan pernyataan SQL pembuatan tampilan yang dapat digunakan untuk membuat tampilan material secara efisien.

Setelah tampilan dibuat, DataWorks secara otomatis membuat node yang menghasilkan data tampilan dan menerapkannya ke lingkungan produksi untuk penjadwalan. Node yang awalnya memiliki subquery serupa ditentukan sebagai node turunan dari node yang menghasilkan data tampilan. DataWorks menjadwalkan node yang menghasilkan data tampilan berdasarkan dependensi penjadwalan. Saat node turunan menggunakan subquery publik, node tersebut menanyakan data dari tampilan material yang telah menghasilkan data, mengurangi perhitungan data berulang untuk tujuan tata kelola.

Fitur tata kelola otomatis tampilan material di DataWorks tersedia di wilayah berikut: China (Hangzhou), China (Shanghai), China (Shenzhen), China (Beijing), dan China (Chengdu).

Prasyarat

• Sumber data MaxCompute telah ditambahkan. Untuk informasi lebih lanjut, lihat Tambahkan sumber data MaxCompute.

• Fitur analisis cerdas pada tampilan material diaktifkan di MaxCompute. Untuk informasi lebih lanjut, lihat Rekomendasi dan manajemen tampilan material.

Proses Penggunaan

1. Aktifkan fitur rekomendasi cerdas pada tampilan material.

   Setelah mengaktifkan fitur rekomendasi cerdas pada tampilan material untuk Proyek MaxCompute yang terkait dengan DataWorks Data Studio, rekomendasi untuk membuat tampilan material akan dihasilkan dan ditampilkan di tab Rekomendasi Tampilan Material jika kondisi berikut terpenuhi:

   • Tugas yang dipicu otomatis dijalankan selama setidaknya tiga hari berturut-turut.

   • Jumlah baris data masukan dalam subquery publik lebih besar dari 1.000.000.

   • Subquery publik berisi operator yang terkait dengan reorganisasi data, seperti operator join atau agregasi.

2. Lihat rekomendasi dan buat tampilan material.

   Anda dapat memeriksa validitas rekomendasi dan membuat serta mengelola tampilan material.

   Jika Anda mengonfigurasikan parameter di bagian Create Materialized View Refresh Node dan Add Materialized View Refresh Node as Ancestor Node saat membuat tampilan material, tampilan material yang dibuat akan berlaku dalam skenario penjadwalan di DataWorks.

   Node refresh tampilan material secara otomatis ditambahkan sebagai node leluhur dari node yang memiliki logika komputasi serupa. Saat node leluhur atau node yang menghasilkan tabel sumber menghasilkan output baru, tampilan material diperbarui untuk menghasilkan data terbaru bagi node turunan untuk ditanyakan.

3. Kelola tampilan material.

   Anda dapat melihat penggunaan tampilan material di ruang kerja saat ini dan menganalisis atau menghapus tampilan material yang output datanya tidak sesuai harapan.

Langkah 1: Aktifkan atau nonaktifkan fitur rekomendasi cerdas pada tampilan material

1. Pergi ke halaman Pusat Tata Kelola Data.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and Governance > Data Governance Center. Di halaman yang muncul, klik Go to Data Governance Center.

2. Di bilah navigasi atas halaman Pusat Tata Kelola Data, klik Workbench. Di panel navigasi kiri, klik Materialized View.

3. Di halaman Tampilan Material, pilih ruang kerja dari daftar drop-down Workspace dan klik Settings for Materialized View Recommendation. Dalam kotak dialog Pengaturan untuk Rekomendasi Tampilan Material, nyalakan saklar di kolom Rekomendasi Tampilan Material Cerdas untuk proyek-proyek yang ingin Anda aktifkan fitur rekomendasi cerdas pada tampilan material.

   

Langkah 2: Lihat tampilan material yang direkomendasikan

Modul rekomendasi tampilan material dapat secara otomatis mengidentifikasi tampilan material yang dapat dibuat dan tugas komputasi terkait. Pemilik terkait dapat menentukan apakah tampilan material valid dan mengelola proses pembuatannya.

1. Pilih ruang kerja dari daftar drop-down Workspace di bilah navigasi atas dan klik tab Materialized View Recommendation.

2. Ubah kondisi filter, seperti Project dan Analysis Time Interval, untuk memeriksa apakah rekomendasi untuk membuat tampilan material dihasilkan.

   Jika rekomendasi untuk membuat tampilan material tersedia dalam periode waktu yang ditentukan oleh parameter Analysis Time Interval, Anda dapat melihat rekomendasi tersebut.

   

   Parameter:

   • Materialized View Recommendation: pengenal tugas rekomendasi tampilan material. Pengenal mencakup informasi ringkasan tentang subquery publik. Format pengenal: Aggregate: xx; Inputs: xx, xx;.

     • Aggregate: menunjukkan apakah subquery publik yang direkomendasikan berisi operasi agregat.

     • Inputs: mencantumkan nama semua tabel sumber yang digunakan oleh subquery publik.

   • Number of Possibly Affected SQL Statements: jumlah pekerjaan yang menggunakan subquery publik.

   • Possibly Affected Node: jumlah node penjadwalan yang menggunakan subquery publik.

   • Recommendation Rating: tingkat rekomendasi, yang ditentukan oleh pengulangan subquery, kompleksitas subquery, dan jumlah rekaman data masukan.

3. Klik pengenal tugas rekomendasi tampilan material di kolom Materialized View Recommendation untuk melihat detail subquery publik. Detail termasuk source table information, the public subquery, jobs, dan scheduling tasks.

   

Langkah 3: Buat tampilan material

1. Di tab Materialized View Recommendation, tentukan apakah akan membuat tampilan material berdasarkan kebutuhan bisnis dan detail rekomendasi. Untuk membuat tampilan material, temukan rekomendasi berdasarkan mana Anda ingin membuat tampilan material dan klik Create Materialized View di kolom Actions.

2. Di halaman Create Materialized View, konfigurasikan parameter untuk tampilan material.

   1. Di bagian Create Materialized View, buat node refresh tampilan material dan hasilkan tampilan material berdasarkan subquery publik dari tugas masukan.

      Parameter	Deskripsi
      Tabel Masukan	Tabel masukan, yang diperoleh secara otomatis dan tidak perlu dimodifikasi.
      Buat Tampilan Material atau Tidak	Pertama kali Anda membuat tampilan material, nilai default Create Materialized View digunakan. Anda tidak perlu mengubah nilainya. Catatan Jika tampilan material yang memiliki tabel masukan yang sama sudah ada, Anda dapat mengatur parameter menjadi Select Existing Materialized View berdasarkan kebutuhan bisnis Anda.
      Nama Tampilan Material	Nama tampilan material. Anda dapat menentukan nama berdasarkan kebutuhan bisnis Anda.
      Siklus Hidup	Siklus hidup tampilan material. Nilai valid: 1 Day, 7 Days, dan Custom Days.
      Jenis Refresh	Mode refresh tampilan material. Refresh at Fixed Interval Jika tabel tempat Anda ingin membaca data adalah output dari tugas di DataWorks, Mode Cron Manajemen Waktu dipilih secara default. Jika tidak, Refresh pada Interval Tetap dipilih. Time Management Cron Mode Tampilan material diperbarui pada waktu output terbaru dari node yang menghasilkan tabel tempat Anda ingin membaca data. Do Not Refresh
      Pernyataan Pratinjau	Pernyataan SQL tampilan material.

   2. Opsional. Di bagian Create Materialized View Refresh Node, buat node refresh tampilan material. Saat node yang menghasilkan tabel sumber menghasilkan output baru, node refresh tampilan material secara dinamis memperbarui tampilan material untuk mematerialisasikan data terbaru.

      Konfigurasikan parameter Materialized View Refresh Node Name dan Node Running Timeout Period.

   3. Opsional. Di bagian Add Materialized View Refresh Node as Ancestor Node, tambahkan node refresh tampilan material sebagai node leluhur dari node yang memiliki logika komputasi serupa untuk meningkatkan tingkat hit query data inkremental.

      Tugas komputasi yang ditampilkan di bagian ini mencakup tugas di ruang kerja saat ini dan tugas di ruang kerja lain. Anda dapat klik View Details untuk melihat detail tugas komputasi.

      

3. Klik Create and Execute. DataWorks mulai membuat tampilan material. Anda dapat melihat status tampilan material di kolom Operation Status di tab Materialized View Recommendation, atau klik View Details di kolom Actions untuk melihat kemajuan pembuatan.

   • Nilai valid parameter Operation Status:

     • Belum Dibuat: Tampilan material belum dibuat menggunakan DataWorks.

     • Dibuat: Tampilan material telah dibuat.

     • Sedang Dibuat: Proses pembuatan tampilan material menggunakan DataWorks telah dimulai tetapi belum selesai.

     • Gagal Dibuat: Proses pembuatan tampilan material menggunakan DataWorks telah dimulai tetapi gagal.

   • Anda dapat klik View Details untuk melihat detail proses pembuatan tampilan material.

     

Jika Anda mengonfigurasikan parameter di bagian Create Materialized View Refresh Node dan Add Materialized View Refresh Node as Ancestor Node saat membuat tampilan material, node refresh tampilan material ditambahkan sebagai node leluhur dari node yang memiliki logika komputasi serupa. Pemilik node refresh tampilan material adalah akun yang digunakan untuk membuat tampilan material.

Langkah 4: Kelola tampilan material

Anda dapat melihat penggunaan tampilan material di ruang kerja saat ini dan menganalisis atau menghapus tampilan material yang output datanya tidak sesuai harapan.

1. Pilih ruang kerja dari daftar drop-down Workspace di bilah navigasi atas dan klik tab Materialized View Management.

2. Ubah kondisi filter, seperti Project, untuk melihat tampilan material yang dibuat menggunakan rekomendasi.

   

   Penting

   Jika proyek MaxCompute Anda menggunakan metode penagihan bayar sesuai pemakaian untuk kuotanya, total kapasitas komputasi yang dihemat dihitung menggunakan rumus berikut: Jumlah data masukan × Kompleksitas SQL. Biaya untuk pekerjaan SQL MaxCompute dihitung menggunakan rumus berikut: Kapasitas komputasi × Harga satuan. Untuk informasi lebih lanjut, lihat Pricing komputasi (bayar sesuai pemakaian).

   • Klik nama tampilan material di kolom Materialized View untuk melihat detail tampilan material.

     

   • Klik Delete di kolom Actions dari tampilan material untuk menghapus tampilan material.

Contoh Konfigurasi

Siapkan data

1. Tambahkan sumber data MaxCompute dan asosiasikan sumber data dengan DataWorks Data Studio.

2. Buat node beban nol bernama Materialized_View_Test di Data Studio dan tentukan node beban nol sebagai node akar dari node turunan.

3. Dalam contoh ini, buat empat node ODPS di Data Studio.

   Node dws_customer_info_1 dan dws_customer_info_2 menggunakan subquery publik dan mendapatkan data dari node ods_mc_tpc_customer dan ods_mc_tpc_customer_address.

   ods_mc_tpc_customer

   parameter name untuk penjadwalan adalah bday, dan value parameter penjadwalan adalah $[yyyymmdd].

   CREATE TABLE IF NOT EXISTS ods_mc_tpc_customer
   (
       c_customer_sk           BIGINT NOT NULL
       ,c_customer_id          CHAR(16) NOT NULL
       ,c_current_cdemo_sk     BIGINT
       ,c_current_hdemo_sk     BIGINT
       ,c_current_addr_sk      BIGINT
       ,c_first_shipto_date_sk BIGINT
       ,c_first_sales_date_sk  BIGINT
       ,c_salutation           CHAR(10)
       ,c_first_name           CHAR(20)
       ,c_last_name            CHAR(30)
       ,c_preferred_cust_flag  CHAR(1)
       ,c_birth_day            BIGINT
       ,c_birth_month          BIGINT
       ,c_birth_year           BIGINT
       ,c_birth_country        VARCHAR(20)
       ,c_login                CHAR(13)
       ,c_email_address        CHAR(50)
       ,c_last_review_date_sk  CHAR(10)
   )
   COMMENT 'TABLE COMMENT'
   PARTITIONED BY (ds STRING COMMENT 'Partition')
   LIFECYCLE 90;
   
   SET odps.namespace.schema=TRUE;
   INSERT OVERWRITE TABLE ods_mc_tpc_customer PARTITION(ds='${bday}')
   select * from BIGDATA_PUBLIC_DATASET.TPCDS_10T.customer;

   ods_mc_tpc_customer_address

   parameter name untuk penjadwalan adalah bday, dan value parameter penjadwalan adalah $[yyyymmdd].

   CREATE TABLE IF NOT EXISTS ods_mc_tpc_customer_address
   (
       ca_address_sk           BIGINT NOT NULL
       ,ca_address_id          CHAR(16) NOT NULL
       ,ca_street_number       CHAR(10)
       ,ca_street_name         VARCHAR(60)
       ,ca_street_type         CHAR(15)
       ,ca_suite_number        CHAR(10)
       ,ca_city                VARCHAR(60)
       ,ca_county              VARCHAR(30)
       ,ca_state               CHAR(2)
       ,ca_zip                 CHAR(10)
       ,ca_country             VARCHAR(20)
       ,ca_gmt_offset          DECIMAL(5,2)
       ,ca_location_type       CHAR(20)
   )
   COMMENT 'TABLE COMMENT'
   PARTITIONED BY (ds STRING COMMENT 'Partition')
   LIFECYCLE 90;
   
   SET odps.namespace.schema=TRUE;
   INSERT OVERWRITE TABLE ods_mc_tpc_customer_address PARTITION(ds='${bday}')
   select * from BIGDATA_PUBLIC_DATASET.TPCDS_10T.customer_address;

   dws_customer_info_1

   parameter name untuk penjadwalan adalah bday, dan value parameter penjadwalan adalah $[yyyymmdd].

   CREATE TABLE IF NOT EXISTS dws_customer_info_1
   (
       c_customer_sk           BIGINT NOT NULL
       ,c_customer_id          CHAR(16) NOT NULL
       ,c_first_name           CHAR(20)
       ,c_last_name            CHAR(30)
       ,c_email_address        CHAR(50)
       ,ca_suite_number        CHAR(10)
       ,ca_city                VARCHAR(60)
       ,ca_county              VARCHAR(30)
       ,ca_state               CHAR(2)
   )
   COMMENT 'TABLE COMMENT'
   PARTITIONED BY 
   (
       ds                      STRING COMMENT 'Partition'
   )
   LIFECYCLE 90
   ;
   
   INSERT OVERWRITE TABLE dws_customer_info_1 PARTITION (ds = '${bday}')
   SELECT  t02.c_customer_sk
           ,t02.c_customer_id
           ,t02.c_first_name
           ,t02.c_last_name
           ,t02.c_email_address
           ,t03.ca_suite_number
           ,t03.ca_city
           ,t03.ca_county
           ,t03.ca_state
   FROM    (
               SELECT  *
               FROM    ods_mc_tpc_customer_address 
               WHERE   ds = '${bday}'
           ) t03
   JOIN    (
               SELECT  *
               FROM    ods_mc_tpc_customer
               WHERE   ds = '${bday}'
           ) t02
   ON      t03.ca_address_sk = t02.c_current_addr_sk
   ;

   dws_customer_info_2

   parameter name untuk penjadwalan adalah bday, dan value parameter penjadwalan adalah $[yyyymmdd].

   CREATE TABLE IF NOT EXISTS dws_customer_info_2
   (
       c_customer_sk           BIGINT NOT NULL
       ,c_customer_id          CHAR(16) NOT NULL
       ,c_first_name           CHAR(20)
       ,c_last_name            CHAR(30)
       ,c_email_address        CHAR(50)
       ,ca_suite_number        CHAR(10)
       ,ca_city                VARCHAR(60)
       ,ca_county              VARCHAR(30)
       ,ca_state               CHAR(2)
   )
   COMMENT 'TABLE COMMENT'
   PARTITIONED BY 
   (
       ds                      STRING COMMENT 'Partition'
   )
   LIFECYCLE 90
   ;
   
   INSERT OVERWRITE TABLE dws_customer_info_2 PARTITION (ds = '${bday}')
   SELECT  t02.c_customer_sk
           ,t02.c_customer_id
           ,t02.c_first_name
           ,t02.c_last_name
           ,t02.c_email_address
           ,t03.ca_suite_number
           ,t03.ca_city
           ,t03.ca_county
           ,t03.ca_state
   FROM    (
               SELECT  *
               FROM    ods_mc_tpc_customer_address 
               WHERE   ds = '${bday}'
           ) t03
   JOIN    (
               SELECT  *
               FROM    ods_mc_tpc_customer
               WHERE   ds = '${bday}'
           ) t02
   ON      t03.ca_address_sk = t02.c_current_addr_sk
   ;

4. Save, commit, lalu terapkan node ke lingkungan produksi. Anda dapat melihat dependensi node di Pusat Operasi.

   

Aktifkan tampilan material

1. Aktifkan fitur analisis cerdas pada tampilan material di MaxCompute. Untuk informasi lebih lanjut, lihat Rekomendasi dan Manajemen Tampilan Material.

2. Aktifkan fitur rekomendasi cerdas pada tampilan material di DataWorks Data Governance Center. Untuk informasi lebih lanjut, lihat Langkah 1: Aktifkan atau Nonaktifkan Fitur Rekomendasi Cerdas pada Tampilan Material.

3. Setelah tugas yang dipicu otomatis dijalankan selama lebih dari tiga hari, Anda dapat melihat rekomendasi untuk membuat tampilan material di DataWorks Data Governance Center.

   Catatan

   Data uji yang digunakan dalam contoh ini adalah dataset TPC-DS 10-TBTPC-DS, yang memenuhi persyaratan untuk menghasilkan rekomendasi tampilan material. Jika Anda tidak melihat rekomendasi yang dihasilkan di tab Rekomendasi Tampilan Material, periksa apakah data Anda memenuhi persyaratan berikut:

   • Tugas yang dipicu otomatis dijalankan selama setidaknya tiga hari berturut-turut.

   • Jumlah baris data masukan dalam subquery publik lebih besar dari 1.000.000.

   • Subquery publik berisi operator yang terkait dengan reorganisasi data, seperti operator join atau agregasi.

   

Buat tampilan material

1. Di tab Rekomendasi Tampilan Material, temukan rekomendasi dan klik Create Materialized View di kolom Actions. Untuk informasi lebih lanjut, lihat Langkah 3: Buat Tampilan Material.

   

   Catatan

   Parameter di bagian Create Materialized View Refresh Node dan Add Materialized View Refresh Node as Ancestor Node dikonfigurasikan secara default dan tidak perlu dimodifikasi.

2. Klik Create and Execute. Di tab Materialized View Recommendation, Anda dapat melihat detail pembuatan.

   

3. Setelah tampilan material dibuat, Anda dapat melihat bahwa tampilan material digunakan dalam node penjadwalan saat node dijalankan untuk kedua kalinya. Untuk subquery duplikat, node menanyakan data dari node refresh tampilan material terkait.

   

Referensi

• Untuk informasi tentang cara membuat tampilan material di MaxCompute, lihat Operasi Tampilan Material.

• Untuk informasi tentang cara mengaktifkan fitur analisis cerdas pada tampilan material di MaxCompute, lihat Rekomendasi dan Manajemen Tampilan Material.