Quick BI:Konfigurasikan Mesin Quick

Prasyarat

Anda telah terhubung ke sumber data target. Untuk informasi selengkapnya, lihat Hubungkan ke sumber data.

Batasan

• Hanya pengguna dengan tipe Developer dan peran ruang kerja yang mencakup izin untuk membuat atau mengedit set data yang dapat menggunakan fitur konfigurasi akselerasi.

• Set data lintas-sumber data tidak mendukung pembaruan inkremental.

• Tugas akselerasi yang dipicu secara manual tidak mendukung pembaruan inkremental.

• Jika suatu set data berisi placeholder, hanya tipe 'Accelerated Placeholder' yang didukung oleh akselerasi ekstraksi. Tipe placeholder lainnya tidak didukung untuk akselerasi ekstraksi.

Mode koneksi langsung

Mode koneksi langsung adalah mode kueri default untuk mesin Quick. Semua kueri dikirim langsung ke database atau gudang data yang mendasarinya untuk dieksekusi. Semua database yang terhubung ke Quick BI mendukung mode ini.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, navigasikan ke halaman edit set data seperti yang ditunjukkan pada gambar.

   

3. Pada halaman edit set data, buat set data. Untuk informasi selengkapnya, lihat Buat set data.

   

   Setelah Anda menyimpan set data, kueri analisis data berdasarkan set data ini menggunakan mode koneksi langsung secara default.

Akselerasi ekstraksi

Saat menjalankan terlalu banyak kueri atau menangani volume data besar dalam mode koneksi langsung, database dapat menjadi kelebihan beban, sehingga memperlambat kecepatan kueri. Hal ini dapat memengaruhi rendering dasbor dan efisiensi analisis data. Dalam kasus seperti itu, pertimbangkan untuk menggunakan akselerasi ekstraksi. Akselerasi ekstraksi memiliki fitur-fitur berikut:

• Data diekstraksi secara berkala ke mesin Quick, sehingga ideal untuk data offline, seperti data dengan granularitas harian.

• Mendukung pembaruan inkremental maupun penuh, serta mencakup dua mode: akselerasi tabel penuh dan pra-perhitungan.

• Penyimpanan ekstraksi gratis disediakan:

  • Quick BI Enterprise Standard menyediakan kapasitas akselerasi ekstraksi sebesar 2 GB.

  • Quick BI Pro menyediakan kapasitas akselerasi ekstraksi sebesar 10 GB.

• Batas ekstraksi set data: Batas ekstraksi untuk satu set data adalah 100 juta baris.

• Anda dapat memperluas kapasitas akselerasi ekstraksi untuk Quick BI Enterprise Standard dan Quick BI Pro. Rinciannya sebagai berikut:

  • Penyimpanan harus dibeli dalam penambahan 5 GB (USD 1.000/tahun), hingga maksimum 100 GB.

  • Jika Anda melakukan upgrade dari Quick BI Enterprise Standard ke Quick BI Pro setelah memperluas kapasitas, kapasitas berbayar tetap tidak berubah, sedangkan kapasitas gratis meningkat dari 2 GB menjadi 10 GB.

Langkah-langkah konfigurasi

1. Administrator organisasi mengaktifkan fitur akselerasi ekstraksi.

   1. Masuk ke Konsol Quick BI.

   2. Seperti yang ditunjukkan pada gambar, aktifkan sakelar Extraction acceleration.

      

   3. Klik ikon untuk mengatur batas ekstraksi set data.

      Catatan

      Anda dapat mengatur batas maksimum jumlah baris untuk satu set data guna mengoptimalkan eksekusi tugas. Pengaturan ini berlaku untuk semua set data dalam organisasi. Jika jumlah baris melebihi batas ini, tugas ekstraksi akan gagal. Satu set data dapat mengekstraksi hingga 100.000.000 baris.

      

2. Developer data mengaktifkan dan menggunakan fitur akselerasi ekstraksi untuk set data target.

   1. Pada halaman utama Quick BI, navigasikan ke halaman Set Data seperti yang ditunjukkan pada gambar.

      

   2. Dalam daftar set data, temukan set data target dan klik Acceleration Configuration.

      

      Pada area Acceleration Engine, aktifkan Quick engine dan konfigurasikan parameter berikut:

      

      Jika set data berisi beberapa tabel logis, Anda dapat beralih di antara tabel tersebut untuk mengonfigurasi cakupan ekstraksi dan metode pembaruan masing-masing.

      

      • Extraction settings

        Parameter	Deskripsi
        Extraction mode	Mendukung dua mode: Full table acceleration dan Pre-calculation. Full table acceleration: Sistem mengekstraksi dan mempercepat semua data. Saat diaktifkan, semua kueri dapat dipercepat. Mode ini memerlukan banyak penyimpanan ekstraksi. Jika Anda memiliki penyimpanan yang cukup, kami menyarankan memilih Full table acceleration. Pre-calculation: Sistem mengekstraksi dan mempercepat sebagian data. Saat diaktifkan, sistem melakukan pra-perhitungan terhadap hasil kueri yang sering dijalankan. Ketika pengguna mengakses laporan, hasilnya dikembalikan dengan cepat. Misalnya, untuk tabel ODPS yang dipartisi, Anda dapat memilih pre-calculation untuk hanya mengekstraksi sebagian data, sehingga menghemat penyimpanan dan meningkatkan efisiensi analisis. Catatan Pre-calculation tidak didukung untuk set data dengan beberapa tabel logis.
        Execution frequency	Mendukung dua metode: Manual trigger dan Scheduled acceleration. Pilih Manual trigger untuk menjalankan tugas akselerasi ekstraksi secara manual. Pilih Scheduled acceleration dan konfigurasikan waktu. Akselerasi ekstraksi data kemudian dilakukan secara otomatis setiap bulan, minggu, hari, atau jam.
        Extraction scope	Anda dapat mengekstraksi data dari Full table atau Specified date range. Full table: Memperbarui tabel penuh. Metode pembaruannya adalah pembaruan penuh. Update by specified date range: Anda dapat mengatur date field, date range, dan update method untuk menyesuaikan rentang tanggal untuk akselerasi. Mesin Quick hanya menyimpan data dalam rentang tanggal yang dipilih, misalnya 365 hari terakhir, untuk menghemat ruang penyimpanan.
        Date field	Saat cakupan ekstraksi adalah Update by specified date range, Anda dapat mengatur Date field. Field tanggal dan formatnya harus sesuai dengan format field di database Anda.
        Date range	Saat cakupan ekstraksi adalah Update by specified date range, Anda dapat mengatur Date range. T merepresentasikan waktu partisi terbaru untuk data yang diekstraksi pada hari ini. Hari ini adalah T-0, kemarin adalah T-1, dan lusa adalah T-2.
        Update method	Saat cakupan ekstraksi adalah Full table, metode pembaruan default-nya adalah full update dan tidak dapat diubah. Saat cakupan ekstraksi adalah Update by specified date range, Anda dapat mengatur metode pembaruan menjadi full update atau incremental update. Full update: Setiap akselerasi mengekstraksi semua data dalam rentang yang dipilih. Incremental update: Ekstraksi awal mencakup semua data dalam rentang yang dipilih. Pembaruan berikutnya menambahkan data secara inkremental dari N partisi terbaru.
        Update range preview	Saat cakupan ekstraksi adalah Update by specified date range, Anda dapat melihat pratinjau rentang pembaruan. Jika update method adalah full update, pratinjau rentang pembaruan menunjukkan pembaruan penuh. Jika update method adalah incremental update, pratinjau rentang pembaruan menunjukkan Existing data dan Incremental update.
        Number of incremental partitions	Saat update method adalah incremental update, Anda dapat menetapkan jumlah partisi inkremental. Pastikan jumlah partisi inkremental berada dalam rentang tanggal yang ditentukan.
        Extract calculated fields	Pilih opsi ini untuk mengekstraksi bidang terhitung. Opsi ini dipilih secara default.

      • Dependency settings

        Anda dapat menentukan dependensi untuk tabel dalam set data. Anda harus menentukan field tanggal, format tanggal, dan offset untuk tabel dependensi. Pembaruan hanya dipicu ketika kondisi dependensi terpenuhi.

        Catatan

        • Jika Anda menonaktifkan "Ignore Empty Extractions," tugas akselerasi yang mengekstraksi nol baris akan ditandai sebagai "Failed," dan Anda tidak dapat mengonfigurasi dependensi akselerasi.

        • Setelah Anda mengaktifkan dependensi akselerasi, jika data hulu tidak diperbarui, mesin Quick akan memeriksa status data hulu setiap 10 menit hingga maksimal 2 jam.

        • Nyalakan sakelar dependensi akselerasi.

          

        • Klik tanda plus (+) di sebelah kanan untuk menambahkan konfigurasi yang diperlukan.

          

          Parameter	Deskripsi
          Dependent table	Pilih tabel dari set data saat ini. Pencarian didukung. Arahkan kursor ke nama tabel untuk melihat nama sumber data yang sesuai.
          Date field	Pilih field tanggal dari tabel saat ini.
          Date format	Anda dapat memilih YYYY, YYYYMM, YYYY/MM, YYYY-MM, YYYYMMDD, YYYY-MM-DD, atau YYYY/MM/DD.
          Offset	Tentukan tanggal bisnis untuk tugas polling agar diperiksa. Rentangnya dari T-0 hingga T-10000.

        • Klik tanda plus (+) di sebelah kanan untuk menambahkan lebih banyak dependensi.

        • Anda dapat menghapus pengaturan dependensi.

      • Exception settings

        Catatan

        Jika tugas akselerasi gagal, sistem secara otomatis mencoba ulang tiga kali dengan interval satu jam.

        Parameter	Deskripsi
        Ignore Empty Extractions	Jika Anda mengaktifkan opsi ini, tugas yang mengekstraksi nol baris akan ditandai sebagai "Successful." Jika Anda menonaktifkan opsi ini dan suatu tugas mengekstraksi nol baris, tugas tersebut akan ditandai sebagai "Failed," yang dapat memicu peringatan kegagalan. Anda perlu memantau status pembuatan data hulu.
        Failure Alerts	Saat tugas gagal, Anda dapat mengonfigurasi metode notifikasi dan penerima untuk peringatan. Metode notifikasi yang didukung adalah Email. Penerima: Anda dapat memilih beberapa penerima sekaligus. Penerima harus merupakan Akun Alibaba Cloud dalam organisasi yang sama. Jika nama penerima berwarna abu-abu, artinya tidak ada alamat email yang dikonfigurasi untuk akun tersebut. Pastikan penerima telah mengonfigurasi alamat email. Untuk petunjuknya, lihat Konfigurasikan alamat email penerima.

   3. Setelah Anda mengklik Save, konfigurasi akselerasi mesin Quick selesai.

      Anda dapat melakukan Data Backfill (①), Accelerate Now (②), View Logs (③), atau Modify Configuration (④) untuk set data tersebut.

      

      Parameter	Deskripsi
      Data backfill	Saat skema set data berubah, sistem secara otomatis menyinkronkan skema terbaru ke mesin Quick untuk memastikan akurasi pengisian ulang data. Anda dapat mengatur rentang data untuk pengisian ulang menjadi Full backfill atau Specified range. Full backfill: Menghapus semua data yang ada di mesin dan mengekstraksi ulang. Rentang yang ditentukan backfill: Mendukung penambahan beberapa rentang tanggal. Catatan Jika cakupan ekstraksi set data diatur ke tabel penuh, Anda tidak dapat mengisi ulang rentang tertentu. Saat set data berisi beberapa tabel logis, Anda dapat memilih untuk mengisi ulang data untuk seluruh dataset atau untuk tabel logis tertentu. Jika Anda memilih dataset, pengisian ulang penuh dilakukan untuk seluruh set data secara default. Jika Anda memilih tabel logis tertentu, Anda dapat memilih tabel logis mana yang akan diisi ulang dan menentukan rentang pengisian ulang masing-masing. Catatan Untuk tabel logis yang rentang tanggalnya diatur ke tabel penuh, Anda tidak dapat menentukan rentang khusus untuk pengisian ulang.
      Accelerate Now	Menjalankan tugas akselerasi untuk set data segera.
      View Logs	Lihat log eksekusi untuk set data, termasuk waktu, status, dan durasi.
      Modify Configuration	Ubah konfigurasi mesin Quick yang ada. Perubahan berlaku setelah Anda mengklik Save.

      Saat tugas sedang berjalan atau tertunda, Anda dapat terminate the task.

      

3. Administrator organisasi dan administrator ruang kerja mengelola tugas akselerasi. Untuk informasi selengkapnya, lihat Kelola tugas akselerasi ekstraksi.

4. Analis data membuat laporan dan menganalisis data.

   Setelah konfigurasi selesai, Anda dapat membuat laporan dan melakukan analisis data, seperti analisis ad hoc.

   

   Untuk informasi selengkapnya, lihat Buat analisis ad hoc.

Caching hasil kueri

Mekanisme caching set data dapat mempercepat akses laporan dan mengurangi beban pada database Anda. Misalnya, jika Anda mengaktifkan caching untuk set data, setelah laporan diakses, permintaan berikutnya untuk laporan tersebut dalam durasi cache yang telah ditentukan akan dilayani langsung dari cache tanpa melakukan kueri ulang ke database.

Caching hasil kueri adalah metode yang banyak digunakan dan efektif untuk mempercepat kueri data. Anda dapat mengonfigurasinya untuk set data yang memiliki kueri berulang dalam jendela waktu tertentu, volume data kueri besar, kecepatan kueri lambat, atau kinerja kueri database yang buruk. Fitur ini sangat efektif untuk skenario dengan banyak kueri berulang, seperti dasbor, karena dapat secara signifikan meningkatkan kinerja kueri dan mengurangi bottleneck kueri database. Namun, fitur ini tidak disarankan untuk skenario di mana data sering diperbarui dan laporan harus menampilkan data real-time.

Saat Anda mengaktifkan caching hasil kueri, Anda dapat mengonfigurasi durasi cache yang berbeda. Jika persyaratan kesegaran data tidak per jam, kami menyarankan memilih durasi cache 12 jam.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju ke halaman Set Data.

   

3. Dalam daftar set data, pilih set data target dan konfigurasikan durasi cache-nya.

   

   Anda dapat memilih untuk Follow global caching policy atau mengatur durasi cache Custom.

   1. Saat Anda membuat set data baru, konfigurasi cache default-nya mengikuti kebijakan caching global. Untuk informasi tentang cara mengonfigurasi kebijakan caching global, lihat Konfigurasi cache global.

      

   2. Anda juga dapat menyesuaikan kebijakan caching untuk setiap set data.

      Mengonfigurasi durasi cache yang berbeda menentukan periode validitas cache. Durasi yang didukung adalah: 1 menit, 5 menit, 30 menit, 1 jam, 2 jam, 4 jam, 8 jam, 12 jam, dan 24 jam.

      • Setelah durasi cache yang telah ditentukan berakhir, cache menjadi tidak valid. Cache baru hanya dibuat ketika kueri dipicu pada halaman laporan. Kueri SQL identik berikutnya akan mengambil data dari cache baru tersebut.

      • Caching dilakukan pada tingkat set data. Menghapus cache untuk suatu set data juga menghapus semua data cache grafik terkait. Setelah durasi cache yang telah ditentukan berakhir, semua cache grafik untuk set data ini dihapus.

      • Jika data dasar diperbarui saat cache masih valid, dan laporan perlu menampilkan data terbaru, Anda dapat secara manual menghapus cache hasil sebelum melakukan kueri untuk memastikan data terbaru diambil dari database.

4. Klik Save agar cache kueri berlaku.

Hapus cache

1. Penghapusan cache otomatis

   Cache secara otomatis kedaluwarsa setelah durasi yang dikonfigurasi.

2. Penghapusan cache manual

   1. Hapus cache untuk satu set data

      Pada halaman konfigurasi akselerasi, klik tombol Clear Cache di sebelah Query Result Caching untuk menghapus cache hasil kueri.

      

   2. Hapus cache secara batch

      Pada halaman Set Data, centang kotak di sebelah nama set data yang ingin Anda hapus cache-nya, lalu klik tombol Clear Cache untuk menghapus cache set data yang dipilih.

      

FAQ caching set data

• Mengapa dua grafik dalam dasbor yang sama menampilkan data berbeda meskipun menggunakan field dan kondisi kueri set data yang sama?

  Hal ini dapat terjadi jika set data memiliki caching yang diaktifkan dan kedua grafik ditambahkan pada waktu yang berbeda. Setelah grafik pertama dikonfigurasi, datanya di-cache. Kueri berikutnya dengan kondisi yang sama akan memuat data dari cache selama cache tersebut masih valid. Jika data database dasar diperbarui setelah grafik pertama di-cache, grafik pertama tidak akan mendeteksi perubahan tersebut. Namun, grafik yang baru ditambahkan akan memuat data terbaru dari database, sehingga menyebabkan ketidaksesuaian. Untuk mengatasi hal ini, Anda dapat menonaktifkan caching untuk set data atau secara manual menghapus cache-nya.

• Jika saya mengaktifkan caching global, apakah akan berlaku untuk set data yang sudah ada?

  Ya. Saat Anda mengaktifkan caching global, ini berlaku untuk semua set data yang sudah ada, yang kemudian akan mengikuti kebijakan caching global. Set data baru juga akan memiliki caching global yang diaktifkan secara default.

• Data dalam tabel database sumber untuk laporan Quick BI saya telah diperbarui, tetapi laporan tidak menampilkan data baru. Mengapa?

  Data laporan berasal dari set data, jadi pertama-tama pastikan bahwa data set data tersebut mutakhir. Jika tidak, periksa apakah set data dikonfigurasi dengan caching hasil kueri atau akselerasi ekstraksi. Jika salah satu diaktifkan, kueri akan memprioritaskan pengambilan data dari cache atau penyimpanan akselerasi daripada terhubung langsung ke database.

  Solusi

  • Nonaktifkan caching hasil kueri agar semua kueri langsung menuju database, yang memastikan konsistensi data.

  • Secara manual hapus cache hasil set data. Kueri berikutnya akan mengambil data terbaru dari database dan membuat cache baru.

  • Sesuaikan waktu penghapusan cache otomatis berdasarkan frekuensi pembaruan data bisnis Anda untuk memastikan data terbaru diambil.

  • Jalankan ulang tugas akselerasi ekstraksi atau nonaktifkan, lalu refresh pratinjau set data.

• Set data yang sebelumnya memuat data secara real-time kini mengharuskan saya menghapus cache secara manual untuk melihat data terbaru. Apa yang terjadi?

  Administrator organisasi Anda kemungkinan telah mengaktifkan pengaturan caching global, yang menyebabkan semua set data tanpa kebijakan caching kustom menjadi di-cache. Untuk mengatasi hal ini, administrator organisasi Anda dapat menonaktifkan pengaturan global, atau Anda dapat menuju ke konfigurasi cache set data dan mengatur kebijakan kustom yang sesuai dengan kebutuhan bisnis Anda.

• Di mana data cache set data disimpan?

  Cache menyimpan hasil kueri di server in-memory Quick BI.

Akselerasi nilai dimensi

Saat field dimensi tertentu sering digunakan dalam kontrol kueri dan analisis ad hoc, Anda dapat mengonfigurasi akselerasi nilai dimensi untuk field-field berfrekuensi tinggi ini. Misalnya, jika Anda perlu melakukan kueri detail transaksi berdasarkan nama pelanggan dan nama produk, Anda harus mengonfigurasi akselerasi nilai dimensi untuk field "Customer Name" dan "Product Name" dalam set data Order Details Table.

Asumsikan kedua field ini ada di tabel database customer_info dan product, dengan nama field yang sesuai user_name dan product_name.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju ke halaman Set Data.

   

3. Dalam daftar set data, ikuti langkah-langkah pada gambar untuk memilih set data target dan mengonfigurasi akselerasi nilai dimensi.

   

   Setelah mengaktifkan akselerasi nilai dimensi, asumsikan set data target adalah Order Details Table, dan Anda perlu melakukan kueri detail transaksi pada dasbor berdasarkan nama pelanggan dan nama produk. Anda harus mengonfigurasi akselerasi nilai dimensi untuk kedua field ini.

   

   Asumsikan field nama pelanggan dan nama produk ada di tabel database customer_info dan product, dengan nama field yang sesuai user_name dan product_name. Dalam hal ini, konfigurasinya adalah:

   • Dimensi set data: Customer Name dan Product Name.

   • Tabel konfigurasi: customer_info dan product.

   • Field tabel: customer dan product_name

Konfigurasi cache global

Administrator organisasi Quick BI Enterprise Standard dan Quick BI Pro dapat mengonfigurasi kebijakan caching global. Caching global dinonaktifkan secara default untuk organisasi baru.

1. Anda dapat menuju ke halaman konfigurasi cache global seperti yang ditunjukkan pada gambar.

   

2. Setelah Anda mengaktifkan cache global (①), Anda dapat mengatur durasi cache—yang menentukan berapa lama kueri identik mengembalikan hasil cache (②)—dan Waktu Hapus Otomatis (③).

   

   Catatan

   Durasi cache untuk mengembalikan hasil cache untuk kueri identik dapat diatur menjadi 1 menit, 5 menit, 30 menit, 1 jam, 2 jam, 4 jam, 8 jam, 12 jam, atau 24 jam.

   Cache secara otomatis dihapus setiap 30 menit.

3. Klik Update Configuration untuk menyimpan pengaturan.