Quick BI：Konfigurasi Quick Engine

Prasyarat

Anda telah terhubung ke sumber data target. Untuk informasi selengkapnya, lihat Hubungkan ke sumber data.

Batasan

• Hanya pengguna dengan tipe developer yang memiliki izin membuat atau mengedit set data dalam ruang kerja yang dapat menggunakan fitur konfigurasi akselerasi.

• Pembaruan inkremental tidak didukung untuk set data lintas sumber (cross-source datasets).

• Pembaruan inkremental tidak didukung untuk task akselerasi yang dipicu secara manual.

• Jika suatu set data berisi placeholder, hanya placeholder yang diakselerasi yang mendukung akselerasi ekstraksi Quick Engine. Jenis placeholder lainnya tidak mendukung akselerasi ekstraksi offline.

Mode koneksi langsung

Mode koneksi langsung adalah mode kueri default untuk Quick Engine. Dalam mode ini, semua kueri dikirim ke database atau gudang data dasar untuk dieksekusi. Semua database yang Anda hubungkan ke Quick BI mendukung mode ini.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju halaman pengeditan set data.

   

3. Pada halaman pengeditan set data, buat set data. Untuk informasi selengkapnya, lihat Buat set data.

   

   Setelah Anda menyimpan set data, kueri analitik data yang dibuat berdasarkan set data ini akan menggunakan mode koneksi langsung secara default.

Akselerasi ekstraksi

Jumlah kueri yang tinggi dalam mode koneksi langsung atau volume data yang besar dapat meningkatkan beban database, memperlambat kueri, serta memengaruhi efisiensi tampilan dashboard dan analitik data. Untuk mengatasinya, Anda dapat menggunakan fitur akselerasi ekstraksi dari Quick Engine. Fitur ini mencakup:

• Ekstraksi data secara berkala ke dalam Quick Engine. Mode ini umumnya cocok untuk data offline, seperti data dengan granularitas harian.

• Dukungan ekstraksi inkremental dan penuh melalui dua mode: akselerasi tabel penuh (full table acceleration) dan pra-komputasi (pre-computation).

• Penyediaan penyimpanan ekstraksi gratis:

  • Edisi Premium menyediakan 2 GB penyimpanan akselerasi ekstraksi.

  • Edisi Profesional menyediakan 10 GB penyimpanan akselerasi ekstraksi.

• Satu set data tidak boleh melebihi 100 juta baris data.

• Kapasitas penyimpanan akselerasi ekstraksi untuk Edisi Premium dan Profesional dapat diperluas sebagai berikut:

  • Ekspansi kapasitas harus dibeli dalam satuan 5 GB ($1.000/tahun), dengan ekspansi maksimum hingga 100 GB.

  • Jika Anda melakukan upgrade dari Edisi Premium ke Edisi Profesional setelah memperluas kapasitas, kapasitas penyimpanan berbayar tetap tidak berubah, sedangkan penyimpanan gratis bertambah dari 2 GB menjadi 10 GB.

Langkah-langkah mengonfigurasi akselerasi ekstraksi

1. Administrator organisasi mengaktifkan fitur akselerasi ekstraksi.

   1. Masuk ke Konsol Quick BI.

   2. Ikuti langkah-langkah yang ditunjukkan pada gambar untuk mengaktifkan sakelar Extraction Acceleration.

      

   3. Klik ikon untuk mengatur batas ekstraksi set data.

      Catatan

      Anda dapat mengatur jumlah maksimum baris untuk satu set data guna mengoptimalkan eksekusi task. Pengaturan ini berlaku untuk semua set data dalam organisasi. Jika jumlah baris melebihi nilai maksimum yang ditentukan, task ekstraksi akan gagal. Satu set data dapat memiliki maksimal 100.000.000 baris.

      

2. Developer data mengaktifkan dan menggunakan fitur akselerasi ekstraksi pada set data target.

   1. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju halaman manajemen set data.

      

   2. Dalam daftar set data, pilih set data target dan klik Acceleration Configuration.

      

      Pada bagian Acceleration Engine, aktifkan sakelar Quick Engine dan konfigurasikan parameter berikut:

      

      • Extraction Settings

        Item Konfigurasi	Deskripsi
        Extraction Method	Dua mode komputasi didukung: Full Table Acceleration dan Pre-computation. Full Table Acceleration: Sistem mengekstrak seluruh data dan melakukan komputasi yang dipercepat. Setelah Anda mengaktifkan mode ini, semua kueri dapat dipercepat. Mode ini memiliki persyaratan tinggi terhadap penyimpanan ekstraksi. Jika Anda memiliki kapasitas penyimpanan ekstraksi yang cukup, pilih Full Table Acceleration. Pre-computation: Sistem mengekstrak sebagian data dan melakukan komputasi yang dipercepat. Setelah Anda mengaktifkan mode ini, sistem melakukan pra-perhitungan terhadap hasil kueri frekuensi tinggi. Saat pengguna mengakses laporan, hasil dapat dikembalikan dengan cepat. Misalnya, untuk tabel ODPS yang dipartisi, Anda dapat memilih metode pra-komputasi untuk hanya mengekstrak sebagian data. Hal ini menghemat kapasitas penyimpanan ekstraksi dan meningkatkan efisiensi analisis.
        Execution Frequency	Dua metode didukung: Manual Trigger dan Scheduled Acceleration. Pilih Manual Trigger. Ekstraksi dan akselerasi data hanya dilakukan setelah Anda memicu task secara manual. Pilih Scheduled Acceleration dan konfigurasikan waktu. Ekstraksi dan akselerasi data dilakukan secara bulanan, mingguan, harian, atau per jam.
        Extraction Scope	Anda dapat mengekstrak data dari Full Table Scope atau Specified Date Range. Full Table Scope: Seluruh tabel diperbarui menggunakan pembaruan penuh. Specified Date Range Update: Anda dapat mengatur Date Field, Date Range, dan Update Method untuk menyesuaikan rentang tanggal yang ingin dipercepat. Quick Engine hanya akan menyimpan data dalam rentang tanggal yang dipilih, misalnya 365 hari terakhir. Hal ini menghemat kapasitas penyimpanan.
        Date Field	Saat cakupan ekstraksi adalah Specified Date Range Update, Anda dapat mengatur Date Field. Bidang tanggal dan formatnya harus konsisten dengan format bidang di database.
        Date Range	Saat cakupan ekstraksi adalah Specified Date Range Update, Anda dapat mengatur Date Range. T merepresentasikan waktu partisi terbaru dari data yang diekstrak pada hari ini. Hari ini adalah T-0, kemarin adalah T-1, dan kemarin lusa adalah T-2.
        Update Method	Saat cakupan ekstraksi adalah Full Table Scope, metode pembaruan default adalah Full Update, yang tidak dapat diubah. Saat cakupan ekstraksi adalah Specified Date Range Update, Anda dapat mengatur metode pembaruan menjadi Full Update atau Incremental Update. Full Update: Setiap task akselerasi mengekstrak seluruh data dalam rentang yang dipilih secara penuh. Incremental Update: Task awal mengekstrak seluruh data dari rentang yang dipilih. Task berikutnya memperbarui data partisi terbaru N secara inkremental.
        Update Scope Preview	Saat cakupan ekstraksi adalah Specified Date Range Update, Anda dapat melihat pratinjau cakupan pembaruan. Jika Update Method adalah Full Update, pratinjau cakupan pembaruan menunjukkan pembaruan penuh. Jika Update Method adalah Incremental Update, pratinjau cakupan pembaruan menunjukkan Historical Data dan Incremental Update.
        Number of Partitions for Incremental Update	Saat Update Method adalah Incremental Update, Anda dapat mengatur jumlah partisi untuk pembaruan inkremental. Pastikan jumlah partisi untuk pembaruan inkremental berada dalam rentang tanggal yang ditentukan.
        Extract Calculated Fields	Pilih kotak centang ini untuk mengekstrak bidang terhitung. Opsi ini dipilih secara default.

      • Dependency Settings

        Anda dapat menyesuaikan dependensi tabel dalam set data. Tentukan bidang tanggal, format tanggal, dan offset dari tabel dependensi. Pembaruan hanya dipicu setelah kondisi dependensi terpenuhi.

        Catatan

        • Jika Anda menonaktifkan opsi 'Ignore Empty Extractions', task akselerasi yang mengekstrak nol baris akan ditandai sebagai 'Failed'. Dalam kasus ini, Anda tidak dapat mengonfigurasi dependensi akselerasi.

        • Jika Anda mengaktifkan dependensi akselerasi dan data masukan tidak diperbarui, Quick Engine akan memeriksa status data masukan setiap 10 menit hingga maksimal 2 jam.

        • Aktifkan sakelar dependensi akselerasi.

          

        • Klik tanda plus (+) di sebelah kanan untuk menambahkan konfigurasi yang diperlukan.

          

          Item Konfigurasi	Deskripsi
          Dependent Table	Pilih tabel dari set data saat ini. Anda juga dapat mencari tabel. Arahkan penunjuk mouse ke nama tabel untuk melihat nama sumber data yang sesuai.
          Date Field	Pilih bidang tanggal dari tabel saat ini.
          Date Format	Anda dapat memilih YYYY, YYYYMM, YYYY/MM, YYYY-MM, YYYYMMDD, YYYY-MM-DD, atau YYYY/MM/DD.
          Offset	Atur waktu data untuk task polling agar memeriksa. Rentangnya dari T-0 hingga T-10000.

        • Klik tanda plus (+) di sebelah kanan untuk menambahkan lebih banyak dependensi.

        • Anda dapat menghapus pengaturan dependensi.

      • Exception Settings

        Catatan

        Jika task akselerasi gagal, sistem secara otomatis mencoba ulang sebanyak 3 kali dengan interval 1 jam.

        Item Konfigurasi	Deskripsi
        Ignore Empty Extractions	Jika Anda mengaktifkan opsi ini, status task yang mengekstrak nol baris diatur sebagai "Successful". Jika Anda menonaktifkan opsi ini dan suatu task mengekstrak nol baris, status task diatur sebagai "Failed". Hal ini dapat memicu peringatan kegagalan, dan Anda perlu segera memeriksa status pembuatan data masukan.
        Failure Alert	Saat task gagal, Anda dapat mengonfigurasi metode penerimaan dan penerima untuk peringatan. Metode penerimaan yang didukung adalah Mailbox. Penerima: Anda dapat memilih beberapa penerima sekaligus. Penerima harus merupakan Akun Alibaba Cloud dalam organisasi yang sama. Jika nama penerima berwarna abu-abu, artinya akun tersebut belum mengatur mailbox. Pastikan penerima telah mengonfigurasi mailbox. Untuk informasi tentang cara mengonfigurasi mailbox, lihat Konfigurasi mailbox penerima.

   3. Klik Save. Konfigurasi akselerasi Quick Engine selesai.

      Anda dapat melakukan operasi berikut pada set data: Data Backfill (①), Accelerate Now (②), View Logs (③), atau Modify Configuration (④).

      

      Item Konfigurasi	Deskripsi
      Data Backfill	Saat struktur set data berubah, sistem secara otomatis menyinkronkan struktur terbaru ke Quick Engine untuk memastikan akurasi pengisian ulang data. Anda dapat secara fleksibel mengatur rentang data untuk pengisian ulang di engine menjadi Full Backfill atau Specified Range. Full Backfill: Menghapus data saat ini dan mengekstrak ulang. Pengisian ulang Specified Range: Mendukung pengaturan fleksibel. Anda dapat menambahkan beberapa rentang tanggal.
      Accelerate Now	Segera menjalankan akselerasi untuk set data yang sesuai.
      View Logs	Lihat log set data yang sesuai, termasuk waktu, status, dan durasi.
      Modify Configuration	Ubah konfigurasi asli Quick Engine. Perubahan berlaku setelah Anda mengklik Save.

      Saat task sedang berjalan atau tertunda, Anda dapat mengklik Stop Task.

      

3. Administrator organisasi dan administrator ruang kerja mengelola task akselerasi. Untuk informasi selengkapnya, lihat Kelola task akselerasi ekstraksi.

4. Analis data membuat laporan dan menganalisis data.

   Setelah konfigurasi selesai, Anda dapat membuat laporan dan melakukan analitik data, seperti membuat analisis ad hoc.

   

   Untuk informasi selengkapnya, lihat Buat analisis ad hoc.

Cache kueri

Mekanisme caching set data dapat mempercepat akses laporan dan mengurangi beban database. Misalnya, setelah Anda mengaktifkan cache untuk suatu set data, jika laporan telah diakses sebelumnya, sistem dapat langsung menampilkan data laporan untuk permintaan akses berikutnya dalam periode validitas cache yang ditentukan tanpa menjalankan kueri baru.

Caching hasil kueri merupakan cara umum dan efektif untuk mempercepat kueri data. Anda dapat mengonfigurasi cache kueri untuk set data yang memiliki kueri berulang dalam periode tertentu, volume data kueri besar, kecepatan kueri lambat, atau performa kueri database yang buruk. Fitur ini sangat berguna untuk skenario dengan banyak kueri berulang, seperti tampilan dashboard, karena dapat secara signifikan meningkatkan performa kueri dan mengurangi bottleneck kueri database. Namun, cache hasil kueri tidak cocok untuk skenario di mana data sering diperbarui dan laporan harus menampilkan data real-time.

Saat Anda mengaktifkan cache hasil kueri, Anda dapat mengonfigurasi periode validitas cache yang berbeda. Misalnya, jika data tidak diperbarui setiap jam, Anda dapat memilih periode validitas 12 jam.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju halaman manajemen set data.

   

3. Dalam daftar set data, pilih set data target dan konfigurasikan periode validitas cache.

   

   Anda dapat memilih untuk Follow Global Cache Policy atau Customize periode validitas cache.

   1. Saat Anda membuat set data baru, konfigurasi cache secara default mengikuti kebijakan cache global. Untuk informasi selengkapnya tentang cara mengonfigurasi kebijakan cache global, lihat Konfigurasi cache global.

      

   2. Anda juga dapat menyesuaikan kebijakan cache untuk setiap set data.

      Mengonfigurasi periode validitas cache menentukan berapa lama cache tersebut berlaku. Periode validitas cache yang didukung adalah 1 menit, 5 menit, 30 menit, 1 jam, 2 jam, 4 jam, 8 jam, 12 jam, dan 24 jam.

      • Setelah periode validitas cache yang ditentukan berakhir, cache menjadi tidak valid. Pada titik ini, kueri yang dipicu pada halaman laporan akan membuat cache baru. Kueri SQL identik berikutnya kemudian mengambil data dari cache baru tersebut.

      • Cache berada pada granularitas set data. Menghapus cache akan menghapus semua data grafik yang di-cache yang terkait dengan set data tersebut. Setelah periode validitas cache yang ditentukan berakhir, semua cache grafik untuk set data tersebut dihapus.

      • Dalam periode validitas cache, jika data dasar diperbarui dan laporan harus menampilkan data terbaru, Anda dapat secara manual menghapus cache hasil sebelum melakukan kueri. Hal ini memastikan bahwa data terbaru diambil dari database.

4. Klik Save. Cache kueri mulai berlaku.

Hapus cache

1. Penghapusan cache otomatis.

   Cache secara otomatis menjadi tidak valid setelah periode validitas cache yang dikonfigurasi berakhir.

2. Penghapusan cache manual.

   1. Hapus cache satu set data.

      Pada halaman konfigurasi akselerasi, klik tombol Purge Cache di sebelah kanan Query Result Cache untuk menghapus cache hasil kueri.

      

   2. Hapus cache secara batch.

      Pada halaman daftar set data, pilih kotak centang untuk set data yang ingin Anda hapus cachenya. Kemudian, klik tombol Purge Cache untuk menghapus cache secara batch.

      

FAQ cache set data

• Mengapa dua grafik dalam dashboard yang sama menampilkan data yang tidak konsisten meskipun menggunakan bidang dan kondisi kueri set data yang sama?

  Hal ini dapat terjadi jika set data memiliki caching yang diaktifkan dan kedua grafik ditambahkan pada waktu yang berbeda. Setelah grafik pertama dikonfigurasi, kueri berikutnya memuat data yang di-cache selama cache masih valid dan kondisi kueri tidak berubah. Jika pengguna menambahkan grafik baru setelah data database dasar diperbarui, grafik pertama tidak mencerminkan pembaruan tersebut karena kondisi kuerinya tidak berubah. Namun, grafik baru memuat data terbaru saat dikonfigurasi. Hal ini menyebabkan hasil kueri yang tidak konsisten antara kedua grafik. Untuk mengatasi hal ini, Anda dapat menonaktifkan konfigurasi cache atau secara manual menghapus cache set data.

• Jika saya mengaktifkan cache global, apakah cache tersebut berlaku untuk set data historis yang sudah ada?

  Ya. Setelah Anda mengaktifkan cache global, cache tersebut berlaku untuk semua set data yang sudah ada. Cache global juga diaktifkan secara otomatis untuk set data baru yang Anda buat.

• Data dalam tabel database yang digunakan oleh laporan Quick BI saya telah diperbarui, tetapi laporan tidak mencerminkan perubahan tersebut. Mengapa?

  Data laporan berasal dari set data. Pertama, pastikan apakah data set data telah diperbarui. Jika belum, periksa apakah set data dikonfigurasi dengan cache hasil atau akselerasi ekstraksi. Jika cache hasil atau akselerasi ekstraksi dikonfigurasi, kueri set data mengambil data dari cache atau ekstraksi yang dipercepat terlebih dahulu, bukan terhubung langsung ke database.

  Solusi

  • Nonaktifkan cache hasil kueri. Hal ini memaksa semua kueri menggunakan koneksi langsung ke database, yang menjaga konsistensi data.

  • Secara manual hapus cache hasil set data. Kueri berikutnya akan mengambil data terbaru dari database dan menyimpannya dalam cache.

  • Atur waktu penghapusan cache otomatis yang wajar berdasarkan frekuensi pembaruan data bisnis Anda untuk memastikan kueri mengambil data terbaru.

  • Jalankan ulang task akselerasi ekstraksi atau nonaktifkan akselerasi ekstraksi, lalu refresh pratinjau set data.

• Set data yang sebelumnya memuat data secara real-time kini mengharuskan saya mengklik 'Purge Cache' untuk menampilkan data terbaru. Mengapa?

  Hal ini dapat terjadi jika administrator organisasi Anda telah mengaktifkan pengaturan cache global, yang menyebabkan set data tanpa pengaturan akselerasi khusus menjadi di-cache. Untuk mengatasi hal ini, Anda dapat meminta administrator organisasi untuk menonaktifkan pengaturan cache global, atau Anda dapat menyesuaikan kebijakan cache dalam konfigurasi cache set data.

• Di mana data cache set data disimpan?

  Cache menyimpan hasil kueri pada server in-memory Quick BI.

Akselerasi nilai dimensi

Jika bidang dimensi tertentu sering digunakan dalam kontrol kueri dan analisis ad hoc, Anda dapat mengonfigurasi akselerasi nilai dimensi untuk bidang frekuensi tinggi tersebut. Misalnya, untuk mengkueri detail transaksi berdasarkan nama pelanggan dan nama produk, Anda harus mengonfigurasi akselerasi nilai dimensi untuk bidang nama pelanggan dan nama produk dalam tabel Order Details.

Misalkan kedua bidang tersebut ada dalam tabel database customer_info dan product, dan masing-masing bernama user_name dan product_name.

1. Masuk ke Konsol Quick BI.

2. Pada halaman utama Quick BI, ikuti langkah-langkah pada gambar untuk menuju halaman manajemen set data.

   

3. Dalam daftar set data, ikuti langkah-langkah pada gambar untuk memilih set data target dan mengonfigurasi akselerasi nilai dimensi.

   

   Setelah Anda mengaktifkan akselerasi nilai dimensi, misalkan set data target adalah Order Details. Untuk mengkueri detail transaksi pada dashboard berdasarkan nama pelanggan dan nama produk, Anda harus mengonfigurasi akselerasi nilai dimensi untuk kedua bidang tersebut.

   

   Misalkan bidang nama pelanggan dan nama produk berada dalam tabel database customer_info dan product, masing-masing. Nama bidang yang sesuai adalah user_name dan product_name. Dalam kasus ini:

   • Dimensi Set Data: Nama Pelanggan dan Nama Produk, masing-masing.

   • Tabel Konfigurasi: customer_info dan product, masing-masing.

   • Bidang dalam tabel konfigurasi adalah customer dan product_name, masing-masing.

Konfigurasi cache global

Administrator organisasi Edisi Premium dan Profesional dapat mengonfigurasi kebijakan cache global. Cache global dinonaktifkan secara default untuk organisasi baru.

1. Anda dapat menuju halaman konfigurasi cache global seperti yang ditunjukkan pada gambar.

   

2. Jika Anda memilih Enable untuk cache global (①), Anda dapat mengatur Interval untuk mengembalikan hasil cache untuk kueri identik (②) dan Automatic purge time (③).

   

   Catatan

   Interval untuk mengembalikan hasil cache untuk kueri identik dapat diatur menjadi 1 menit, 5 menit, 30 menit, 1 jam, 2 jam, 4 jam, 8 jam, 12 jam, atau 24 jam.

   Waktu penghapusan otomatis adalah setiap setengah jam.

3. Klik Update Configuration untuk menyimpan konfigurasi.