Quick BI:Configurar o Quick Engine

Pré-requisitos

A source de dados de destino deve estar conectada. Conectar a uma source de dados.

Limitações

• Somente usuários com tipo de usuário Developer e função no workspace que inclua permissões para criar ou editar datasets podem usar o recurso de configuração de aceleração.

• Datasets de sources de dados cruzadas não suportam atualizações incrementais.

• Tarefas de aceleração acionadas manualmente não suportam atualizações incrementais.

• Se um dataset contiver placeholders, a aceleração por extração suporta apenas o tipo Accelerated Placeholder.

Modo de conexão direta

O modo de conexão direta é o padrão do Quick Engine. Todas as consultas são executadas diretamente no banco de dados ou data warehouse subjacente. Todos os bancos de dados conectados ao Quick BI suportam esse modo.

1. Faça login no console do Quick BI.

2. Na página inicial do Quick BI, acesse a página de edição de dataset.

   

3. Na página de edição de dataset, crie um dataset. Criar um dataset.

   

   Após salvar o dataset, as consultas de análise de dados baseadas nele usarão o modo de conexão direta por padrão.

Aceleração por extração

Quando o modo de conexão direta sobrecarrega o banco de dados devido ao alto volume de consultas ou grande quantidade de dados, considere a aceleração por extração. Principais características:

• Extrai dados periodicamente para o Quick Engine. Ideal para dados offline com granularidade diária.

• Suporta atualizações incrementais e completas em dois modos: aceleração de tabela completa e pré-cálculo.

• Armazenamento de extração gratuito incluso:

  • O Quick BI Enterprise Standard oferece 2 GB de capacidade de aceleração por extração.

  • O Quick BI Pro oferece 10 GB de capacidade de aceleração por extração.

• Limite de extração por dataset: 100 milhões de linhas.

• É possível expandir a capacidade de aceleração por extração no Quick BI Enterprise Standard e no Quick BI Pro:

  • O armazenamento deve ser adquirido em incrementos de 5 GB ($1.000/ano), até o máximo de 100 GB.

  • Se você fizer upgrade do Quick BI Enterprise Standard para o Quick BI Pro após expandir a capacidade, a capacidade paga permanece inalterada e a capacidade gratuita aumenta de 2 GB para 10 GB.

Etapas de configuração

1. Um administrador da organização ativa a aceleração por extração.

   1. Faça login no console do Quick BI.

   2. Ative a chave Extraction acceleration.

      

   3. Clique em para definir o limite de extração do dataset.

      Nota

      Defina um limite máximo de linhas por dataset. Isso se aplica a todos os datasets da organização. Se a contagem de linhas exceder esse limite, a tarefa de extração falhará. Máximo: 100.000.000 de linhas.

      

2. Um desenvolvedor de dados ativa e utiliza o recurso de aceleração por extração para um dataset de destino.

   1. Na página inicial do Quick BI, acesse a página Datasets.

      

   2. Na lista de datasets, localize o dataset de destino e clique em Acceleration Configuration.

      

      Na área Acceleration Engine, ative o Quick engine e configure os parâmetros:

      

      Se o dataset tiver várias tabelas lógicas, alterne entre elas para configurar os escopos de extração e os métodos de atualização.

      

      • Extraction settings

        Parâmetro	Descrição
        Extraction mode	Suporta dois modos: Full table acceleration e Pre-calculation. Full table acceleration: O sistema extrai e acelera todos os dados. Acelera todas as consultas. Requer mais armazenamento. Se houver armazenamento suficiente, selecione Full table acceleration. Pre-calculation: O sistema extrai e acelera uma parte dos dados. Pré-calcula resultados para consultas frequentes e os retorna rapidamente ao acessar o relatório. Por exemplo, para uma tabela ODPS particionada, o pré-cálculo extrai apenas uma parte dos dados, economizando armazenamento e melhorando a eficiência. Nota O pré-cálculo não é suportado para datasets com múltiplas tabelas lógicas.
        Execution frequency	Suporta dois métodos: Manual trigger e Scheduled acceleration. Selecione Manual trigger para executar tarefas de aceleração por extração manualmente. Selecione Scheduled acceleration e defina um cronograma. A extração será executada automaticamente mensalmente, semanalmente, diariamente ou horariamente.
        Extraction scope	É possível extrair dados da Full table ou de um Specified date range. Full table: Atualiza a tabela completa. O método de atualização é full update. Update by specified date range: Permite definir um date field, um date range e um update method para personalizar o intervalo de datas para aceleração. O Quick Engine retém dados apenas dentro do intervalo de datas selecionado, como os últimos 365 dias, para economizar espaço de armazenamento.
        Date field	Quando o escopo de extração for Update by specified date range, defina o Date field. O campo de data e seu formato devem corresponder ao formato do campo no seu banco de dados.
        Date range	Quando o escopo de extração for Update by specified date range, defina o Date range. T representa o horário da partição mais recente para os dados extraídos no dia atual. O dia atual é T-0, ontem é T-1 e anteontem é T-2.
        Update method	Para o escopo Full table, o método de atualização é fixo como full update. Para Update by specified date range, escolha full update ou incremental update. Full update: Cada aceleração extrai todos os dados dentro do intervalo selecionado. Incremental update: A extração inicial cobre todos os dados no intervalo selecionado. As atualizações subsequentes adicionam incrementalmente dados das últimas N partições.
        Update range preview	Quando o escopo de extração for Update by specified date range, visualize o intervalo de atualização. Se o update method for full update, a visualização do intervalo de atualização mostrará uma atualização completa. Se o update method for incremental update, a visualização do intervalo de atualização mostrará Existing data e Incremental update.
        Number of incremental partitions	Quando o update method for incremental update, defina o number of incremental partitions. Garanta que o número de partições incrementais esteja dentro do intervalo de datas especificado.
        Extract calculated fields	Selecione esta opção para extrair campos calculados. Esta opção vem selecionada por padrão.

      • Dependency settings

        Defina dependências para tabelas no dataset especificando o campo de data, o formato da data e o deslocamento. As atualizações serão acionadas apenas quando as condições de dependência forem atendidas.

        Nota

        • Se você desativar "Ignore Empty Extractions", as tarefas de aceleração que extraírem zero linhas serão marcadas como "Failed" e não será possível configurar dependências de aceleração.

        • Após ativar as dependências de aceleração, se os dados upstream não forem atualizados, o Quick Engine consultará o status dos dados upstream a cada 10 minutos por até 2 horas.

        • Ative a chave de dependência de aceleração.

          

        • Clique em (+) à direita para adicionar as configurações necessárias.

          

          Parâmetro	Descrição
          Dependent table	Selecione uma tabela do dataset atual. A busca é suportada. Passe o mouse sobre o nome de uma tabela para visualizar o nome da source de dados correspondente.
          Date field	Selecione um campo de data da tabela atual.
          Date format	Selecione YYYY, YYYYMM, YYYY/MM, YYYY-MM, YYYYMMDD, YYYY-MM-DD ou YYYY/MM/DD.
          Offset	Defina a data de negócios que a tarefa de verificação deve consultar. O intervalo vai de T-0 a T-10000.

        • Clique em (+) à direita para adicionar mais dependências.

        • É possível excluir uma configuração de dependência.

      • Exception settings

        Nota

        Se uma tarefa de aceleração falhar, o sistema tentará repeti-la automaticamente três vezes com intervalos de uma hora.

        Parâmetro	Descrição
        Ignore Empty Extractions	Se você ativar esta opção, as tarefas que extraírem zero linhas serão marcadas como "Successful". Se você desativar esta opção e uma tarefa extrair zero linhas, ela será marcada como "Failed", o que pode acionar um alerta de falha. Monitore o status de geração de dados upstream.
        Failure Alerts	Quando uma tarefa falha, configure o método de notificação e os destinatários dos alertas. O método de notificação suportado é Email. Destinatários: Selecione vários destinatários por vez. Os destinatários devem ser contas Alibaba Cloud dentro da mesma organização. Se o nome de um destinatário estiver esmaecido, indica que nenhum endereço de e-mail está configurado para essa conta. Garanta que o destinatário tenha configurado um endereço de e-mail. Para instruções, consulte Configurar endereços de e-mail dos destinatários.

   3. Após clicar em Save, a configuração de aceleração do Quick Engine estará concluída.

      Execute Data Backfill (①), Accelerate Now (②), View Logs (③) ou Modify Configuration (④) para o dataset.

      

      Parâmetro	Descrição
      Data backfill	Quando o esquema do dataset muda, o sistema sincroniza automaticamente o esquema mais recente com o Quick Engine. Defina o intervalo de backfill como Full backfill ou Specified range. Full backfill: Limpa todos os dados existentes no mecanismo e os reextrai. Backfill de Specified range: Suporta a adição de vários intervalos de datas. Nota Se o escopo de extração do dataset estiver definido como tabela completa, não será possível fazer backfill de um intervalo especificado. Para datasets com múltiplas tabelas lógicas, faça o backfill de todo o dataset ou de tabelas lógicas específicas. Se selecionar dataset, um backfill completo será realizado para todo o dataset por padrão. Se selecionar tabelas lógicas específicas, escolha quais tabelas lógicas terão backfill e defina seus respectivos intervalos. Nota Para tabelas lógicas onde o intervalo de datas está definido como tabela completa, não é possível especificar um intervalo personalizado para backfill.
      Accelerate Now	Executa a tarefa de aceleração para o dataset imediatamente.
      View Logs	Visualize os logs de execução do dataset, incluindo horário, status e duração.
      Modify Configuration	Modifique a configuração existente do Quick Engine. As alterações entram em vigor após clicar em Save.

      Enquanto uma tarefa estiver em execução ou pendente, interrompa-a se necessário.

      

3. Administradores da organização e do workspace gerenciam as tarefas de aceleração. Para mais informações, consulte Gerenciar tarefas de aceleração por extração.

4. Analistas de dados criam relatórios e analisam dados.

   Após a configuração, crie relatórios e realize análises de dados, como análises ad hoc.

   

   Criar uma análise ad hoc.

Cache de resultados de consulta

O cache de dataset acelera o acesso aos relatórios e reduz a carga no banco de dados. Com o cache ativado, as solicitações subsequentes dentro da duração do cache são atendidas a partir dele, sem consultar novamente o banco de dados.

O cache de resultados de consulta funciona melhor para datasets com consultas repetidas, grandes volumes de dados ou desempenho lento do banco de dados — especialmente painéis com muitas consultas repetidas. Evite este recurso quando os dados forem atualizados frequentemente e os relatórios precisarem mostrar dados em tempo real.

Configure diferentes durações de cache. Se a atualização horária não for necessária, recomenda-se uma duração de 12 horas.

1. Faça login no console do Quick BI.

2. Na página inicial do Quick BI, acesse a página Datasets.

   

3. Na lista de datasets, selecione o dataset de destino e configure sua duração de cache.

   

   Escolha entre Follow global caching policy ou defina uma duração de cache Custom.

   1. Ao criar um novo dataset, a configuração de cache assume como padrão a política global de cache. Para obter informações sobre como configurar a política global de cache, consulte Configuração global de cache.

      

   2. Personalize a política de cache para cada dataset.

      Durações de cache suportadas: 1 minuto, 5 minutos, 30 minutos, 1 hora, 2 horas, 4 horas, 8 horas, 12 horas e 24 horas.

      • Após a expiração da duração do cache, um novo cache é gerado na próxima consulta ao relatório. Consultas idênticas subsequentes usarão o novo cache.

      • O cache opera no nível do dataset. Limpar o cache de um dataset também limpa todos os caches de gráficos associados. Após a expiração da duração do cache, todos os caches de gráficos deste dataset são limpos automaticamente.

      • Se os dados subjacentes forem atualizados enquanto o cache ainda estiver válido, limpe manualmente o cache para recuperar os dados mais recentes.

4. Clique em Save para que o cache de consulta entre em vigor.

Limpar o cache

1. Limpeza automática de cache

   O cache expira automaticamente após a duração configurada.

2. Limpeza manual de cache

   1. Limpar o cache de um único dataset

      Na página de configuração de aceleração, clique em Clear Cache ao lado de Query Result Caching para limpar o cache de resultados de consulta.

      

   2. Limpar o cache em lotes

      Na página Datasets, marque as caixas de seleção ao lado dos nomes dos datasets cujo cache deseja limpar e clique em Clear Cache para limpar o cache dos datasets selecionados.

      

Perguntas frequentes sobre cache de dataset

• Por que dois gráficos no mesmo painel mostram dados diferentes, mesmo usando os mesmos campos e condições de consulta do dataset?

  Isso ocorre quando o cache está ativado e os gráficos foram adicionados em momentos diferentes. O primeiro gráfico usa dados em cache, enquanto um gráfico mais recente carrega dados novos do banco de dados. Para resolver isso, desative o cache ou limpe manualmente o cache do dataset.

• Se eu ativar o cache global, ele se aplicará aos datasets existentes?

  Sim. Ao ativar o cache global, ele se aplica a todos os datasets existentes, que passarão a seguir a política global de cache. Novos datasets também terão o cache global ativado por padrão.

• Os dados na tabela do banco de dados de source do meu relatório Quick BI foram atualizados, mas o relatório não mostra os novos dados. Por quê?

  Os dados do relatório vêm de um dataset, portanto, confirme primeiro se os dados do dataset estão atualizados. Caso contrário, verifique se o dataset está configurado com cache de resultados de consulta ou aceleração por extração. Se qualquer um estiver ativado, as consultas priorizarão a recuperação de dados do cache ou do armazenamento acelerado em vez de se conectar diretamente ao banco de dados.

  Soluções

  • Desative o cache de resultados de consulta para que todas as consultas vão diretamente ao banco de dados, garantindo a consistência dos dados.

  • Limpe manualmente o cache de resultados do dataset. A próxima consulta buscará os dados mais recentes do banco de dados e criará um novo cache.

  • Ajuste o tempo de limpeza automática do cache com base na frequência de atualização de dados do seu negócio para garantir que os dados mais recentes sejam buscados.

  • Execute novamente a tarefa de aceleração por extração ou desative-a e, em seguida, atualize a visualização do dataset.

• Um dataset que costumava carregar dados em tempo real agora exige que eu limpe manualmente o cache para ver os dados mais recentes. O que aconteceu?

  Provavelmente o administrador da sua organização ativou o cache global, que armazena em cache todos os datasets sem uma política personalizada. Para resolver isso, desative o cache global ou defina uma política de cache personalizada para o dataset.

• Onde os dados de cache do dataset são armazenados?

  O cache armazena resultados de consulta nos servidores em memória do Quick BI.

Aceleração de valores de dimensão

Configure a aceleração de valores de dimensão para campos de dimensão frequentemente usados em controles de consulta e análises ad hoc. Por exemplo, para consultar detalhes de transações por nome do cliente e nome do produto, configure a aceleração para os campos "Customer Name" e "Product Name" no dataset Order Details Table.

Suponha que esses dois campos existam nas tabelas do banco de dados customer_info e product, com os nomes de campo correspondentes user_name e product_name.

1. Faça login no console do Quick BI.

2. Na página inicial do Quick BI, acesse a página Datasets.

   

3. Na lista de datasets, siga as etapas na figura para selecionar o dataset de destino e configurar a aceleração de valores de dimensão.

   

   Após ativar a aceleração de valores de dimensão, configure os campos necessários. Para o dataset Order Details Table, configure a aceleração para nome do cliente e nome do produto.

   

   Suponha que os campos de nome do cliente e nome do produto existam nas tabelas do banco de dados customer_info e product, com os nomes de campo correspondentes user_name e product_name. Nesse caso, a configuração seria:

   • Dimensões do dataset: Customer Name e Product Name.

   • Tabelas de configuração: customer_info e product.

   • Campos da tabela: customer e product_name

Configuração global de cache

Administradores da organização do Quick BI Enterprise Standard e do Quick BI Pro podem configurar uma política global de cache. O cache global é desativado por padrão para novas organizações.

1. Acesse a página de configuração global de cache conforme mostrado na figura.

   

2. Ative o cache global (①), depois defina a duração do cache para consultas idênticas (②) e o Auto Clear Time (③).

   

   Nota

   A duração do cache para retornar resultados em cache para consultas idênticas pode ser definida como 1 minuto, 5 minutos, 30 minutos, 1 hora, 2 horas, 4 horas, 8 horas, 12 horas ou 24 horas.

   O cache é limpo automaticamente a cada 30 minutos.

3. Clique em Update Configuration para salvar as configurações.