TPC-DS, teste de desempenho - MaxCompute: Central de Documentação do Alibaba Cloud

O MaxCompute suporta cenários de consulta de dados em escalas que variam de terabytes (TB) a petabytes (PB) e exabytes (EB), com vantagens significativas de desempenho no setor. Este tópico utiliza o conjunto de dados público e as ferramentas de teste do MaxCompute para validar seu desempenho por meio do benchmark de big data TPC-DS. O MaxCompute oferece dois métodos de teste de desempenho: o Método 1 (recomendado) usa o novo mecanismo MaxQA Query Acceleration para testes TPC-DS, enquanto o Método 2 utiliza o mecanismo MCQA (o MCQA não está mais disponível para novos usuários; usuários existentes podem consultar este método).

Preparações

Prepare seu ambiente.
- Antes de executar um teste TPC-DS, ative o MaxCompute e crie um projeto. Para mais detalhes, consulte Appendix: Project configuration parameters.
- Método 1 (recomendado): Ative o MaxQA (MaxCompute Query Acceleration 2.0). Este recurso está atualmente em visualização pública (clique em link de visualização pública para participar; verifique o cronograma de disponibilidade por região).
  - Consulte Overview of MaxQA Query Acceleration para ativar uma instância de assinatura e criar um grupo de cota interativo.
- Método 2 (não disponível para novos usuários): Ative o MCQA (MaxCompute Query Acceleration 1.0), disponível apenas para usuários existentes do MCQA. Consulte MCQA Query Acceleration (no longer open to new users) para ativar uma instância de assinatura.
Prepare a ferramenta de teste.

Para simplificar os testes, o MaxCompute fornece uma ferramenta automatizada de teste de desempenho TPC-DS que ajuda você a executar testes TPC-DS rapidamente e gerar resultados automaticamente.

Importante
A ferramenta de teste atualmente suporta apenas ambientes Linux e requer JDK versão 1,7 ou posterior.

Clique em mc_tpcds_benchmark para baixar o pacote da ferramenta e execute o seguinte comando no seu servidor Linux para extraí-lo.
```
unzip mc_tpcds_benchmark.zip
```
A estrutura de diretórios extraída é a seguinte:
```
.
|_t1c7039e3-2a1d-451b-bfda-d14c49016243-tpc-ds-tool.zip
|_config
|_init_tools.sh
|_load_table.sh
|_logs
|_odps_clt
|_patches
|_pt.sh
|_queries_1
|_queries_1.quality
|_queries_10
|_queries_100
|_queries_1000
|_queries_10000
|_queries_100000
|_querygen.sh
|_results
|_run_stream.sh
|_run_stream.sh.offline
|_sqls
|_start_session_only.sh
|_start_session.sql
|_start_session.sql_tmp
|_tools_file
|_tt.sh
|_v2.10.1rc3
```

Compreenda o conjunto de dados de teste.

O MaxCompute fornece um conjunto de dados público para que você não precise preparar dados de teste manualmente. Todos os dados estão armazenados no projeto público do MaxCompute BIGDATA_PUBLIC_DATASET. Para mais detalhes, consulte Overview of public datasets.

O conjunto de dados de teste TPC-DS está disponível em quatro tamanhos: 10 GB, 100 GB, 1 TB e 10 TB. Escolha o tamanho adequado às suas necessidades de teste. Os detalhes são mostrados abaixo:

Categoria	Descrição	Nome do conjunto de dados	Nome do schema
TPC-DS	O TPC-DS é um benchmark de suporte à decisão que modela aspectos comuns de sistemas de suporte à decisão, incluindo consultas e manutenção de dados, permitindo que novas tecnologias, como sistemas de big data, passem por benchmarks padronizados.	Conjunto de teste de desempenho TPC-DS 10GB Conjunto de teste de desempenho TPC-DS 100GB Conjunto de teste de desempenho TPC-DS 1TB Conjunto de teste de desempenho TPC-DS 10TB	tpcds_10g tpcds_100g tpcds_1t tpcds_10t

Procedimento de teste

Modifique o arquivo de configuração da ferramenta de teste

Acesse o diretório mc_tpcds_benchmark da ferramenta de teste extraída e edite o arquivo config. Como a ferramenta suporta os modos MaxQA e MCQA, algumas definições de configuração diferem ligeiramente entre os dois, além das configurações básicas.

Configuração básica

Item de configuração

Descrição

Valor

ODPS_CLT_CMD

Caminho absoluto para o arquivo executável do cliente MaxCompute.

O cliente incluído neste kit de ferramentas está localizado em odps_clt no diretório de trabalho. Atualize esta configuração conforme necessário. Para mais detalhes, consulte Connect using the local client (odpscmd).

Exemplo: /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd

PROJECT

O projeto MaxCompute usado para testes.

Exemplo: tpcds_test

Escala de dados para o teste TPC-DS.

A unidade é GB. 1 significa 1 GB e 1000 significa 1 TB. Ajuste este valor conforme necessário.

Padrão: 1000

Diferenças entre os modos MCQA e MaxQA

Item de configuração	Descrição	Valor MCQA	Valor MaxQA
ODPS_CLT_CMD	Caminho absoluto para o arquivo executável do cliente MaxCompute. O cliente incluído neste kit de ferramentas está localizado em odps_clt no diretório de trabalho. Atualize esta configuração conforme necessário. Para mais detalhes, consulte Connect using the local client (odpscmd).	Exemplo: /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd	Exemplo: /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd
PROJECT	O projeto MaxCompute usado para testes.	Exemplo: tpcds_test	Exemplo: tpcds_test
SF	Escala de dados para o teste TPC-DS. A unidade é GB. 1 significa 1 GB e 1000 significa 1 TB. Ajuste este valor conforme necessário.	Padrão: 1000. Os conjuntos de dados públicos do MaxCompute incluem atualmente quatro tamanhos: 10G, 100G, 1T e 10T. Portanto, defina SF como 10, 100, 1000 ou 10000.	Padrão: 1000. Os conjuntos de dados públicos do MaxCompute incluem atualmente quatro tamanhos: 10G, 100G, 1T e 10T. Portanto, defina SF como 10, 100, 1000 ou 10000.
MODE	Define o modo para esta execução de benchmark.	MCQA	MaxQA
MAXQA_QUOTA_NAME	Nome do grupo de cota interativa do MaxQA usado para testes. Encontre-o na página Quota Management do console MaxCompute. Insira o alias da cota (o nome atribuído).	N/A	Exemplo: maxqa_test_quota
SQL_FLAGS	Flags SQL integradas do MaxCompute. Não modifique.	`set odps.sql.session.result.cache.enable=false`: Desativa o cache de resultados no modo MCQA para garantir que cada consulta seja executada independentemente. `set odps.sql.allow.cartesian=true`: Habilita o cálculo de produto cartesiano em SQL. `set odps.sql.session.query.timeout=600`: Define o tempo limite do job Fuxi no modo MCQA.	`set odps.sql.mcqa2.result.cache.enable=false`: Desativa o cache de resultados no modo MaxQA para garantir que cada consulta seja executada independentemente. `set odps.sql.allow.cartesian=true`: Habilita o cálculo de produto cartesiano em SQL.

Execute o teste

No diretório mc_tpcds_benchmark, execute o seguinte comando para iniciar o teste TPC-DS:

nohup sh pt.sh > pt.log 2>&1 &

Após a execução bem-sucedida, a ferramenta gera automaticamente um arquivo de log pt.log no diretório mc_tpcds_benchmark. Execute o seguinte comando para visualizar os logs detalhados da tarefa:

tail -f pt.log

Monitore a execução de tarefas do MaxCompute

Faça login no console MaxCompute e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha Observation O&M > Jobs.
Na página Job O&M, verifique o status de execução da tarefa. Clique em LogView na coluna Actions do job alvo para visualizar informações detalhadas. Para mais informações, consulte Job O&M.

Visualize os resultados do teste

Após a execução bem-sucedida da tarefa, a ferramenta gera automaticamente um arquivo de resultados de teste chamado console_test_result.csv no diretório mc_tpcds_benchmark. Este arquivo contém a duração total do teste, o tempo de execução de cada consulta e os links Logview correspondentes.