AnalyticDB:Data Warehouse Edition quick start

Crie uma conta privilegiada

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que deseja gerenciar e clique no ID do cluster.

2. No painel de navegação à esquerda, clique em Accounts.

3. Na página Accounts, clique em Create Privileged Account.

4. No painel Create Account, configure os parâmetros.

   Parâmetro	Descrição
   Database Account	Nome da conta privilegiada. Insira um nome que atenda aos requisitos exibidos na tela.
   Account Type	Para um cluster do Data Warehouse Edition, este parâmetro é definido automaticamente como Privileged Account e não pode ser alterado.
   New Password	Senha da conta privilegiada. Insira uma senha que atenda aos requisitos exibidos na tela.
   Confirm Password	Insira a senha novamente para confirmação.
   Description	Opcional. Insira uma descrição para a conta como referência futura.

5. Clique em OK para criar a conta.

Crie e autorize uma conta padrão

Procedimento

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que deseja gerenciar e clique no ID do cluster.

2. No painel de navegação à esquerda, clique em Data Security.

3. Na página Whitelist Settings, localize o grupo de lista de permissões default e clique em Modify na coluna Actions.

   Nota

   Você também pode clicar em Create Whitelist para criar um grupo personalizado.

4. Na caixa de diálogo Edit Whitelist, exclua o endereço IP padrão 127.0.0.1. Insira os endereços IP ou blocos CIDR que precisam acessar o cluster e clique em OK.

   Nota

   Para adicionar o endereço IP público do seu cliente à lista de permissões, determine primeiro o endereço IP. Para mais informações, consulte Conexões.

Usar o DMS para conectar-se ao AnalyticDB for MySQL

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que deseja gerenciar e clique no ID do cluster.

2. Na página Cluster Information, clique em Log On to Database no canto superior direito.

3. Na caixa de diálogo exibida, insira as informações de login.

   Parâmetro	Descrição
   Database Type	O valor padrão é AnalyticDB for MySQL 3.0. Não é necessário alterar.
   Instance Region	O valor padrão é a região onde a instância atual está localizada. Não é necessário alterar.
   Cluster ID	O valor padrão é o ID do cluster atual. Não é necessário alterar.
   Database Account	Nome da conta de banco de dados do cluster.
   Database Password	Senha da conta de banco de dados. Nota Selecione Remember Password para fazer login automaticamente no cluster atual do AnalyticDB for MySQL futuramente, sem precisar inserir a conta e a senha do banco de dados.

   Nota

   • Ao usar o DMS para fazer login em um cluster do AnalyticDB for MySQL pela primeira vez, o modo de controle é definido como Flexible Management por padrão. Após o login, altere o modo de controle editando a instância. Para mais informações, consulte Editar uma instância e Modos de controle.

   • Após configurar os parâmetros de login, clique em Test Connection no canto inferior esquerdo. Se o teste de conexão falhar, verifique as informações do cluster, como conta ou senha, com base na mensagem de erro.

   • O sistema adiciona automaticamente os endereços IP do servidor do DMS à lista de permissões de endereços IP do banco de dados. Caso os endereços IP não sejam adicionados automaticamente, adicione-os manualmente. Para mais informações, consulte Etapa 2: Configure a lista de permissões de IP e Lista de permissões de IP do DMS.

4. Clique em Log On.

Conectar-se programaticamente ao AnalyticDB for MySQL

• JDBC

• Pool de conexões Druid

• Python

• PHP

• C# (Mac)

• Golang

Usar a ferramenta de linha de comando do MySQL para conectar-se ao AnalyticDB for MySQL

Usar o cliente de linha de comando do MySQL para conectar-se a um cluster do AnalyticDB for MySQL

Usar um cliente para conectar-se ao AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

Conectar o AnalyticDB for MySQL a ferramentas de visualização de dados

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

Pré-requisitos

• Crie um diretório no Object Storage Service (OSS) para armazenar dados do AnalyticDB for MySQL.

  1. Ative o OSS. Para mais informações, consulte Ativar o OSS.

  2. Crie um bucket. Para mais informações, consulte Criar buckets.

     Importante

     O bucket do OSS deve estar na mesma região do seu cluster do AnalyticDB for MySQL.

  3. Crie um diretório. Para mais informações, consulte Criar um diretório.

  4. Faça upload de um objeto de teste. Para mais informações, consulte Fazer upload de objetos.

     Neste exemplo, o objeto oss_import_test_data.txt é carregado no diretório <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ no OSS. As linhas são delimitadas por quebras de linha e as colunas por ponto e vírgula (;). Os dados de exemplo são:

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• Siga o Guia de Introdução do AnalyticDB for MySQL para concluir os preparativos, como criar um cluster, configurar uma lista de permissões de IP e criar uma conta e um banco de dados. Para mais informações, consulte Procedimento.

Procedimento

1. Execute a instrução CREATE TABLE para criar uma tabela externa no banco de dados adb_demo. Para obter informações sobre a sintaxe de criação de tabelas externas do OSS para dados nos formatos CSV, Parquet ou TEXT, consulte Sintaxe para tabelas externas do OSS.

2. Consulte os dados do OSS.

   A consulta a uma tabela externa utiliza a mesma sintaxe da consulta a uma tabela interna do AnalyticDB for MySQL. Consulte os dados diretamente, conforme o exemplo a seguir:

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • Para grandes objetos de dados CSV ou TEXT, recomendamos fortemente importar os dados para o AnalyticDB for MySQL antes de consultar, garantindo melhor desempenho.

   • Para objetos de dados Parquet, consultas diretas geralmente apresentam alto desempenho. Decida se deseja importar os dados para o AnalyticDB for MySQL antes de consultar, conforme suas necessidades.

3. Execute a instrução CREATE TABLE para criar uma tabela de destino chamada adb_oss_import_test no banco de dados adb_demo para armazenar os dados importados do OSS.

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. Execute uma instrução INSERT para importar dados da tabela externa do OSS para o AnalyticDB for MySQL.

   Importante

   Por padrão, as instruções INSERT INTO e INSERT OVERWRITE SELECT importam dados de forma síncrona. Ao importar uma grande quantidade de dados, como centenas de gigabytes, a conexão entre o cliente e o servidor do AnalyticDB for MySQL precisa ser mantida por um longo período. Durante esse tempo, problemas de rede podem interromper a conexão, causando falha na importação de dados. Portanto, ao importar grandes volumes de dados, recomendamos usar a instrução SUBMIT JOB INSERT OVERWRITE SELECT para importar dados de forma assíncrona.

   • Método 1: Execute a instrução INSERT INTO para importar dados. Se uma chave primária tiver valores duplicados, os novos dados serão ignorados e os dados existentes não serão atualizados. Esse comportamento equivale ao uso de INSERT IGNORE INTO. Para mais informações, consulte INSERT INTO. Exemplo de instrução:

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Método 2: Execute a instrução INSERT OVERWRITE para importar dados. Esta instrução substitui os dados existentes na tabela. Exemplo de instrução:

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Método 3: Execute a instrução INSERT OVERWRITE para importar dados de forma assíncrona. Utilize a instrução SUBMIT JOB para enviar uma tarefa assíncrona. Para acelerar a tarefa de gravação, adicione a dica /*+ direct_batch_load=true*/. Para mais informações, consulte Gravação assíncrona. Exemplo de instrução:

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     O seguinte resultado é retornado:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     Para mais informações sobre como enviar uma tarefa assíncrona, consulte Enviar uma tarefa de importação assíncrona.

5. Execute o seguinte comando para consultar os dados na tabela adb_oss_import_test.

   SELECT * FROM adb_oss_import_test;

Sintaxe para tabelas externas do OSS

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"CSV|ORC|Parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

Referências

Para conhecer outras formas de importar dados, consulte Fontes de dados suportadas.