AnalyticDB:Data Warehouse Edition quick start

crie uma conta privilegiada

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Encontre o cluster e gerencie, e clique em respectivo ID.

2. No painel de navegação à esquerda, clique em Accounts.

3. Na página Accounts, clique em Create Privileged Account.

4. No painel Create Account, configure os parâmetros.

   Parâmetro	Descrição
   Database Account	O nome da conta privilegiada. Insira um nome que atenda aos requisitos da tela.
   Account Type	Para um cluster do Data Warehouse Edition, este parâmetro é definido automaticamente como Privileged Account e não o modifique.
   New Password	A senha da conta privilegiada. Insira uma senha que atenda aos requisitos da tela.
   Confirm Password	Insira a senha novamente e confirme.
   Description	Opcional. Insira uma descrição para a conta para consultas futuras.

5. e clique em OK para criar a conta.

crie e autorize uma conta padrão

Procedimento

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Encontre o cluster e gerencie, e clique em respectivo ID.

2. No painel de navegação à esquerda, clique em Data Security.

3. Na página Whitelist Settings, encontre o grupo da lista de permissões default e clique em Modify na coluna Actions.

   Nota

   Também é possível clicar em Create Whitelist para criar um grupo personalizado.

4. Na caixa de diálogo Edit Whitelist, exclua o endereço IP padrão 127.0.0.1. Insira os endereços IP ou blocos CIDR que necessitam de acesso ao cluster e clique em OK.

   Nota

   Para adicionar o endereço IP público do seu cliente à lista de permissões, determine primeiro o endereço IP. Para obter mais informações, consulte Connections.

Usar o DMS para se conectar ao AnalyticDB for MySQL

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Encontre o cluster e gerencie, e clique em respectivo ID.

2. Na página Cluster Information, clique em Log On to Database no canto superior direito.

3. Na caixa de diálogo exibida, insira as informações de login.

   Parâmetro	Descrição
   Database Type	O valor padrão é AnalyticDB for MySQL 3.0. Não é necessário alterá-lo.
   Instance Region	O valor padrão é a região da instância atual. Não é necessário alterá-lo.
   Cluster ID	O valor padrão é o ID do cluster atual. Não é necessário alterá-lo.
   Database Account	O nome da conta do banco de dados do cluster.
   Database Password	A senha da conta do banco de dados. Nota Você pode e selecione Remember Password para fazer login automaticamente no cluster atual do AnalyticDB for MySQL no futuro, e insira a conta e a senha do banco de dados.

   Nota

   • Ao usar o DMS para fazer login em um cluster do AnalyticDB for MySQL pela primeira vez, o modo de controle é definido como Flexible Management por padrão. Após o login, também é possível alterar o modo de controle e edite a instância. Para obter mais informações, consulte Edit an instance e Control modes.

   • Após configurar os parâmetros de login, e clique em Test Connection no canto inferior esquerdo. Se o teste de conexão falhar, verifique as informações do cluster, como conta ou senha, com base na mensagem de erro.

   • O sistema adiciona automaticamente os endereços IP do servidor do DMS à lista de permissões de endereços IP do banco de dados. Caso os endereços IP não sejam adicionados automaticamente, adicione-os manualmente. Para obter mais informações, consulte Step 2: Configure an IP address whitelist e DMS IP address whitelist.

4. e clique em Log On.

Conectar-se programaticamente ao AnalyticDB for MySQL

• JDBC

• Druid connection pool

• Python

• PHP

• C# (Mac)

• Golang

Usar a ferramenta de linha de comando do MySQL para se conectar ao AnalyticDB for MySQL

Use the MySQL command-line client to connect to an AnalyticDB for MySQL cluster

Usar um cliente para se conectar ao AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

Conectar o AnalyticDB for MySQL a ferramentas de visualização de dados

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

Pré-requisitos

• e crie um diretório no Object Storage Service (OSS) para armazenar dados do AnalyticDB for MySQL.

  1. Ative o OSS. Para obter mais informações, consulte Activate OSS.

  2. e crie um bucket. Para obter mais informações, consulte Create buckets.

     Importante

     O bucket do OSS deve estar na mesma região do cluster do AnalyticDB for MySQL.

  3. e crie um diretório. Para obter mais informações, consulte Create a directory.

  4. Faça upload de um objeto de teste. Para obter mais informações, consulte Upload objects.

     Neste exemplo, o objeto oss_import_test_data.txt é carregado no diretório <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ no OSS. As linhas são delimitadas por quebras de linha e as colunas são delimitadas por ponto e vírgula (;). Os dados de exemplo são os seguintes:

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• Siga o Guia de Introdução do AnalyticDB for MySQL para concluir os preparativos, como criar um cluster, configurar uma lista de permissões de endereços IP e criar uma conta e um banco de dados. Para obter mais informações, consulte Procedure.

Procedimento

1. e execute a instrução CREATE TABLE para criar uma tabela externa no banco de dados adb_demo. Para informações sobre a sintaxe de criação de uma tabela externa do OSS para dados nos formatos CSV, Parquet ou TEXT, consulte Syntax for OSS external tables.

2. Consulte os dados do OSS.

   A consulta a uma tabela externa utiliza a mesma sintaxe da consulta a uma tabela interna do AnalyticDB for MySQL. Consulte os dados diretamente, conforme o exemplo a seguir:

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • Para grandes objetos de dados CSV ou TEXT, recomendamos fortemente importar os dados para o AnalyticDB for MySQL antes da consulta, a fim de obter melhor desempenho.

   • Para objetos de dados Parquet, as consultas diretas geralmente apresentam alto desempenho. Avalie a necessidade de importar os dados para o AnalyticDB for MySQL antes da consulta, com base nas suas necessidades.

3. e execute a instrução CREATE TABLE para criar uma tabela de destino chamada adb_oss_import_test no banco de dados adb_demo para armazenar os dados importados do OSS.

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. e execute uma instrução INSERT para importar dados da tabela externa do OSS para o AnalyticDB for MySQL.

   Importante

   Por padrão, as instruções INSERT INTO e INSERT OVERWRITE SELECT importam dados de forma síncrona. Ao importar uma grande quantidade de dados, como centenas de gigabytes, a conexão entre o cliente e o servidor do AnalyticDB for MySQL precisa permanecer ativa por um longo período. Durante esse tempo, problemas de rede podem interromper a conexão, causando falha na importação de dados. Portanto, ao importar um grande volume de dados, recomendamos o uso da instrução SUBMIT JOB INSERT OVERWRITE SELECT para importar dados de forma assíncrona.

   • Método 1: e execute a instrução INSERT INTO para importar dados. Se uma chave primária tiver valores duplicados, o sistema ignora os novos dados e não atualiza os existentes. Esse comportamento é equivalente ao uso de INSERT IGNORE INTO. Para obter mais informações, consulte INSERT INTO. A seguir, um exemplo de instrução:

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Método 2: e execute a instrução INSERT OVERWRITE para importar dados. Esta instrução substitui os dados existentes na tabela. A seguir, um exemplo de instrução:

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Método 3: e execute a instrução INSERT OVERWRITE para importar dados de forma assíncrona. Use a instrução SUBMIT JOB para enviar uma tarefa assíncrona. Para acelerar a tarefa de gravação, adicione a dica /*+ direct_batch_load=true*/. Para obter mais informações, consulte Asynchronous write. A seguir, um exemplo de instrução:

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     O resultado retornado é o seguinte:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     Para mais informações sobre como e envie uma tarefa assíncrona, consulte Submit an asynchronous import task.

5. e execute o seguinte comando para consultar os dados na tabela adb_oss_import_test.

   SELECT * FROM adb_oss_import_test;

Sintaxe para tabelas externas do OSS

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"CSV|ORC|Parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

Referências

Para conhecer outras formas de importar dados, consulte Supported data sources.