AnalyticDB:Use an OSS foreign table to export data to OSS at high speed

Como funciona

Cada nó de computação exporta dados diretamente para o OSS em paralelo, sem redistribuição entre os nós. A exportação segue um padrão de três etapas: instale a extensão oss_ext uma vez por banco de dados, crie uma tabela externa gravável e execute uma instrução INSERT INTO ... SELECT.

Pré-requisitos

Antes de começar, verifique se você possui:

• Uma instância do AnalyticDB for PostgreSQL V6.0

• Um bucket do OSS na mesma região da sua instância

• Um AccessKey ID e um AccessKey secret com permissão de gravação no bucket. Para criar um par de AccessKey, consulte Criar um par de AccessKey

Configurar a extensão

Execute a seguinte instrução uma vez por banco de dados para instalar a extensão oss_ext antes de exportar dados:

CREATE EXTENSION IF NOT EXISTS oss_ext;

Essa execução é necessária apenas uma vez por banco de dados, não sendo preciso repeti-la antes de cada exportação.

Exportar dados para o OSS

CREATE WRITABLE EXTERNAL TABLE table_name
    ( column_name data_type [, ...] | LIKE other_table )
    LOCATION ('ossprotocol')
    FORMAT 'TEXT'
               [( [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [ESCAPE [AS] 'escape' | 'OFF'] )]
          | 'CSV'
               [([QUOTE [AS] 'quote']
               [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [FORCE QUOTE column [, ...]] ]
               [ESCAPE [AS] 'escape'] )]
    [ ENCODING 'encoding' ]
    [ DISTRIBUTED BY (column, [ ... ] ) | DISTRIBUTED RANDOMLY ]

ossprotocol:
    oss://oss_endpoint [prefix=prefix_name|dir=[folder/[folder/]...]/file_name]
     id=userossid key=userosskey bucket=ossbucket compressiontype=[none|gzip] async=[true|false]

INSERT INTO <external_table> SELECT * FROM <source_table>;

Exemplo

Este exemplo exporta dados de uma tabela local chamada example para um bucket do OSS.

1. Crie a tabela de origem:

CREATE TABLE example
    (date text, time text, open float,
     high float, low float, volume int)
    DISTRIBUTED BY (date);

2. Crie a tabela externa gravável.

Usando prefix para especificar o caminho de saída:

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    prefix=osstest/exp/outfromhdb id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

Usando dir para especificar o caminho de saída:

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    dir=osstest/exp/ id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

Substitua os espaços reservados pelos seus valores reais:

3. Exporte os dados:

INSERT INTO ossexample_exp SELECT * FROM example;

4. Verifique a exportação:

Execute EXPLAIN para confirmar que cada nó de computação exporta dados diretamente para o OSS:

EXPLAIN INSERT INTO ossexample_exp SELECT * FROM example;

Saída esperada:

                          QUERY PLAN
---------------------------------------------------------------
 Insert (slice0; segments: 3)  (rows=1 width=92)
   ->  Seq Scan on example  (cost=0.00..0.00 rows=1 width=92)
(2 rows)

O valor segments: 3 indica que todos os três nós de computação exportam dados em paralelo. Após a conclusão da exportação, verifique se os arquivos aparecem no console do OSS no caminho especificado.

Considerações sobre desempenho

Para maximizar o throughput de exportação:

• Utilize armazenamento orientado a colunas com compressão ao criar tabelas de origem. Exemplo:

  WITH (APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib, COMPRESSLEVEL=5, BLOCKSIZE=1048576)

  Para mais informações, consulte CREATE TABLE.

• Mantenha o bucket do OSS e a instância do AnalyticDB for PostgreSQL na mesma região.

• Ajuste num_parallel_worker, oss_flush_block_size e oss_file_max_size com base no volume de dados e nas condições de rede.

Limitações

• Apenas instâncias V6.0 são suportadas. Para V7.0, use tabelas externas do OSS.

• Somente os formatos TEXT e CSV são suportados.

• Apenas a compressão GZIP é suportada (compressiontype=gzip).

• prefix e dir são mutuamente exclusivos — especifique apenas um por tabela externa.

• Não há suporte para expressões regulares em prefix.

• Todos os caracteres de controle de formato (DELIMITER, QUOTE, ESCAPE, NULL) devem ser caracteres de byte único.

• A sintaxe da tabela externa segue as convenções do Greenplum Database, exceto pelos parâmetros relacionados à localização.

Solução de problemas

Quando ocorre um erro de exportação, o log de erros inclui:

Para obter uma lista completa de códigos de erro, consulte Respostas de erro. Para corrigir erros relacionados a tempo limite, ajuste os parâmetros oss_speed_limit e oss_speed_time.Respostas de erro da API do OSSRespostas de erro da API do OSS

Consulte também

• Nomes de domínio do OSS

• Documentação do OSSInformações de endpoint do OSS

• Tratamento de erros