ApsaraDB for ClickHouse:Acesse dados do OSS com uma tabela externa

Enterprise ou Community-compatible (22,8 ou posterior)

Community-compatible (21,8 ou anterior)

1. Faça logon no banco de dados.

   1. Faça logon no console do ApsaraDB for ClickHouse.

   2. Na página Clusters, clique em aba Clusters of Community-compatible Edition e, em seguida, clique em ID do cluster desejado.

   3. Na página Cluster Information, clique em Log On to Database no canto superior direito.

   4. Na caixa de diálogo Connect to Instance, insira a conta e a senha do banco de dados e clique em Log On.

2. Crie uma tabela externa do OSS.

   Sintaxe:

   CREATE TABLE <table_name> [ON cluster default]
   (
   'col_name1' col_type1,
   'col_name2' col_type2,
   ...
   )
   ENGINE = OSS('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>');

   A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição	Exemplo
   table_name	Nome da tabela.	oss_test_tb
   col_name1,col_name2	Nomes das colunas.	user_name
   col_type1,col_type2	Tipos de dados das colunas. Importante O esquema da tabela externa do OSS deve ser consistente com os dados no OSS.	String
   oss-endpoint	Endpoint interno para acessar o bucket do OSS a partir de uma instância ECS via VPC. Para mais informações, consulte Regions and endpoints. Importante Certifique-se de que o bucket do OSS e seu cluster ApsaraDB for ClickHouse estejam na mesma região.	oss-cn-hangzhou-internal.aliyuncs.com
   access-key-id	AccessKey ID do usuário RAM para acessar dados do OSS.	yourAccessKeyID
   access-key-secret	AccessKey secret do usuário RAM para acessar dados do OSS. Use um AccessKey existente ou crie um novo. Para mais informações, consulte Create an AccessKey. Importante Para reduzir o risco de vazamento do AccessKey, o AccessKey secret é exibido apenas no momento da criação e não pode ser recuperado posteriormente. Armazene o AccessKey secret de forma segura.	yourAccessKeySecret
   oss-file-path	Caminho de armazenamento do objeto, geralmente no formato oss://<bucket-name>/<path-to-file>. Nota O parâmetro oss-file-path oferece suporte a correspondência aproximada com curingas. Para mais informações, consulte Use wildcards for fuzzy matching of storage paths in OSS.	oss://ck-test-oss/test.csv
   file-format-name	Formato do objeto. Importante O valor deve ser um formato de arquivo compatível com o ClickHouse, diferenciando maiúsculas de minúsculas. Para mais informações, consulte formatos de arquivo suportados pelo ClickHouse.	CSV

   Exemplo:

   CREATE TABLE oss_test_tb ON cluster default
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = OSS('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV');

3. Consulte dados do OSS.

   SELECT * FROM oss_test_tb;

   Resultado retornado:

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Enterprise ou Community-compatible (22,8 ou posterior)

1. Faça logon no banco de dados.

   1. Faça logon no console do ApsaraDB for ClickHouse.

   2. Na página Clusters, clique em aba Clusters of Community-compatible Edition ou Enterprise Edition Clusters e, em seguida, clique em ID do cluster desejado.

   3. Na página Cluster Information, clique em Log On to Database no canto superior direito.

   4. Na caixa de diálogo Connect to Instance, insira a conta e a senha do banco de dados e clique em Log On.

2. Use uma função de tabela para consultar dados.

   Sintaxe:

   SELECT * FROM oss('https://<bucket-name>.<oss-endpoint>/<file-name>','<access-key-id>', '<access-key-secret>', '<file-format-name>', '<col_name> <col_type>(,...)');

   Os parâmetros são os mesmos utilizados na criação de uma tabela externa do OSS. Para detalhes, consulte Parameter descriptions.

   Exemplo:

   SELECT * FROM oss('http://testBucketName.oss-cn-shanghai-internal.aliyuncs.com/test.csv', 'LTAI****************', 'yourAccessKeySecret', 'CSV', 'id UInt8, user_name String, age UInt16, city String, access_url String')

   Resultado retornado:

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Community-compatible (21,8 ou anterior)

1. Faça logon no banco de dados.

   1. Faça logon no console do ApsaraDB for ClickHouse.

   2. Na página Clusters, clique em aba Clusters of Community-compatible Edition e, em seguida, clique em ID do cluster desejado.

   3. Na página Cluster Information, clique em Log On to Database no canto superior direito.

   4. Na caixa de diálogo Connect to Instance, insira a conta e a senha do banco de dados e clique em Log On.

2. Use uma função de tabela para consultar dados.

   Sintaxe:

   SELECT * FROM oss('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>', '<col_name> <col_type>(,...)');

   Os parâmetros são os mesmos utilizados na criação de uma tabela externa do OSS. Para detalhes, consulte Parameter descriptions.

   Exemplo:

   SELECT * FROM oss('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV', 'id UInt8, user_name String, age UInt16, city String, access_url String');

   Resultado retornado:

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1           | tick                | 32            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+
   Returned rows: [1], Time elapsed: [183ms]

Enterprise Edition ou Community-compatible Edition 22,8 ou posterior

Ao exportar ou gravar dados no OSS, defina s3_truncate_on_insert=1 ou s3_create_new_file_on_insert=1. Se nenhum dos parâmetros for definido ou se ambos forem definidos como 0, a operação falhará caso já exista um arquivo no caminho de destino.

• s3_truncate_on_insert=1: O ApsaraDB for ClickHouse verifique se existe um arquivo no caminho de destino.

  • Caso exista, o ClickHouse sobrescreve o arquivo existente com os novos dados.

  • Indicado para exportações ou gravações com substituição total. No entanto, prossiga com cautela, pois essa operação exclui os dados originais.

• s3_create_new_file_on_insert=1: O ClickHouse verifique se existe um arquivo no caminho de destino.

  • Se houver um arquivo existente, o ClickHouse cria um novo arquivo no diretório e grava os dados nele. O novo arquivo segue o padrão de nomenclatura: nome do arquivo alvo + número sequencial (começando em 0 e incrementando de 1 em 1) + nome do formato de arquivo.

    Por exemplo, se o arquivo alvo for test.csv, a primeira operação cria test0.csv e a segunda cria test1.csv.

  • Recomendado para exportações ou gravações incrementais, evitando a substituição de dados existentes.

Community-compatible Edition 21,8 ou anterior

Ao exportar ou gravar dados, apenas um único arquivo do OSS é utilizado. Os novos dados substituem o conteúdo do arquivo original. Prossiga com cautela.

Enterprise Edition ou Community-compatible Edition 22,8 ou posterior

CREATE TABLE <table_name> [ON cluster default]
(
'col_name1' col_type1,
'col_name2' col_type2,
...
)
ENGINE = OSS('https://<bucket-name>.<oss-endpoint>/<file-name>', '<access-key-id>', '<access-key-secret>', '<file-format-name>');

CREATE TABLE oss_test_tb ON cluster default
(
id UInt8,
user_name String,
age UInt16,
city String,
access_url String
)
ENGINE = OSS('http://ck-test-oss.oss-cn-hangzhou-internal.aliyuncs.com/test.csv', 'LTAI****************', 'yourAccessKeySecret','CSV')

Community-compatible Edition 21,8 ou anterior

CREATE TABLE <table_name> [ON cluster default]
(
'col_name1' col_type1,
'col_name2' col_type2,
...
)
ENGINE = OSS('<oss-endpoint>', '<access-key-id>', '<access-key-secret>', '<oss-file-path>', '<file-format-name>');

CREATE TABLE oss_test_tb ON cluster default
(
id UInt8,
user_name String,
age UInt16,
city String,
access_url String
)
ENGINE = OSS('oss-cn-hangzhou-internal.aliyuncs.com', 'LTAI****************', 'yourAccessKeySecret', 'oss://ck-test-oss/test.csv', 'CSV');