MaxCompute:Tabelas externas do Tablestore

Visão geral

Tablestore é um service de armazenamento de dados NoSQL desenvolvido sobre o sistema distribuído Apsara da Alibaba Cloud. O Tablestore oferece armazenamento e acesso em tempo real a grandes volumes de dados estruturados. Para mais informações, consulte Tablestore documentation.

Você pode usar o DataWorks com o MaxCompute para crie, pesquisar, consultar, configure, processar e analisar tabelas externas de forma visual. Para mais informações, consulte External tables.

Notas de uso

• Garanta a conectividade de rede entre o MaxCompute e o Tablestore. Ao acessar dados do Tablestore a partir do MaxCompute na cloud pública, recomendamos usar o endpoint privado do Tablestore. O endpoint privado termina com ots-internal.aliyuncs.com, por exemplo, tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com.

• O Tablestore e o MaxCompute utilizam sistemas de tipos de dados distintos. A tabela a seguir apresenta os mapeamentos entre os tipos de dados suportados pelo Tablestore e pelo MaxCompute.

  MaxCompute Type	Tablestore Type
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• As tabelas externas do Tablestore não suportam o atributo de clustering.

Pré-requisitos

• Você deve ter as permissões necessárias para acessar o Tablestore. Para mais informações sobre autorização, consulte STS authorization for Tablestore.

• Uma instância, uma tabela e os dados do Tablestore devem estar criados. Para mais informações, consulte Quick Start for wide table model.

Descrição de permissões

• Ao acessar tabelas externas do Tablestore, os dados são acessados por meio da função especificada no parâmetro odps.properties.rolearn, independentemente de você estar usando uma conta Alibaba Cloud, um usuário RAM ou uma função RAM. Portanto, crie uma função RAM, conceda a ela permissões para acessar o Tablestore e, em seguida, configure o ARN da função no parâmetro odps.properties.rolearn.

• Crie uma função por meio de autorização com um clique ou de autorização personalizada. Para mais informações, consulte Authorization for external data sources. Para uma descrição detalhada do parâmetro odps.properties.rolearn, consulte Parameter description.

Criar uma tabela externa

O MaxCompute oferece o recurso de tabela externa. Com as tabelas externas, você pode importar dados do Tablestore para o sistema de metadados do MaxCompute e processá-los. A seção a seguir descreve como criar uma tabela externa do Tablestore.

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
  odps_orderkey bigint,
  odps_orderdate string,
  odps_custkey bigint,
  odps_orderstatus string,
  odps_totalprice double,
  odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
  'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
  'tablestore.table.name'='ots_tpch_orders',
  'odps.properties.rolearn'='acs:ram::xxxxx:role/<role_name>',
  'tablestore.read.mode'='permissive',
  'tablestore.corrupt.column'='ColumnName',
  'tablestore.timestamp.ticks.unit'='seconds',
  'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
  'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

SET odps.sql.unstructured.tablestore.put.row=true;

DESC extended <table_name>;

Consultar dados na tabela externa

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

Ao acessar dados do Tablestore via instruções SQL do MaxCompute, todas as operações — como a selecione de nomes de colunas — são realizadas no MaxCompute. No exemplo anterior, os nomes das colunas são odps_orderkey e odps_totalprice, e não os nomes da coluna de chave primária o_orderkey e da coluna de atributo o_totalprice da tabela do Tablestore. Isso ocorre porque os mapeamentos são definidos na instrução DDL usada para criar a tabela externa. Você também pode preservar os nomes das colunas de chave primária e de atributo da tabela do Tablestore, conforme necessário.

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

internal_orders é uma tabela do MaxCompute que suporta todos os recursos de uma tabela interna do MaxCompute. A tabela internal_orders utiliza armazenamento colunar com compressão eficiente e contém dados macro internos completos e informações estatísticas. Por estar armazenada no MaxCompute, a tabela internal_orders é acessada com muito mais rapidez do que uma tabela do Tablestore. Esse método é indicado para dados que precisam ser processados múltiplas vezes.

Exportar dados do MaxCompute para o Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

O Tablestore é um service de armazenamento NoSQL que armazena dados no formato de par chave-valor. As saídas de dados do MaxCompute afetam apenas as linhas que contêm as chaves primárias da tabela do Tablestore. Neste exemplo, apenas as linhas que incluem odps_orderkey e odps_orderdate são afetadas. Somente as colunas de atributo especificadas na criação da tabela ots_table_external são atualizadas. As colunas não incluídas na tabela externa não são modificadas.

Exemplos de processamento de dados corrompidos

1. Crie uma tabela do Tablestore chamada mf_ots_test e prepare os dados. Para mais informações, consulte Quick Start for wide table model.

   O código de exemplo a seguir mostra os dados padrão da tabela do Tablestore.

   +----+-----------+---------------------------+
   | id | name      | desc                      |
   +----+-----------+---------------------------+
   | 1  | Zhang San | Zhang San's description   |
   +----+-----------+---------------------------+

2. Crie uma tabela externa do MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
     'tablestore.columns.mapping'=':id,name,desc',
     'tablestore.table.name'='mf_ots_test',
     'tablestore.read.mode'='permissive',
     'tablestore.corrupt.column'='corrupt_col',
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. Execute o código a seguir para consultar os dados na tabela externa do MaxCompute:

   -- Query data
   SELECT * FROM mf_ots_external_permi;

   O resultado a seguir é retornado. O campo de erro é gravado na coluna corrupt_col no formato JSON.

   +------------+------------+--------------------------+------------------------+
   | id         | name       | desc                     | corrupt_col            |
   +------------+------------+--------------------------+------------------------+
   | 1          | NULL       | Description of Zhang San | {"name": "\"Zhang San\""} |
   +------------+------------+--------------------------+------------------------+

   Nota

   Se tablestore.read.mode não estiver configurado ou estiver definido como permissive, mas tablestore.corrupt.column não estiver configurado para especifique a coluna na qual os dados corrompidos serão gravados, a mensagem de erro "Columns not match with columns mapping and corrupt column" será retornada ao consultar a tabela externa.

Perguntas frequentes