MaxCompute:Tabelas externas do Tablestore

Contexto

O Tablestore é um serviço de armazenamento de dados NoSQL desenvolvido sobre o sistema distribuído Apsara da Alibaba Cloud. Ele oferece armazenamento e acesso em tempo real a grandes volumes de dados estruturados. Para mais informações, consulte Documentação do Tablestore.

Use o DataWorks com o MaxCompute para criar, pesquisar, consultar, configurar, processar e analisar tabelas externas visualmente. Para mais detalhes, acesse Tabelas externas.

Observações de uso

• Garanta a conectividade de rede entre o MaxCompute e o Tablestore. Ao acessar dados do Tablestore a partir do MaxCompute na nuvem pública, use o endpoint privado do Tablestore. Esse endpoint termina com ots-internal.aliyuncs.com, por exemplo: tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com.

• Os sistemas de tipos de dados do Tablestore e do MaxCompute são diferentes. A tabela a seguir apresenta os mapeamentos entre os tipos suportados por ambos.

  Tipo no MaxCompute	Tipo no Tablestore
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• Tabelas externas do Tablestore não suportam o atributo de clustering.

Pré-requisitos

• Você deve ter permissões de acesso ao Tablestore. Para detalhes sobre autorização, consulte Autorização STS para Tablestore.

• Crie uma instância, uma tabela e dados no Tablestore. Para mais informações, veja Início rápido para modelo de tabela ampla.

Criar uma tabela externa

O MaxCompute oferece o recurso de tabelas externas, que permite importar dados do Tablestore para o sistema de metadados do MaxCompute visando seu processamento. A seção a seguir explica como criar uma tabela externa do Tablestore.

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
  odps_orderkey bigint,
  odps_orderdate string,
  odps_custkey bigint,
  odps_orderstatus string,
  odps_totalprice double,
  odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
  'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
  'tablestore.table.name'='ots_tpch_orders',
  'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
  'tablestore.read.mode'='permissive',
  'tablestore.corrupt.column'='ColumnName',
  'tablestore.timestamp.ticks.unit'='seconds',
  'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
  'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

SET odps.sql.unstructured.tablestore.put.row=true;

DESC extended <table_name>;

Consultar dados na tabela externa

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

Ao acessar dados do Tablestore via SQL do MaxCompute, todas as operações — incluindo a seleção de colunas — ocorrem dentro do MaxCompute. No exemplo anterior, utilizam-se os nomes odps_orderkey e odps_totalprice, e não os nomes originais da chave primária (o_orderkey) e da coluna de atributo (o_totalprice) do Tablestore. Isso acontece porque os mapeamentos foram definidos na instrução DDL de criação da tabela externa. Se preferir, mantenha os nomes originais das chaves primárias e colunas de atributos do Tablestore conforme sua necessidade.

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

A tabela internal_orders é uma tabela nativa do MaxCompute e suporta todos os recursos desse tipo de tabela. Ela utiliza armazenamento colunar altamente comprimido e mantém metadados internos completos, além de informações estatísticas. Por residir no MaxCompute, o acesso a internal_orders é mais rápido do que a consulta direta ao Tablestore. Essa abordagem é ideal para dados que exigem processamento recorrente.

Exportar dados do MaxCompute para o Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

Como o Tablestore é um serviço de armazenamento NoSQL baseado em pares chave-valor, a saída de dados do MaxCompute afeta apenas as linhas que contêm as chaves primárias da tabela de destino. Neste exemplo, somente as linhas com odps_orderkey e odps_orderdate são impactadas. Apenas as colunas de atributos especificadas durante a criação da tabela ots_table_external serão atualizadas; as demais permanecem inalteradas.

Exemplos de tratamento de dados corrompidos

1. Crie uma tabela no Tablestore chamada mf_ots_test e prepare os dados. Consulte Início rápido para modelo de tabela ampla para orientações.

   O código abaixo mostra os dados padrão dessa tabela.

   +----+-----------+---------------------------+
   | id | name      | desc                      |
   +----+-----------+---------------------------+
   | 1  | Zhang San | Zhang San's description   |
   +----+-----------+---------------------------+

2. Crie uma tabela externa no MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
     'tablestore.columns.mapping'=':id,name,desc',
     'tablestore.table.name'='mf_ots_test',
     'tablestore.read.mode'='permissive',
     'tablestore.corrupt.column'='corrupt_col',
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. Execute o código a seguir para consultar os dados da tabela externa do MaxCompute:

   -- Query data
   SELECT * FROM mf_ots_external_permi;

   O resultado retornado é exibido abaixo. O campo com erro foi gravado na coluna corrupt_col em formato JSON.

   +------------+------------+--------------------------+------------------------+
   | id         | name       | desc                     | corrupt_col            |
   +------------+------------+--------------------------+------------------------+
   | 1          | NULL       | Description of Zhang San | {"name": "\"Zhang San\""} |
   +------------+------------+--------------------------+------------------------+

   Nota

   Se tablestore.read.mode não estiver configurado ou estiver definido como permissive, mas tablestore.corrupt.column não especificar a coluna para gravação de dados corrompidos, a consulta à tabela externa retornará a mensagem de erro "Columns not match with columns mapping and corrupt column".

Perguntas frequentes