MaxCompute:Tablas externas de Tablestore

Contexto

Tablestore es un servicio de almacenamiento de datos NoSQL basado en el sistema distribuido Apsara de Alibaba Cloud. Este servicio proporciona almacenamiento y acceso en tiempo real a grandes volúmenes de datos estructurados. Para obtener más información, consulte Documentación de Tablestore.

Puede usar DataWorks junto con MaxCompute para crear, buscar, consultar, configurar, procesar y analizar tablas externas de manera visual. Para obtener más información, consulte External tables.

Notas de uso

• Asegúrese de que exista conectividad de red entre MaxCompute y Tablestore. Cuando acceda a los datos de Tablestore desde MaxCompute en la nube pública, se recomienda utilizar el endpoint privado de Tablestore. El endpoint privado termina en ots-internal.aliyuncs.com, por ejemplo, tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com.

• Tablestore y MaxCompute utilizan sistemas de tipos de datos distintos. En la siguiente tabla se muestran las correspondencias entre los tipos de datos compatibles con Tablestore y MaxCompute.

  Tipo de MaxCompute	Tipo de Tablestore
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• Las tablas externas de Tablestore no admiten el atributo de agrupamiento (clustering).

Requisitos previos

• Tiene los permisos necesarios para acceder a Tablestore. Para obtener más información sobre la autorización, consulte STS authorization for Tablestore.

• Ya creó una instancia, una tabla y los datos correspondientes en Tablestore. Para obtener más información, consulte Quick Start for wide table model.

Descripción de permisos

• Al acceder a tablas externas de Tablestore, los datos se leen mediante el rol especificado en el parámetro odps.properties.rolearn. Esto aplica sin importar si utiliza una cuenta de Alibaba Cloud, un usuario de RAM o un rol de RAM. Por lo tanto, debe crear un rol de RAM, otorgarle permisos para acceder a Tablestore y configurar el ARN del rol en el parámetro odps.properties.rolearn.

• El rol se puede crear mediante autorización con un solo clic o mediante autorización personalizada. Para obtener más información, consulte Authorization for external data sources. Si necesita detalles sobre el parámetro odps.properties.rolearn, consulte Parameter description.

Crear una tabla externa

MaxCompute ofrece la función de tablas externas. Con ellas puede importar datos de Tablestore al sistema de metadatos de MaxCompute para su procesamiento. En esta sección se explica cómo crear una tabla externa de Tablestore.

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
  odps_orderkey bigint,
  odps_orderdate string,
  odps_custkey bigint,
  odps_orderstatus string,
  odps_totalprice double,
  odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
  'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
  'tablestore.table.name'='ots_tpch_orders',
  'odps.properties.rolearn'='acs:ram::xxxxx:role/<role_name>',
  'tablestore.read.mode'='permissive',
  'tablestore.corrupt.column'='ColumnName',
  'tablestore.timestamp.ticks.unit'='seconds',
  'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
  'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

SET odps.sql.unstructured.tablestore.put.row=true;

DESC extended <table_name>;

Consultar datos en la tabla externa

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

Cuando accede a datos de Tablestore mediante instrucciones SQL de MaxCompute, todas las operaciones —como la selección de nombres de columna— se ejecutan en MaxCompute. En el ejemplo anterior, los nombres de las columnas son odps_orderkey y odps_totalprice, en lugar de la columna de clave principal o_orderkey y la columna de atributo o_totalprice de la tabla de Tablestore. Esto ocurre porque las correspondencias se definen en la instrucción DDL utilizada para crear la tabla externa. También puede conservar los nombres originales de las columnas de clave principal y de atributos de Tablestore según sus necesidades.

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

internal_orders es una tabla de MaxCompute que admite todas las funciones de una tabla interna de este servicio. Utiliza un almacenamiento en columnas comprimido de forma eficiente y contiene macrodatos internos completos, además de información estadística. Al estar almacenada en MaxCompute, el acceso a internal_orders es más rápido que a una tabla de Tablestore. Este método resulta adecuado para datos que requieren múltiples cálculos.

Exportar datos de MaxCompute a Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

Tablestore es un servicio de almacenamiento de datos NoSQL que guarda la información en formato de pares clave-valor. Los datos que exporta MaxCompute afectan únicamente las filas que contienen las claves principales de la tabla de Tablestore. En este ejemplo, solo se modifican las filas que incluyen odps_orderkey y odps_orderdate. Además, solo se actualizan las columnas de atributos especificadas al crear la tabla ots_table_external; las columnas que no forman parte de la tabla externa permanecen sin cambios.

Ejemplos de procesamiento de datos dañados

1. Cree una tabla de Tablestore llamada mf_ots_test y prepare los datos. Para obtener más información, consulte Quick Start for wide table model.

   En el siguiente código de ejemplo se muestran los datos predeterminados de la tabla de Tablestore.

   +----+-----------+---------------------------+
   | id | name      | desc                      |
   +----+-----------+---------------------------+
   | 1  | Zhang San | Zhang San's description   |
   +----+-----------+---------------------------+

2. Cree una tabla externa de MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
     'tablestore.columns.mapping'=':id,name,desc',
     'tablestore.table.name'='mf_ots_test',
     'tablestore.read.mode'='permissive',
     'tablestore.corrupt.column'='corrupt_col',
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. Ejecute el siguiente código para consultar los datos de la tabla externa de MaxCompute:

   -- Query data
   SELECT * FROM mf_ots_external_permi;

   Se devuelve el siguiente resultado. El campo con errores se escribe en la columna corrupt_col en formato JSON.

   +------------+------------+--------------------------+------------------------+
   | id         | name       | desc                     | corrupt_col            |
   +------------+------------+--------------------------+------------------------+
   | 1          | NULL       | Description of Zhang San | {"name": "\"Zhang San\""} |
   +------------+------------+--------------------------+------------------------+

   Nota

   Si no configura tablestore.read.mode o lo establece en permissive, pero no define tablestore.corrupt.column para indicar dónde escribir los datos dañados, recibirá el mensaje de error "Columns not match with columns mapping and corrupt column" al consultar la tabla externa.

Preguntas frecuentes