Todos los productos
Search
Centro de documentos

MaxCompute:UNLOAD

Última actualización: Sep 03, 2026

El comando UNLOAD exporta datos desde un proyecto de MaxCompute hacia un almacenamiento externo, como Object Storage Service (OSS) o Hologres, para que otros motores de cómputo los utilicen.

Permisos

  • Permisos de MaxCompute: La cuenta utilizada para la operación debe tener permiso de lectura (Select) sobre los datos de la tabla que se va a exportar. Para obtener más información sobre cómo otorgar permisos, consulte MaxCompute permissions.

  • Permisos de almacenamiento externo: Antes de exportar datos de MaxCompute a un almacenamiento externo, debe otorgar a MaxCompute los permisos necesarios para acceder a dicho almacenamiento, ya sea OSS o Hologres.

    • Autorización de OSS: Se admite la autorización con un solo clic para mayor seguridad. Para obtener más información, consulte Authorization solutions for accessing external data sources. Los ejemplos utilizan la autorización con un solo clic y el rol se denomina AliyunODPSDefaultRole.

    • Autorización de Hologres: Para completar la autorización, cree un rol de RAM, otórguele los permisos para acceder a MaxCompute y agregue el rol a la instancia de Hologres. Para obtener más información, consulte Create a Hologres foreign table (STS mode).

Exportar datos a almacenamiento externo

El comando UNLOAD utiliza el modo de anexión. Cuando exporta datos a la misma ruta de destino varias veces, el sistema no sobrescribe los archivos existentes; en su lugar, crea nuevos archivos en dicha ruta. Para sobrescribir los datos, debe limpiar manualmente la ruta de destino antes de ejecutar el comando UNLOAD.

Exportar datos a OSS

Exportar datos en formato de texto (CSV o TSV)

Este método utiliza un StorageHandler integrado para exportar datos. De forma predeterminada, se agrega la extensión de nombre de archivo .csv o .tsv a los archivos de salida.

Sintaxis

UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]} 
INTO | OVERWRITE
LOCATION <oss_location>
STORED BY <StorageHandler>
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)];

Configuraciones principales

Elemento de configuración

Descripción

oss_location

La ruta de destino en OSS. El formato es oss://<oss_endpoint>/<bucket>/<object_path>.

StorageHandler

Procesador integrado:

  • 'com.aliyun.odps.CsvStorageHandler': exporta datos en formato CSV.

  • 'com.aliyun.odps.TsvStorageHandler': exporta datos en formato TSV.

SERDEPROPERTIES

Se usa para configurar las propiedades de exportación. Las propiedades más comunes son:

  • 'odps.properties.rolearn': Obligatorio. El nombre de recurso de Alibaba Cloud (ARN) del rol de RAM que se utiliza para acceder a OSS.

  • 'odps.text.option.gzip.output.enabled'='true': Comprime el archivo exportado en formato GZIP.

Ejemplos

Ejemplo 1: Exportar datos en formato CSV y comprimirlos en un archivo GZIP

Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS. El siguiente código muestra los datos en la tabla sale_detail:

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    Método 1: Usar una consulta SELECT

    -- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files.
    SET odps.stage.mapper.split.size=256;
    
    UNLOAD FROM (SELECT * FROM sale_detail)
    INTO
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
    STORED BY 'com.aliyun.odps.CsvStorageHandler'
    WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 
        'odps.text.option.gzip.output.enabled'='true'
    );

    Método 2: Especificar directamente el nombre de la tabla (no se generan cargos por consulta)

    -- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files.
    SET odps.stage.mapper.split.size=256;
    
    UNLOAD FROM sale_detail 
    INTO
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
    STORED BY 'com.aliyun.odps.CsvStorageHandler'
    WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 
        'odps.text.option.gzip.output.enabled'='true'
    );
  3. Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato CSV y comprimido con GZIP.

Ejemplo 2: Exportar datos particionados en formato TSV y comprimirlos

Exporte los datos de las particiones donde se especifican sale_date='2013' y region='china' desde la tabla sale_detail en formato TSV y comprima los datos con GZIP.

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    SET odps.stage.mapper.split.size=256;
    
    UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china')
    INTO
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
    STORED BY 'com.aliyun.odps.TsvStorageHandler'
    WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 
        'odps.text.option.gzip.output.enabled'='true'
    );
  3. Verificar el resultado: Inicie sesión en la consola de administración de OSS y consulte el resultado de la importación en la ruta de OSS de destino. El archivo exportado es un archivo comprimido con GZIP en formato TSV.

Exportar datos en un formato de código abierto (como Parquet u ORC)

Este método permite exportar datos a diversos formatos de almacenamiento columnar de código abierto o de datos estructurados.

Sintaxis

UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO | OVERWRITE
LOCATION <oss_location>
[ROW FORMAT SERDE '<serde_class>' 
  [WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)]
]
STORED AS <file_format>
[PROPERTIES ('<tbproperty_name>'='<tbproperty_value>')];

Configuraciones principales

Elemento de configuración

Descripción

oss_location

La ruta de destino en OSS. El formato es oss://<oss_endpoint>/<bucket>/<object_path>.

serde_class

Especifica la biblioteca de serialización y deserialización. Por ejemplo, use org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe para Parquet.

SERDEPROPERTIES

'odps.properties.rolearn': Obligatorio. El ARN del rol de RAM que se utiliza para acceder a OSS.

file_format

Obligatorio. Especifica el formato de archivo, como PARQUET, ORC, TEXTFILE o JSON.

PROPERTIES

- 'mcfed.parquet.compression'='SNAPPY': Especifica el formato de compresión para archivos Parquet. Se admiten SNAPPY y LZO.- 'odps.text.option.gzip.output.enabled'='true': Especifica la compresión GZIP para TextFile.

Formatos y métodos de compresión compatibles

Formato de archivo

Formatos de compresión compatibles

Descripción

PARQUET

SNAPPY, LZO

Un formato de almacenamiento columnar adecuado para consultas analíticas.

ORC

SNAPPY, LZO

Un formato de almacenamiento columnar adecuado para el ecosistema Hadoop.

TEXTFILE

GZIP

Un formato de texto que admite separadores personalizados.

RCFILE

-

Un formato de almacenamiento híbrido de filas y columnas.

SEQUENCEFILE

-

Un formato de archivo de secuencia de Hadoop.

AVRO

-

Un formato de serialización de datos.

JSON

-

Un formato JSON.

Ejemplos

Ejemplo 1: Exportar datos en formato PARQUET y comprimirlos con SNAPPY

Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS. El siguiente código muestra los datos en la tabla sale_detail:

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    -- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files.
    SET odps.stage.mapper.split.size=256;
    
    UNLOAD FROM (SELECT * FROM sale_detail) 
    INTO  
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' 
    ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole'
    ) 
    STORED AS PARQUET 
    PROPERTIES('mcfed.parquet.compression'='SNAPPY');
  3. Resultado de la verificación: Inicie sesión en la consola de administración de OSS y consulte el resultado de la importación en la ruta de OSS de destino. Los archivos exportados están en formato PARQUET y comprimidos con SNAPPY.

Ejemplo 2: Exportar datos particionados en formato PARQUET

Exporte los datos de las particiones donde se especifican sale_date='2013' y region='china' desde la tabla sale_detail de MaxCompute en formato PARQUET y comprima los datos con SNAPPY. El siguiente código muestra los datos en la tabla sale_detail:

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    -- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files.
    SET odps.stage.mapper.split.size=256;
    
    UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china') 
    INTO 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' 
    ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole') 
    STORED AS PARQUET 
    PROPERTIES('mcfed.parquet.compression'='SNAPPY');
  3. Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato PARQUET y comprimido con SNAPPY.

Ejemplo 3: Exportar datos en formato TEXTFILE y especificar un separador

Exporte datos de la tabla sale_detail a un archivo TXT y utilice una coma (,) como separador.

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    -- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files.
    SET odps.sql.allow.fullscan=true; 
    
    UNLOAD FROM (SELECT * FROM sale_detail)
    INTO
    LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/mc-unload/data_location/'
    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
    WITH SERDEPROPERTIES ('field.delim'=',')
    STORED AS TEXTFILE
    PROPERTIES ('odps.external.data.enable.extension'='true');
  3. Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato TXT y utiliza comas como separadores.

Personalizar prefijos, sufijos y extensiones de nombres de archivo

Cuando utiliza el comando UNLOAD para exportar datos a OSS, puede usar propiedades en PROPERTIES o SERDEPROPERTIES para personalizar el prefijo, el sufijo y la extensión de los archivos de salida.

Sintaxis

UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO | OVERWRITE
LOCATION <oss_location>
[ROW FORMAT SERDE '<serde_class>' 
  [WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)]
]
STORED AS <file_format>
[PROPERTIES ('<tbproperty_name>'='<tbproperty_value>',...)];

Configuraciones principales

property_name/tbproperty_name

Descripción

Valor de ejemplo

odps.external.data.output.prefix

El prefijo del nombre de archivo. Puede contener letras, dígitos y guiones bajos (_). La longitud del prefijo puede ser de 1 a 10 caracteres.

'mc_'

odps.external.data.output.suffix

El sufijo del nombre de archivo. Puede contener letras, dígitos y guiones bajos (_).

'_hangzhou'

odps.external.data.enable.extension

Especifica si se muestran las extensiones predeterminadas como .tx y .parquet.

'true'

odps.external.data.output.explicit.extension

Una extensión de nombre de archivo personalizada. Esta propiedad tiene mayor prioridad que la extensión predeterminada.

'jsonl'

Referencia de sufijos

La siguiente tabla describe las extensiones que se generan automáticamente para diferentes tablas externas cuando establece el parámetro odps.external.data.enable.extension=true.

Formato de archivo

SerDe

Sufijo

SEQUENCEFILE

org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

.sequencefile

TEXTFILE

org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

.txt

RCFILE

org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe

.rcfile

ORC

org.apache.hadoop.hive.ql.io.orc.OrcSerde

.orc

PARQUET

org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe

.parquet

AVRO

org.apache.hadoop.hive.serde2.avro.AvroSerDe

.avro

JSON

org.apache.hive.hcatalog.data.JsonSerDe

.json

CSV

org.apache.hadoop.hive.serde2.OpenCSVSerde

.csv

Nota

Cuando exporta datos comprimidos en formato SNAPPY o LZO, la extensión .snappy o .lzo no se muestra en los nombres de los archivos exportados.

Ejemplos

Ejemplo 1: Exportar un archivo en formato TEXTFILE y agregar un prefijo y un sufijo

Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS como un archivo TXT. El archivo se nombra con el formato mc_<system-generated>_beijing.txt. El siguiente código muestra los datos en la tabla sale_detail:

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    UNLOAD FROM (SELECT * FROM sale_detail) 
    INTO 
    LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/***/textfile' 
    row format serde 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
    STORED AS textfile
    PROPERTIES (
        'odps.external.data.output.prefix'='mc_', 
        'odps.external.data.output.suffix'='_beijing',
        'odps.external.data.enable.extension'='true');
  3. Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El nombre del archivo exportado es mc_<system-generated>_beijing.txt.

Ejemplo 2: Exportar un archivo en formato JSON y personalizar la extensión del nombre de archivo

Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS como un archivo JSON. El archivo se nombra con el formato mc_<system-generated file name>_beijing.json. El siguiente código muestra los datos en la tabla sale_detail:

-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

Procedimiento:

  1. En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta mc-unload/data_location/ en un bucket de OSS que se encuentre en la región oss-cn-hangzhou y luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:

    oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    UNLOAD FROM (SELECT * FROM sale_detail) 
    INTO 
    LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/***/json' 
    ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
    WITH SERDEPROPERTIES (
        'odps.external.data.output.prefix'='mc_', 
        'odps.external.data.output.suffix'='_beijing',
        'odps.external.data.output.explicit.extension'='json')
    STORED AS JSON;
  3. Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El nombre del archivo exportado es mc_<system-generated file name>_beijing.json.

Exportar datos a Hologres

Límites

  • Autorización de doble firma: No se admite la autorización de doble firma para exportar datos a Hologres.

  • Tablas particionadas: No puede exportar datos a tablas particionadas de Hologres.

  • Mapeo de tipos: Los tipos de datos de los campos en la tabla de Hologres de destino deben corresponder a los tipos de datos de los campos en la tabla de MaxCompute. Para obtener más información, consulte Data type mapping between MaxCompute and Hologres.

Sintaxis

UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]} 
INTO 
LOCATION <hologres_location>
STORED BY <StorageHandler>
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)];

Configuraciones principales

Elemento de configuración

Descripción

hologres_location

La cadena de conexión de Java Database Connectivity (JDBC) de la tabla de Hologres de destino. El formato es 'jdbc:postgresql://<endpoint>:<port>/<database>?ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/'.

StorageHandler

Especifica un controlador integrado. El valor es fijo: com.aliyun.odps.jdbc.JdbcStorageHandler, que utiliza el método de conexión JdbcStorageHandler.

SERDEPROPERTIES

Este parámetro debe contener las siguientes tres propiedades:

  • 'odps.properties.rolearn'='<ram_arn>': El ARN del rol de RAM que se utiliza para acceder a Hologres.

  • 'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver': El controlador JDBC de Hologres.

  • 'odps.federation.jdbc.target.db.type'='holo': El tipo de la base de datos de destino.

Ejemplo

Exporte datos de la tabla de MaxCompute data_test a la tabla de Hologres mc_2_holo. A continuación se muestran los datos de la tabla data_test:

+------------+------+
| id         | name |
+------------+------+
| 3          | rgege |
| 4          | Gegegegr |
+------------+------+

Procedimiento:

  1. En el lado de Hologres: Cree la tabla de destino mc_2_holo en Hologres.

    CREATE TABLE mc_2_holo (id INT, name TEXT);
  2. En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.

    UNLOAD FROM (SELECT * FROM data_test) 
    INTO 
    LOCATION 'jdbc:postgresql://hgprecn-cn-5y**********-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=mc_2_holo/'  
    STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
    WITH SERDEPROPERTIES ( 
      'odps.properties.rolearn'='acs:ram::13**************:role/aliyunodpsholorole',
      'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
      'odps.federation.jdbc.target.db.type'='holo'
    );
  3. Compruebe el resultado: Consulte los datos exportados en Hologres.

    SELECT * FROM mc_2_holo;

    Se devuelve el siguiente resultado:

    id	name
    4	Gegegegr
    3	rgege

Facturación

  • Facturación de comandos

    • El comando UNLOAD en sí no genera cargos.

    • Facturación de cláusulas de consulta: La cláusula de consulta en un comando UNLOAD escanea datos y utiliza recursos de cómputo para generar los datos exportados. Por lo tanto, esta cláusula se factura como un trabajo SQL estándar.

  • Estimación de costos

    Almacenar datos estructurados en OSS y almacenarlos en MaxCompute tiene ventajas distintas. Para reducir costos al exportar datos desde MaxCompute, realice una estimación integral que incluya los costos directos de almacenamiento, los cambios en el volumen de datos y los costos de consultas posteriores.

    • Costos directos de almacenamiento

      • MaxCompute ofrece las clases de almacenamiento Estándar, Acceso poco frecuente (IA) y Archivo. Todas las clases admiten almacenamiento redundante por zona. Para más información sobre la facturación de almacenamiento, consulte Storage fees.

      • OSS también proporciona clases de almacenamiento Estándar, IA y Archivo, todas compatibles con el almacenamiento redundante por zona. El precio de cada clase es el mismo que en MaxCompute. Además, OSS ofrece las clases Archivo frío y Archivo frío profundo, que son más económicas pero no admiten almacenamiento redundante por zona. Para más información, consulte OSS storage fees.

    • Cambios en el volumen de datos

      Los datos importados a MaxCompute tienen una relación de compresión aproximada de 5:1. La facturación se basa en la cantidad de datos después de la compresión.

      Para los datos almacenados en OSS, debe especificar y mantener el formato de datos y el método de compresión. Para más información sobre los formatos y métodos de compresión compatibles con la exportación de datos desde MaxCompute, consulte OSS foreign tables. Si los datos no están comprimidos, el volumen aumentará tras la exportación a OSS.

    • Costos de consultas posteriores

      Los datos almacenados en MaxCompute pueden consultarse en cualquier momento. No obstante, si utiliza clases como Acceso poco frecuente o Archivo, deberá pagar tarifas adicionales de acceso para leer los datos. Si los datos se almacenan en clases no estándar de OSS, como Acceso poco frecuente, Archivo o Archivo frío, también se generan cargos por recuperación. Asimismo, si los datos se eliminan o recuperan antes de cumplir el periodo mínimo de almacenamiento requerido por su clase, es posible que deba pagar tarifas por eliminación anticipada.

Referencias

Para importar datos en formato CSV u otros formatos de código abierto desde almacenamiento externo hacia MaxCompute, consulte LOAD.