El comando UNLOAD exporta datos desde un proyecto de MaxCompute hacia un almacenamiento externo, como Object Storage Service (OSS) o Hologres, para que otros motores de cómputo los utilicen.
Permisos
Permisos de MaxCompute: La cuenta utilizada para la operación debe tener permiso de lectura (Select) sobre los datos de la tabla que se va a exportar. Para obtener más información sobre cómo otorgar permisos, consulte MaxCompute permissions.
-
Permisos de almacenamiento externo: Antes de exportar datos de MaxCompute a un almacenamiento externo, debe otorgar a MaxCompute los permisos necesarios para acceder a dicho almacenamiento, ya sea OSS o Hologres.
Autorización de OSS: Se admite la autorización con un solo clic para mayor seguridad. Para obtener más información, consulte Authorization solutions for accessing external data sources. Los ejemplos utilizan la autorización con un solo clic y el rol se denomina
AliyunODPSDefaultRole.Autorización de Hologres: Para completar la autorización, cree un rol de RAM, otórguele los permisos para acceder a MaxCompute y agregue el rol a la instancia de Hologres. Para obtener más información, consulte Create a Hologres foreign table (STS mode).
Exportar datos a almacenamiento externo
El comando UNLOAD utiliza el modo de anexión. Cuando exporta datos a la misma ruta de destino varias veces, el sistema no sobrescribe los archivos existentes; en su lugar, crea nuevos archivos en dicha ruta. Para sobrescribir los datos, debe limpiar manualmente la ruta de destino antes de ejecutar el comando UNLOAD.
Exportar datos a OSS
Exportar datos en formato de texto (CSV o TSV)
Este método utiliza un StorageHandler integrado para exportar datos. De forma predeterminada, se agrega la extensión de nombre de archivo .csv o .tsv a los archivos de salida.
Sintaxis
UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO | OVERWRITE
LOCATION <oss_location>
STORED BY <StorageHandler>
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)];
Configuraciones principales
Elemento de configuración | Descripción |
oss_location | La ruta de destino en OSS. El formato es |
StorageHandler | Procesador integrado:
|
SERDEPROPERTIES | Se usa para configurar las propiedades de exportación. Las propiedades más comunes son:
|
Ejemplos
Example 1: Export data in CSV format and compress the data into a GZIP file
Example 2: Export partitioned data in TSV format and compress the data
Ejemplo 1: Exportar datos en formato CSV y comprimirlos en un archivo GZIP
Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS. El siguiente código muestra los datos en la tabla sale_detail:
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
Método 1: Usar una consulta SELECT
-- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files. SET odps.stage.mapper.split.size=256; UNLOAD FROM (SELECT * FROM sale_detail) INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' STORED BY 'com.aliyun.odps.CsvStorageHandler' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true' );Método 2: Especificar directamente el nombre de la tabla (no se generan cargos por consulta)
-- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files. SET odps.stage.mapper.split.size=256; UNLOAD FROM sale_detail INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' STORED BY 'com.aliyun.odps.CsvStorageHandler' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true' ); Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato CSV y comprimido con GZIP.
Ejemplo 2: Exportar datos particionados en formato TSV y comprimirlos
Exporte los datos de las particiones donde se especifican sale_date='2013' y region='china' desde la tabla sale_detail en formato TSV y comprima los datos con GZIP.
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
SET odps.stage.mapper.split.size=256; UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china') INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' STORED BY 'com.aliyun.odps.TsvStorageHandler' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true' ); Verificar el resultado: Inicie sesión en la consola de administración de OSS y consulte el resultado de la importación en la ruta de OSS de destino. El archivo exportado es un archivo comprimido con GZIP en formato TSV.
Exportar datos en un formato de código abierto (como Parquet u ORC)
Este método permite exportar datos a diversos formatos de almacenamiento columnar de código abierto o de datos estructurados.
Sintaxis
UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO | OVERWRITE
LOCATION <oss_location>
[ROW FORMAT SERDE '<serde_class>'
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)]
]
STORED AS <file_format>
[PROPERTIES ('<tbproperty_name>'='<tbproperty_value>')];
Configuraciones principales
|
Elemento de configuración |
Descripción |
|
oss_location |
La ruta de destino en OSS. El formato es |
|
serde_class |
Especifica la biblioteca de serialización y deserialización. Por ejemplo, use |
|
SERDEPROPERTIES |
|
|
file_format |
Obligatorio. Especifica el formato de archivo, como |
|
PROPERTIES |
- |
Formatos y métodos de compresión compatibles
|
Formato de archivo |
Formatos de compresión compatibles |
Descripción |
|
PARQUET |
SNAPPY, LZO |
Un formato de almacenamiento columnar adecuado para consultas analíticas. |
|
ORC |
SNAPPY, LZO |
Un formato de almacenamiento columnar adecuado para el ecosistema Hadoop. |
|
TEXTFILE |
GZIP |
Un formato de texto que admite separadores personalizados. |
|
RCFILE |
- |
Un formato de almacenamiento híbrido de filas y columnas. |
|
SEQUENCEFILE |
- |
Un formato de archivo de secuencia de Hadoop. |
|
AVRO |
- |
Un formato de serialización de datos. |
|
JSON |
- |
Un formato JSON. |
Ejemplos
Example 1: Export data in PARQUET format and compress the data using SNAPPY
Example 3: Export data in TEXTFILE format and specify a separator
Ejemplo 1: Exportar datos en formato PARQUET y comprimirlos con SNAPPY
Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS. El siguiente código muestra los datos en la tabla sale_detail:
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
-- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files. SET odps.stage.mapper.split.size=256; UNLOAD FROM (SELECT * FROM sale_detail) INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole' ) STORED AS PARQUET PROPERTIES('mcfed.parquet.compression'='SNAPPY'); Resultado de la verificación: Inicie sesión en la consola de administración de OSS y consulte el resultado de la importación en la ruta de OSS de destino. Los archivos exportados están en formato PARQUET y comprimidos con SNAPPY.
Ejemplo 2: Exportar datos particionados en formato PARQUET
Exporte los datos de las particiones donde se especifican sale_date='2013' y region='china' desde la tabla sale_detail de MaxCompute en formato PARQUET y comprima los datos con SNAPPY. El siguiente código muestra los datos en la tabla sale_detail:
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
-- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files. SET odps.stage.mapper.split.size=256; UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china') INTO LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole') STORED AS PARQUET PROPERTIES('mcfed.parquet.compression'='SNAPPY'); Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato PARQUET y comprimido con SNAPPY.
Ejemplo 3: Exportar datos en formato TEXTFILE y especificar un separador
Exporte datos de la tabla sale_detail a un archivo TXT y utilice una coma (,) como separador.
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
-- Set the amount of data to be read from the MaxCompute table by a single worker to 256 MB. This indirectly controls the number of exported files. SET odps.sql.allow.fullscan=true; UNLOAD FROM (SELECT * FROM sale_detail) INTO LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/mc-unload/data_location/' ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('field.delim'=',') STORED AS TEXTFILE PROPERTIES ('odps.external.data.enable.extension'='true'); Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El archivo exportado está en formato TXT y utiliza comas como separadores.
Personalizar prefijos, sufijos y extensiones de nombres de archivo
Cuando utiliza el comando UNLOAD para exportar datos a OSS, puede usar propiedades en PROPERTIES o SERDEPROPERTIES para personalizar el prefijo, el sufijo y la extensión de los archivos de salida.
Sintaxis
UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO | OVERWRITE
LOCATION <oss_location>
[ROW FORMAT SERDE '<serde_class>'
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)]
]
STORED AS <file_format>
[PROPERTIES ('<tbproperty_name>'='<tbproperty_value>',...)];
Configuraciones principales
|
property_name/tbproperty_name |
Descripción |
Valor de ejemplo |
|
odps.external.data.output.prefix |
El prefijo del nombre de archivo. Puede contener letras, dígitos y guiones bajos (_). La longitud del prefijo puede ser de 1 a 10 caracteres. |
'mc_' |
|
odps.external.data.output.suffix |
El sufijo del nombre de archivo. Puede contener letras, dígitos y guiones bajos (_). |
'_hangzhou' |
|
odps.external.data.enable.extension |
Especifica si se muestran las extensiones predeterminadas como |
'true' |
|
odps.external.data.output.explicit.extension |
Una extensión de nombre de archivo personalizada. Esta propiedad tiene mayor prioridad que la extensión predeterminada. |
'jsonl' |
Referencia de sufijos
La siguiente tabla describe las extensiones que se generan automáticamente para diferentes tablas externas cuando establece el parámetro odps.external.data.enable.extension=true.
|
Formato de archivo |
SerDe |
Sufijo |
|
SEQUENCEFILE |
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
.sequencefile |
|
TEXTFILE |
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
.txt |
|
RCFILE |
org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe |
.rcfile |
|
ORC |
org.apache.hadoop.hive.ql.io.orc.OrcSerde |
.orc |
|
PARQUET |
org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe |
.parquet |
|
AVRO |
org.apache.hadoop.hive.serde2.avro.AvroSerDe |
.avro |
|
JSON |
org.apache.hive.hcatalog.data.JsonSerDe |
.json |
|
CSV |
org.apache.hadoop.hive.serde2.OpenCSVSerde |
.csv |
Cuando exporta datos comprimidos en formato SNAPPY o LZO, la extensión .snappy o .lzo no se muestra en los nombres de los archivos exportados.
Ejemplos
Example 1: Export a TEXTFILE format file and add a prefix and suffix
Example 2: Export a JSON format file and customize the file name extension
Ejemplo 1: Exportar un archivo en formato TEXTFILE y agregar un prefijo y un sufijo
Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS como un archivo TXT. El archivo se nombra con el formato mc_<system-generated>_beijing.txt. El siguiente código muestra los datos en la tabla sale_detail:
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
UNLOAD FROM (SELECT * FROM sale_detail) INTO LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/***/textfile' row format serde 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' STORED AS textfile PROPERTIES ( 'odps.external.data.output.prefix'='mc_', 'odps.external.data.output.suffix'='_beijing', 'odps.external.data.enable.extension'='true'); Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El nombre del archivo exportado es
mc_<system-generated>_beijing.txt.
Ejemplo 2: Exportar un archivo en formato JSON y personalizar la extensión del nombre de archivo
Exporte datos de la tabla sale_detail en un proyecto de MaxCompute a OSS como un archivo JSON. El archivo se nombra con el formato mc_<system-generated file name>_beijing.json. El siguiente código muestra los datos en la tabla sale_detail:
-- Partition fields: sale_date, region
+------------+-------------+-------------+------------+------------+
| shop_name | customer_id | total_price | sale_date | region |
+------------+-------------+-------------+------------+------------+
| s1 | c1 | 100.1 | 2013 | china |
| s2 | c2 | 100.2 | 2013 | china |
| s3 | c3 | 100.3 | 2013 | china |
| null | c5 | NULL | 2014 | shanghai |
| s6 | c6 | 100.4 | 2014 | shanghai |
| s7 | c7 | 100.5 | 2014 | shanghai |
+------------+-------------+-------------+------------+------------+
Procedimiento:
-
En el lado de OSS: Inicie sesión en la consola de OSS, cree la carpeta
mc-unload/data_location/en un bucket de OSS que se encuentre en la regiónoss-cn-hangzhouy luego construya una ruta de OSS. Para obtener más información sobre cómo crear un bucket de OSS, consulte Create a bucket in the console. Construya la ruta de OSS basándose en la información del bucket, la región y el endpoint. Por ejemplo:oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
UNLOAD FROM (SELECT * FROM sale_detail) INTO LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/***/json' ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' WITH SERDEPROPERTIES ( 'odps.external.data.output.prefix'='mc_', 'odps.external.data.output.suffix'='_beijing', 'odps.external.data.output.explicit.extension'='json') STORED AS JSON; Verificar el resultado: Inicie sesión en la consola de OSS y consulte los datos exportados en la ruta de OSS de destino. El nombre del archivo exportado es
mc_<system-generated file name>_beijing.json.
Exportar datos a Hologres
Límites
Autorización de doble firma: No se admite la autorización de doble firma para exportar datos a Hologres.
Tablas particionadas: No puede exportar datos a tablas particionadas de Hologres.
Mapeo de tipos: Los tipos de datos de los campos en la tabla de Hologres de destino deben corresponder a los tipos de datos de los campos en la tabla de MaxCompute. Para obtener más información, consulte Data type mapping between MaxCompute and Hologres.
Sintaxis
UNLOAD FROM {<select_statement>|<table_name> [PARTITION (<pt_spec>)]}
INTO
LOCATION <hologres_location>
STORED BY <StorageHandler>
[WITH SERDEPROPERTIES ('<property_name>'='<property_value>',...)];
Configuraciones principales
Elemento de configuración | Descripción |
hologres_location | La cadena de conexión de Java Database Connectivity (JDBC) de la tabla de Hologres de destino. El formato es |
StorageHandler | Especifica un controlador integrado. El valor es fijo: |
SERDEPROPERTIES | Este parámetro debe contener las siguientes tres propiedades:
|
Ejemplo
Exporte datos de la tabla de MaxCompute data_test a la tabla de Hologres mc_2_holo. A continuación se muestran los datos de la tabla data_test:
+------------+------+
| id | name |
+------------+------+
| 3 | rgege |
| 4 | Gegegegr |
+------------+------+
Procedimiento:
-
En el lado de Hologres: Cree la tabla de destino
mc_2_holoen Hologres.CREATE TABLE mc_2_holo (id INT, name TEXT); -
En el lado de MaxCompute: Inicie sesión en un MaxCompute client y ejecute el comando UNLOAD.
UNLOAD FROM (SELECT * FROM data_test) INTO LOCATION 'jdbc:postgresql://hgprecn-cn-5y**********-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute¤tSchema=public&useSSL=false&table=mc_2_holo/' STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::13**************:role/aliyunodpsholorole', 'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 'odps.federation.jdbc.target.db.type'='holo' ); -
Compruebe el resultado: Consulte los datos exportados en Hologres.
SELECT * FROM mc_2_holo;Se devuelve el siguiente resultado:
id name 4 Gegegegr 3 rgege
Facturación
-
Facturación de comandos
El comando UNLOAD en sí no genera cargos.
Facturación de cláusulas de consulta: La cláusula de consulta en un comando UNLOAD escanea datos y utiliza recursos de cómputo para generar los datos exportados. Por lo tanto, esta cláusula se factura como un trabajo SQL estándar.
-
Estimación de costos
Almacenar datos estructurados en OSS y almacenarlos en MaxCompute tiene ventajas distintas. Para reducir costos al exportar datos desde MaxCompute, realice una estimación integral que incluya los costos directos de almacenamiento, los cambios en el volumen de datos y los costos de consultas posteriores.
-
Costos directos de almacenamiento
MaxCompute ofrece las clases de almacenamiento Estándar, Acceso poco frecuente (IA) y Archivo. Todas las clases admiten almacenamiento redundante por zona. Para más información sobre la facturación de almacenamiento, consulte Storage fees.
OSS también proporciona clases de almacenamiento Estándar, IA y Archivo, todas compatibles con el almacenamiento redundante por zona. El precio de cada clase es el mismo que en MaxCompute. Además, OSS ofrece las clases Archivo frío y Archivo frío profundo, que son más económicas pero no admiten almacenamiento redundante por zona. Para más información, consulte OSS storage fees.
-
Cambios en el volumen de datos
Los datos importados a MaxCompute tienen una relación de compresión aproximada de 5:1. La facturación se basa en la cantidad de datos después de la compresión.
Para los datos almacenados en OSS, debe especificar y mantener el formato de datos y el método de compresión. Para más información sobre los formatos y métodos de compresión compatibles con la exportación de datos desde MaxCompute, consulte OSS foreign tables. Si los datos no están comprimidos, el volumen aumentará tras la exportación a OSS.
-
Costos de consultas posteriores
Los datos almacenados en MaxCompute pueden consultarse en cualquier momento. No obstante, si utiliza clases como Acceso poco frecuente o Archivo, deberá pagar tarifas adicionales de acceso para leer los datos. Si los datos se almacenan en clases no estándar de OSS, como Acceso poco frecuente, Archivo o Archivo frío, también se generan cargos por recuperación. Asimismo, si los datos se eliminan o recuperan antes de cumplir el periodo mínimo de almacenamiento requerido por su clase, es posible que deba pagar tarifas por eliminación anticipada.
-
Referencias
Para importar datos en formato CSV u otros formatos de código abierto desde almacenamiento externo hacia MaxCompute, consulte LOAD.