Utilice la instrucción LOAD para cargar datos desde almacenes externos (por ejemplo, OSS, Hologres, Amazon Redshift o BigQuery) hacia una tabla o partición de MaxCompute.
Descripción general
MaxCompute utiliza el comando LOAD OVERWRITE o LOAD INTO para importar datos en formato CSV u otros formatos de código abierto. Estos datos provienen de un almacenamiento externo, como Hologres, OSS, Amazon Redshift y BigQuery, y se cargan en una tabla o partición de MaxCompute.
Antes de cargar los datos de Amazon Redshift y BigQuery en MaxCompute, debe importarlos primero a OSS.
MaxCompute emplea particionamiento dinámico para cargar datos en tablas particionadas.
El comando
LOAD INTOagrega datos a una tabla o partición. Por su parte, el comandoLOAD OVERWRITEborra primero la tabla o partición y después inserta los datos nuevos.
Restricciones
Requisitos de permisos
-
Permisos de MaxCompute
Permisos CreateTable y Alter: son obligatorios para crear tablas o modificar datos de tablas en un proyecto de MaxCompute. Para obtener instrucciones, consulte MaxCompute permissions.
-
Permisos de almacenamiento externo
Permisos de OSS: debe otorgar a MaxCompute los permisos necesarios para acceder a OSS (leer y listar objetos). Para mayor seguridad, utilice el modo STS en la autorización. Para más información, consulte Authorize access in STS mode.
Permisos de Hologres: para autorizar a MaxCompute a acceder a Hologres, cree un rol de RAM, asígnele los permisos requeridos y agregue dicho rol a la instancia de Hologres. Para más detalles, consulte Create a Hologres external table (STS mode).
Otras restricciones
El comando LOAD no admite parámetros de lista de permitidos ni de lista de denegados.
El almacenamiento externo y el proyecto de MaxCompute de destino deben estar en la misma región.
-
Al cargar datos desde OSS:
El esquema de la tabla particionada de destino (sin incluir las columnas de partición) debe coincidir con el esquema de los datos externos. El esquema de los datos externos no debe contener las columnas de partición.
-
Al cargar datos desde Hologres:
No es posible cargar datos de una tabla particionada de Hologres en MaxCompute.
MaxCompute no puede cargar datos de una tabla externa de Hologres que utilice el modo de autorización de firma dual.
Carga de datos
OSS y Hologres
Cargar datos desde OSS o Hologres
Sintaxis del comando
{LOAD OVERWRITE|INTO} TABLE <table_name> [PARTITION (<pt_spec>)]
FROM LOCATION <external_location>
STORED BY <StorageHandler>
[WITH SERDEPROPERTIES (<Options>)];
Parámetros
OSS
Hologres
Ejemplos
OSS
Este ejemplo muestra cómo cargar datos mediante un extractor integrado (StorageHandler). Supone que MaxCompute y OSS pertenecen a la misma cuenta de Alibaba Cloud, y demuestra cómo cargar datos del archivo vehicle.csv en MaxCompute a través de la red interna de Alibaba Cloud.
-
Guarde el archivo vehicle.csv en el directorio
mc-test/data_location/de un bucket de OSS en la regiónoss-cn-hangzhou. Después, construya la ruta del directorio de OSS. Para más información sobre cómo crear un bucket de OSS, consulte Create a bucket.La ruta del directorio de OSS se construye con la información del bucket, la región y el endpoint, de la siguiente manera:
oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ -
Inicie sesión en MaxCompute client (odpscmd) para crear la tabla de destino
ambulance_data_csv_load. Comando de ejemplo:CREATE TABLE ambulance_data_csv_load ( vehicleId INT, recordId INT, patientId INT, calls INT, locationLatitude DOUBLE, locationLongitude DOUBLE, recordTime STRING, direction STRING ); -
Ejecute el comando
load overwritepara cargar el archivovehicle.csvde OSS en la tabla de destino. Comando de ejemplo:LOAD OVERWRITE TABLE ambulance_data_csv_load FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/' STORED BY 'com.aliyun.odps.CsvStorageHandler' WITH SERDEPROPERTIES ( -- The ARN of AliyunODPSDefaultRole. You can obtain it on the RAM role management page. 'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole', 'odps.text.option.delimiter'=',' );Para consultar el ARN de un rol, vea View a RAM role.
-
Compruebe los datos de la tabla de destino
ambulance_data_csv_load. Comando de ejemplo:-- Enable a full table scan. This setting is valid only for the current session. set odps.sql.allow.fullscan=true; SELECT * FROM ambulance_data_csv_load; -- The following result is returned: +------------+------------+------------+------------+------------------+-------------------+------------+------------+ | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime | direction | +------------+------------+------------+------------+------------------+-------------------+------------+------------+ | 1 | 1 | 51 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | | 1 | 2 | 13 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | | 1 | 3 | 48 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | | 1 | 4 | 30 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | W | | 1 | 5 | 47 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | | 1 | 6 | 9 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | | 1 | 7 | 53 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | | 1 | 8 | 63 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | SW | | 1 | 9 | 4 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | | 1 | 10 | 31 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | +------------+------------+------------+------------+------------------+-------------------+------------+------------+
Hologres
-
Escenario
Ya se crearon una instancia y una base de datos de Hologres, además de una tabla dentro de dicha base de datos.
Se creó una tabla externa de Hologres en MaxCompute. Puede consultar los datos de la tabla de Hologres mediante esta tabla externa.
-- Query the Hologres external table: SELECT * FROM holo_ext; -- The following result is returned: +------------+------+ | id | name | +------------+------+ | 1 | abc | | 2 | ereg | +------------+------+ -
A continuación se muestra cómo usar el comando LOAD para cargar datos de esta tabla de Hologres en una tabla interna de MaxCompute.
-
Cree una tabla interna de MaxCompute.
-- Create an internal table. CREATE TABLE from_holo(id BIGINT, name STRING); -
Utilice el comando LOAD para cargar los datos en MaxCompute.
-- Load data from the Hologres table into a MaxCompute internal table. LOAD INTO TABLE from_holo FROM LOCATION 'jdbc:postgresql://hgprecn-cn-wwo3ft0l****-cn-beijing-internal.hologres.aliyuncs.com:80/<YOUR_HOLO_DB_NAME>?application_name=MaxCompute¤tSchema=public&useSSL=false&table=<YOUR_HOLOGRES_TABLE_NAME>/' STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='acs:ram::18927322887*****:role/hologresrole', 'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 'odps.federation.jdbc.target.db.type'='holo' );
-
-
Consulte la tabla para ver el resultado.
SELECT * FROM from_holo; -- The following result is returned: +------------+------+ | id | name | +------------+------+ | 2 | ereg | | 1 | abc | +------------+------+
Otros formatos de código abierto
Cargar datos en otros formatos de código abierto
El tamaño de un solo archivo que se va a cargar no puede superar los 3 GB. Si un archivo es demasiado grande, divídalo antes de cargarlo.
Sintaxis del comando
{LOAD OVERWRITE|INTO} TABLE <table_name> [PARTITION (<pt_spec>)]
FROM LOCATION <external_location>
[ROW FORMAT SERDE '<serde_class>'
[WITH SERDEPROPERTIES (<Options>)]
]
STORED AS <file_format>;
Parámetros
Ejemplos
Misma cuenta
Propiedad de la misma cuenta
Este ejemplo muestra cómo cargar datos del archivo vehicle.textfile en MaxCompute a través de la red interna de Alibaba Cloud.
Si MaxCompute y OSS pertenecen a cuentas de Alibaba Cloud distintas, consulte Authorization in STS mode.
-
Guarde el archivo vehicle.textfile en el directorio
mc-test/data_location/de un bucket de OSS en la regiónoss-cn-hangzhou. Después, construya la ruta del directorio de OSS. Para más información sobre cómo crear un bucket de OSS, consulte Create a bucket.La ruta del directorio de OSS se construye con la información del bucket, la región y el endpoint, de la siguiente manera:
oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ -
Inicie sesión en MaxCompute client (odpscmd) para crear la tabla de destino
ambulance_data_textfile_load_pt. Comando de ejemplo:CREATE TABLE ambulance_data_textfile_load_pt ( vehicleId STRING, recordId STRING, patientId STRING, calls STRING, locationLatitude STRING, locationLongitude STRING, recordTime STRING, direction STRING ) PARTITIONED BY ( ds STRING ); -
Ejecute el comando
load overwritepara cargar el archivovehicle.textfilede OSS en la tabla de destino. Comando de ejemplo:LOAD OVERWRITE TABLE ambulance_data_textfile_load_pt PARTITION(ds='20200910') FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/' ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('field.delim' = ',') STORED AS TEXTFILE; -
Compruebe los datos de la tabla de destino ambulance_data_textfile_load_pt. Comando de ejemplo:
-- Enable a full table scan. This setting is valid only for the current session. SET odps.sql.allow.fullscan=true; SELECT * FROM ambulance_data_textfile_load_pt; -- The following result is returned: +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+ | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime | direction | ds | +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+ | 1 | 1 | 51 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | | 1 | 2 | 13 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200910 | | 1 | 3 | 48 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200910 | | 1 | 4 | 30 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | W | 20200910 | | 1 | 5 | 47 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | | 1 | 6 | 9 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | | 1 | 7 | 53 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | 20200910 | | 1 | 8 | 63 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | SW | 20200910 | | 1 | 9 | 4 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200910 | | 1 | 10 | 31 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | 20200910 | +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
Particiones dinámicas
Cargar datos mediante particiones dinámicas
Puede utilizar particiones dinámicas para cargar datos cuando los subdirectorios de OSS tienen nombres basados en pares clave-valor de partición, como ds=20200909/.
-
Guarde los archivos vehicle1.csv y vehicle2.csv en los directorios
mc-test/data_location/ds=20200909/ymc-test/data_location/ds=20200910/de un bucket de OSS en la regiónoss-cn-hangzhou, respectivamente. Después, construya las rutas de los directorios de OSS. Para más información sobre cómo crear un bucket de OSS, consulte Create a bucket.Las rutas de los directorios de OSS se construyen con la información del bucket, la región y el endpoint, de la siguiente manera:
oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200909/' oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200910/' -
Inicie sesión en MaxCompute client (odpscmd) para crear la tabla de destino
ambulance_data_csv_load_dynpt. Comando de ejemplo:CREATE TABLE ambulance_data_csv_load_dynpt ( vehicleId STRING, recordId STRING, patientId STRING, calls STRING, locationLatitude STRING, locationLongitude STRING, recordTime STRING, direction STRING ) PARTITIONED BY ( ds STRING ); -
Ejecute el comando
load overwritepara cargar los archivos de OSS en la tabla de destino. Comando de ejemplo:LOAD OVERWRITE TABLE ambulance_data_csv_load_dynpt PARTITION(ds) FROM LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/' ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' STORED AS TEXTFILE; -
Compruebe los datos de la tabla de destino
ambulance_data_csv_load_dynpt. Comando de ejemplo:-- Enable a full table scan. This setting is valid only for the current session. SET odps.sql.allow.fullscan=true; SELECT * FROM ambulance_data_csv_load_dynpt; -- The following result is returned: +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+ | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime | direction | ds | +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+ | 1 | 7 | 53 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | 20200909 | | 1 | 8 | 63 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | SW | 20200909 | | 1 | 9 | 4 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200909 | | 1 | 10 | 31 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | N | 20200909 | | 1 | 1 | 51 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | | 1 | 2 | 13 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200910 | | 1 | 3 | 48 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | NE | 20200910 | | 1 | 4 | 30 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | W | 20200910 | | 1 | 5 | 47 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | | 1 | 6 | 9 | 1 | 46.81006 | -92.08174 | 9/14/2014 0:00 | S | 20200910 | +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
Facturación
El comando LOAD carga datos externos en el almacén de datos. Con el modelo pay-as-you-go no se cobra por el volumen de datos importados, y con el modelo de suscripción no se cobran tareas individuales. Sin embargo, todas las tareas LOAD consumen recursos de cómputo de su resource group.
Referencias
Para exportar datos de un proyecto de MaxCompute a un almacenamiento externo, como OSS o Hologres, y que otros motores de cómputo los utilicen, consulte UNLOAD.