AnalyticDB:Exportar datos a OSS

Requisitos previos

• Cree un directorio en Object Storage Service (OSS) para los datos de AnalyticDB for MySQL:

  1. Activate OSS.

     Nota

     El bucket de OSS y su clúster de AnalyticDB for MySQL Data Warehouse Edition (V3.0) deben estar en la misma región.

  2. Create a bucket.

  3. Create a directory in OSS.

     Por ejemplo, cree un directorio llamado adb_data/ en OSS. Los datos exportados desde AnalyticDB for MySQL Data Warehouse Edition (V3.0) se almacenan en este directorio.

• Debe haber creado un clúster de Data Warehouse Edition (V3.0), configurado su lista de permitidos, y creado una cuenta y una base de datos. Para obtener más información, consulte Quick start for AnalyticDB for MySQL.

Procedimiento

Este ejemplo exporta datos de la tabla source_table de la base de datos adb_demo de AnalyticDB for MySQLData Warehouse Edition a la carpeta adb_data en OSS.

1. Connect to the target cluster y vaya a la base de datos de origen.

2. En la base de datos adb_demo, cree una tabla externa. Para obtener más información, consulte Non-partitioned OSS external tables.

3. Ejecute una instrucción de escritura para copiar los datos de origen a la tabla externa creada previamente. Para obtener información sobre la sintaxis compatible con los distintos tipos de tablas externas, consulte Syntax for non-partitioned external tables y Syntax for partitioned external tables.

4. Una vez completado el trabajo de escritura del paso 3, inicie sesión en la consola de OSS para consultar los archivos de datos exportados en la carpeta de destino. También puede consultar directamente los datos exportados a la tabla externa desde AnalyticDB for MySQL.

Sintaxis para tablas externas sin particiones

• Insert select from

  • Descripción: Si sus datos ya existen en otra tabla, puede utilizar INSERT SELECT FROM para copiarlos a una tabla externa. Esta instrucción escribe los datos de la tabla de origen en la ubicación de OSS de la tabla externa. Cada operación de escritura genera nuevos archivos de datos en OSS.

    Importante

    Debe escribir todas las columnas en la tabla externa. No puede especificar solo un subconjunto de columnas.

    Sintaxis:

    INSERT INTO table_name 
    SELECT select_statement FROM from_statement;       

    Ejemplo:

    insert into oss_table select col1, col2, col3 from source_table;

• Insert overwrite select

  • Descripción: Utilice INSERT OVERWRITE SELECT para realizar una inserción masiva en una tabla. Si la tabla externa de destino ya contiene datos, esta instrucción primero elimina todos los archivos de datos existentes en la ruta de la tabla externa y luego genera nuevos archivos de datos en OSS.

    Importante

    Debe escribir todas las columnas en la tabla externa. No puede especificar solo un subconjunto de columnas.

    Sintaxis:

    INSERT OVERWRITE table_name 
    SELECT select_statement FROM from_statement;

    Ejemplo:

    INSERT OVERWRITE oss_table 
    SELECT col1, col2, col3 FROM source_table;

• Replace select from

  • Descripción: Dado que las tablas externas de OSS no admiten claves primarias, REPLACE SELECT FROM se comporta de manera idéntica a INSERT SELECT FROM. Copia los datos a otra tabla. Los datos existentes en la tabla de destino permanecen sin cambios y los nuevos datos se anexan como nuevos archivos de datos en OSS.

• Exportar a un único archivo de OSS (solo formato CSV; no compatible con formato Parquet)

  • Descripción: Puede utilizar un hint para exportar datos a un único archivo específico en OSS. Si se incluye la palabra clave OVERWRITE, se sobrescribe cualquier archivo existente con el mismo nombre en el directorio definido en TABLE_PROPERTIES de la tabla externa. Los demás archivos del directorio no se ven afectados.

    Importante

    Debe escribir todas las columnas en la tabla externa. No puede especificar solo un subconjunto de columnas.

    Notas sobre versiones:

    • Para clústeres de AnalyticDB for MySQL anteriores a la V3.1.2: Esta función no es compatible. El sistema genera automáticamente los nombres de los archivos y exporta los datos en varios archivos. El número de archivos de destino se determina dinámicamente según la concurrencia del trabajo.

    • Para clústeres de AnalyticDB for MySQL versión 3.1.2 y posteriores, puede utilizar un hint para exportar tablas externas regulares en formato CSV de AnalyticDB for MySQL a un único archivo en OSS. También puede personalizar el nombre del archivo durante la exportación. Sin un hint, el comportamiento de exportación es consistente con el de las versiones anteriores a la 3.1.2: los datos se exportan a varios archivos.

    Sintaxis:

    /*+output_filename=adb.txt*/INSERT [OVERWRITE] table_name 
    SELECT select_statement FROM from_statement;

    Ejemplo:

    /*+output_filename=adb.txt*/INSERT [OVERWRITE] oss_table 
    SELECT * FROM source_table;

Sintaxis para tablas externas con particiones

Por ejemplo, considere una tabla con particiones que tiene dos columnas de clave de partición y tres columnas regulares. La clave de partición de primer nivel es pcol1 con un valor de 1, y la clave de partición de segundo nivel es pcol2 con un valor de a. Los datos de la tabla con particiones se exportan a la ruta de OSS adb_data/. Cuando escribe datos en la partición donde pcol1=1 y pcol2=a, la ruta relativa del archivo de datos es adb_data/pcol1=1/pcol2=a/. Los archivos de datos CSV o Parquet resultantes no contienen los valores de pcol1 y pcol2. Solo contienen los valores de las tres columnas regulares.

• Insert into partition select from

Función: El comando INSERT INTO PARTITION SELECT FROM realiza una inserción masiva de datos en una tabla externa con particiones. Al escribir datos, puede utilizar la cláusula PARTITION para especificar todas las columnas y valores de partición. Alternativamente, puede especificar solo los valores de partición de nivel superior y permitir que las particiones de nivel inferior se generen dinámicamente. También puede omitir por completo la cláusula PARTITION, lo que genera dinámicamente todos los niveles de partición.

Cuando se escriben los datos, se anexan a la partición correspondiente. Cada operación de escritura genera nuevos archivos de datos en OSS.

Debe escribir todas las columnas en la tabla externa. No puede especificar solo un subconjunto de columnas.

Particiones totalmente estáticas

INSERT INTO table_name PARTITION(par1=val1,par2=val2,...) 
SELECT select_statement FROM from_statement;

INSERT INTO oss_table_par PARTITION(par1=val1,par2=val2) 
select col1, col2, col3 FROM source_table;

Particiones parcialmente estáticas y parcialmente dinámicas

INSERT INTO table_name PARTITION(par1=val1,par2,...) 
SELECT select_statement FROM from_statement;

INSERT INTO oss_table_par PARTITION(par1=val1,par2) 
SELECT col1, col2, col3, par2col FROM source_table;

Particiones totalmente dinámicas

INSERT INTO table_name 
SELECT select_statement FROM from_statement;

INSERT INTO oss_table_par
SELECT col1, col2, col3, par1col, par2col FROM source_table;

• Insert overwrite partition select

Función: El uso es el mismo que INSERT INTO PARTITION SELECT. Sin embargo, este comando también elimina los archivos de datos existentes de las particiones de destino involucradas en la ejecución. Los archivos de datos en particiones que no reciben nuevos datos no se eliminan.

INSERT OVERWRITE table_name PARTITION(par1=val1,par2=val2,...)[IF NOT EXISTS] 
SELECT select_statement FROM from_statement;

INSERT OVERWRITE oss_table_par PARTITION(par1=val1,par2=val2) IF NOT EXISTS 
SELECT col1, col2, col3 FROM source_table;

• Replace into partition select from

Descripción: Dado que las tablas externas no admiten claves primarias, REPLACE INTO PARTITION SELECT FROM se comporta de manera idéntica a INSERT INTO PARTITION SELECT FROM.

Sintaxis no compatible

Las tablas externas de AnalyticDB for MySQL no admiten la sintaxis de escritura a nivel de fila. Específicamente, las instrucciones INSERT INTO VALUES y REPLACE INTO VALUES no son compatibles.