AnalyticDB:Uso de una tabla externa para importar datos de OSS

Paso 1: Instalar la extensión oss_ext

Ejecute la siguiente instrucción en cada base de datos que requiera acceso a OSS:

CREATE EXTENSION IF NOT EXISTS oss_ext;

Paso 2: Distribuir los archivos de origen para lecturas en paralelo

Cada nodo de cómputo utiliza un mecanismo de sondeo para reclamar objetos de OSS. Para obtener el mejor throughput, establezca la cantidad de objetos de OSS como un múltiplo entero del número de nodos de cómputo de su instancia. Por ejemplo, si tiene 4 nodos de cómputo, use 4, 8 o 12 objetos.

Para obtener más información sobre cómo los nodos de cómputo distribuyen el trabajo, consulte Overview of OSS foreign tables.

Paso 3: Crear una tabla externa de lectura

CREATE [READABLE] EXTERNAL TABLE tablename
    ( columnname datatype [, ...] | LIKE othertable )
    LOCATION ('ossprotocol')
    FORMAT 'TEXT'
        [( [HEADER]
           [DELIMITER [AS] 'delimiter' | 'OFF']
           [NULL [AS] 'null string']
           [ESCAPE [AS] 'escape' | 'OFF']
           [NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF']
           [FILL MISSING FIELDS] )]
       | 'CSV'
        [( [HEADER]
           [QUOTE [AS] 'quote']
           [DELIMITER [AS] 'delimiter']
           [NULL [AS] 'null string']
           [FORCE NOT NULL column [, ...]]
           [ESCAPE [AS] 'escape']
           [NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF']
           [FILL MISSING FIELDS] )]
    [ ENCODING 'encoding' ]
    [ [LOG ERRORS [INTO error_table]] SEGMENT REJECT LIMIT count
           [ROWS | PERCENT] ]
ossprotocol:
    oss://oss_endpoint [prefix=prefix_name|dir=[folder/[folder/]...]/file_name|filepath=[folder/[folder/]...]/file_name]
     id=userossid key=userosskey bucket=ossbucket compressiontype=[none|gzip] async=[true|false]

Parámetros obligatorios

Parámetros de ruta (mutuamente excluyentes: especifique exactamente uno)

Parámetros opcionales

Paso 4: (Opcional) Comprobar que la tabla externa permite lectura

Antes de ejecutar la importación completa, confirme que la tabla externa puede leer desde OSS:

-- Check a sample of rows
SELECT * FROM <External table> LIMIT 10;

-- Inspect the query plan to confirm parallel reads
EXPLAIN INSERT INTO <Destination table> SELECT * FROM <External table>;

El plan de consulta debe mostrar nodos External Scan ejecutándose en todos los segmentos. Esto confirma que los nodos de cómputo leerán los objetos de OSS en paralelo.

Paso 5: Ejecutar la importación en paralelo

INSERT INTO <Destination table> SELECT * FROM <External table>;

Cada nodo de cómputo lee los objetos de OSS asignados e inserta las filas en la tabla de destino. El nodo de movimiento de redistribución calcula el hash de las filas y las enruta a los nodos de cómputo correctos según la clave de distribución.

CREATE EXTENSION IF NOT EXISTS oss_ext;

CREATE TABLE example
    (date text, time text, open float,
     high float, low float, volume int)
    DISTRIBUTED BY (date);

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    prefix=osstest/example id=XXX
    key=XXX bucket=testbucket compressiontype=gzip')
    FORMAT 'csv' (QUOTE '''' DELIMITER E'\t')
    ENCODING 'utf8'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    dir=osstest/ id=XXX
    key=XXX bucket=testbucket')
    FORMAT 'csv'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    filepath=osstest/example.csv id=XXX
    key=XXX bucket=testbucket')
    FORMAT 'csv'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

INSERT INTO example SELECT * FROM ossexample;

EXPLAIN INSERT INTO example SELECT * FROM ossexample;
                                            QUERY PLAN
-------------------------------------------------------------------------------------------------
 Insert (slice0; segments: 4)  (rows=250000 width=92)
   ->  Redistribute Motion 4:4  (slice1; segments: 4)  (cost=0.00..11000.00 rows=250000 width=92)
         Hash Key: ossexample.date
         ->  External Scan on ossexample  (cost=0.00..11000.00 rows=250000 width=92)
(4 rows)

Revisión de errores de importación

Si utilizó LOG ERRORS al crear la tabla externa, recupere las filas con errores mediante la siguiente instrucción:

SELECT * FROM gp_read_error_log('external_table_name');

Para borrar el registro de errores después de revisarlo, ejecute:

SELECT gp_truncate_error_log('external_table_name');

El registro de errores se elimina automáticamente cuando se borra la tabla externa.

Interpretación de los campos de error del SDK

Los errores del SDK de OSS en el registro de importación incluyen los siguientes campos:

Para obtener detalles sobre los códigos de error de OSS, consulte Respuestas de error.

Corrección de errores de tiempo de espera

Ajuste oss_speed_limit y oss_speed_time de manera conjunta para configurar el comportamiento de los tiempos de espera. Para conocer el manejo general de tiempos de espera en OSS, consulte Manejo de erroresManejo de errores.