AnalyticDB:Harici tablo kullanarak OSS'den veri içe aktarma

Adım 1: oss_ext uzantısını yükleme

OSS erişimi gereken her veritabanında aşağıdaki ifadeyi çalıştırın:

CREATE EXTENSION IF NOT EXISTS oss_ext;

Adım 2: Paralel okuma için kaynak dosyaları dağıtma

Her bir hesaplama düğümü, OSS nesnelerini talep etmek için bir yoklama mekanizması kullanır. En iyi aktarım hızını elde etmek için OSS nesnelerinin sayısını, örneğinizdeki hesaplama düğümü sayısının tam katı olacak şekilde ayarlayın. Örneğin, 4 hesaplama düğümünüz varsa 4, 8 veya 12 nesne kullanın.

Hesaplama düğümlerinin işi nasıl dağıttığı hakkında daha fazla bilgi için bkz. OSS yabancı tablolarına genel bakış.

Adım 3: Okunabilir bir harici tablo oluşturma

CREATE [READABLE] EXTERNAL TABLE tablename
    ( columnname datatype [, ...] | LIKE othertable )
    LOCATION ('ossprotocol')
    FORMAT 'TEXT'
        [( [HEADER]
           [DELIMITER [AS] 'delimiter' | 'OFF']
           [NULL [AS] 'null string']
           [ESCAPE [AS] 'escape' | 'OFF']
           [NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF']
           [FILL MISSING FIELDS] )]
       | 'CSV'
        [( [HEADER]
           [QUOTE [AS] 'quote']
           [DELIMITER [AS] 'delimiter']
           [NULL [AS] 'null string']
           [FORCE NOT NULL column [, ...]]
           [ESCAPE [AS] 'escape']
           [NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF']
           [FILL MISSING FIELDS] )]
    [ ENCODING 'encoding' ]
    [ [LOG ERRORS [INTO error_table]] SEGMENT REJECT LIMIT count
           [ROWS | PERCENT] ]
ossprotocol:
    oss://oss_endpoint [prefix=prefix_name|dir=[folder/[folder/]...]/file_name|filepath=[folder/[folder/]...]/file_name]
     id=userossid key=userosskey bucket=ossbucket compressiontype=[none|gzip] async=[true|false]

Gerekli parametreler

Yol parametreleri (birbirini dışlar — yalnızca birini belirtin)

İsteğe bağlı parametreler

Adım 4: (İsteğe bağlı) Harici tablonun okunabilir olduğunu doğrulama

Tam içe aktarmayı çalıştırmadan önce harici tablonun OSS'den okuma yapabildiğini onaylayın:

-- Check a sample of rows
SELECT * FROM <External table> LIMIT 10;

-- Inspect the query plan to confirm parallel reads
EXPLAIN INSERT INTO <Destination table> SELECT * FROM <External table>;

Sorgu planı, tüm segmentlerde çalışan External Scan düğümlerini göstermeli ve böylece hesaplama düğümlerinin OSS nesnelerini paralel olarak okuyacağını doğrulamalıdır.

Adım 5: Paralel içe aktarmayı çalıştırma

INSERT INTO <Destination table> SELECT * FROM <External table>;

Her bir hesaplama düğümü, kendisine atanmış OSS nesnelerini okur ve satırları hedef tabloya ekler. Yeniden dağıtım hareket düğümü, satırları karmaştırır ve dağıtım anahtarına göre bunları doğru hesaplama düğümlerine yönlendirir.

CREATE EXTENSION IF NOT EXISTS oss_ext;

CREATE TABLE example
    (date text, time text, open float,
     high float, low float, volume int)
    DISTRIBUTED BY (date);

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    prefix=osstest/example id=XXX
    key=XXX bucket=testbucket compressiontype=gzip')
    FORMAT 'csv' (QUOTE '''' DELIMITER E'\t')
    ENCODING 'utf8'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    dir=osstest/ id=XXX
    key=XXX bucket=testbucket')
    FORMAT 'csv'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

CREATE READABLE EXTERNAL TABLE ossexample
    (date text, time text, open float, high float,
    low float, volume int)
    location('oss://oss-cn-hangzhou.aliyuncs.com
    filepath=osstest/example.csv id=XXX
    key=XXX bucket=testbucket')
    FORMAT 'csv'
    LOG ERRORS SEGMENT REJECT LIMIT 5;

INSERT INTO example SELECT * FROM ossexample;

EXPLAIN INSERT INTO example SELECT * FROM ossexample;
                                            QUERY PLAN
-------------------------------------------------------------------------------------------------
 Insert (slice0; segments: 4)  (rows=250000 width=92)
   ->  Redistribute Motion 4:4  (slice1; segments: 4)  (cost=0.00..11000.00 rows=250000 width=92)
         Hash Key: ossexample.date
         ->  External Scan on ossexample  (cost=0.00..11000.00 rows=250000 width=92)
(4 rows)

İçe aktarma hatalarını inceleme

Harici tabloyu oluştururken LOG ERRORS kullandıysanız, başarısız olan satırları şu komutla alın:

SELECT * FROM gp_read_error_log('external_table_name');

İnceledikten sonra hata günlüğünü temizlemek için:

SELECT gp_truncate_error_log('external_table_name');

Harici tabloyu sildiğinizde hata günlüğü otomatik olarak silinir.

SDK hata alanlarını yorumlama

İçe aktarma günlüğündeki OSS SDK hataları aşağıdaki alanları içerir:

OSS hata kodları hakkında ayrıntılı bilgi için bkz. Hata yanıtları.

Zaman aşımı hatalarını düzeltme

Zaman aşımı davranışını ayarlamak için oss_speed_limit ve oss_speed_time değerlerini birlikte ayarlayın. Genel OSS zaman aşımı işleme hakkında bilgi için bkz. Hata işlemeHata işleme.