ApsaraDB for SelectDB:Veri aktarmak için OSS Load kullanın

LOAD LABEL <load_label>
(
    data_desc1[, data_desc2, ...]
)
WITH S3
(
    "AWS_PROVIDER" = "OSS",
    "AWS_REGION" = "<region>",
    "AWS_ENDPOINT" = "<endpoint>",
    "AWS_ACCESS_KEY" = "<AccessKey ID>",
    "AWS_SECRET_KEY" = "<AccessKey secret>"
)
PROPERTIES
(
    "key1" = "value1", ...
);

Veri açıklaması (data_desc)

Her data_desc bloğu, aktarılacak bir dosya grubunu tanımlar. Tam söz dizimi şöyledir:

[MERGE|APPEND|DELETE]
DATA INFILE
(
    "file_path1"[, "file_path2", ...]
)
[NEGATIVE]
INTO TABLE `<table_name>`
[PARTITION (p1, p2, ...)]
[COLUMNS TERMINATED BY "<column_separator>"]
[FORMAT AS "<file_type>"]
[(column_list)]
[COLUMNS FROM PATH AS (c1, c2, ...)]
[PRECEDING FILTER predicate]
[SET (column_mapping)]
[WHERE predicate]
[DELETE ON expr]
[ORDER BY source_sequence]
[PROPERTIES ("key1"="value1", ...)]

OSS bağlantı parametreleri (WITH S3)

İş özellikleri (PROPERTIES)

CREATE TABLE test_table
(
    id int,
    name varchar(50),
    age int,
    address varchar(50),
    url varchar(500)
)
DISTRIBUTED BY HASH(id) BUCKETS 4
PROPERTIES("replication_num" = "1");

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com

LOAD LABEL test_db.test_label_1
(
    DATA INFILE("s3://your_bucket_name/test_file.txt")
    INTO TABLE test_table
    COLUMNS TERMINATED BY ","
)
WITH S3
(
    "AWS_PROVIDER" = "OSS",
    "AWS_REGION" = "oss-cn-beijing",
    "AWS_ENDPOINT" = "oss-cn-beijing-internal.aliyuncs.com",
    "AWS_ACCESS_KEY" = "<your_access_key>",
    "AWS_SECRET_KEY" = "<your_secret_key>"
)
PROPERTIES
(
    "timeout" = "3600"
);

İş durumunu kontrol etme

OSS Load eşzamansızdır. İşi gönderdikten sonra ilerlemeyi takip etmek için SHOW LOAD komutunu kullanın.

SHOW LOAD
[FROM <db_name>]
[
   WHERE
   [LABEL [ = "your_label" | LIKE "label_matcher"]]
   [STATE = ["PENDING"|"ETL"|"LOADING"|"FINISHED"|"CANCELLED"]]
]
[ORDER BY ...]
[LIMIT limit][OFFSET offset];

Örnekler:

example_db veritabanında etiketleri 2014_01_02 ile eşleşen işleri sorgulayın ve en eski 10 tanesini döndürün:

SHOW LOAD FROM example_db WHERE LABEL LIKE "2014_01_02" LIMIT 10;

Belirli bir işi sorgulayın ve başlangıç zamanına göre sıralayın:

SHOW LOAD FROM example_db WHERE LABEL = "load_example_db_20140102" ORDER BY LoadStartTime DESC;

Şu anda LOADING durumunda olan işleri sorgulayın:

SHOW LOAD FROM example_db WHERE LABEL = "load_example_db_20140102" AND STATE = "LOADING";

Sayfalama ile sorgulama yapın (ilk 5 kaydı atlayın, sonraki 10 kaydı döndürün):

SHOW LOAD FROM example_db ORDER BY LoadStartTime DESC LIMIT 5,10;
SHOW LOAD FROM example_db ORDER BY LoadStartTime DESC LIMIT 10 OFFSET 5;

Aktarma işini iptal etme

Henüz FINISHED veya CANCELLED durumunda olmayan bir işi iptal edin. İptal işleminin ardından, iş tarafından yazılan tüm veriler geri alınır.

CANCEL LOAD
[FROM <db_name>]
WHERE [LABEL = "<load_label>" | LABEL LIKE "<label_pattern>"];

Örnekler:

Belirli bir işi iptal edin:

CANCEL LOAD
FROM example_db
WHERE LABEL = "example_db_test_load_label";

Etiketleri example_ ile başlayan tüm işleri iptal edin:

CANCEL LOAD
FROM example_db
WHERE LABEL LIKE "example_";

Aktarma zaman aşımına uğruyor

Varsayılan zaman aşımı süresi 4 saattir (14400 saniye). Bir iş bu sınırı aşarsa, zaman aşımını basitçe artırmaktan kaçının; bir iş geç aşamada başarısız olursa uzun yeniden denemeler maliyetli olur.

Bunun yerine, büyük dosyaları daha küçük parçalara bölün ve birden fazla işle aktarın.

Veri hacminiz uygun aralıkta olmasına rağmen iş hala zaman aşımına uğruyorsa, daha fazla görevi eşzamanlı çalıştırmak için load_parallelism değerini artırın ve ardından timeout değerini buna göre ayarlayın.