MaxCompute:OSS external tables

Sözdizimi

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
STORED AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

Parametreler

Aşağıdaki parametreler tüm harici tablo biçimlerinde ortaktır. Biçime özgü parametreler için her biçimin belgelerine bakın.

• Temel sözdizimi parametreleri

  Parametre	Gerekli	Açıklama
  mc_oss_extable_name	Evet	Oluşturulacak OSS harici tablosunun adı. Tablo adları büyük/küçük harfe duyarlı değildir ve belirli bir büyük/küçük harf durumuna zorla dönüştürülemez.
  col_name	Evet	OSS harici tablosundaki bir sütunun adı. Harici tablonun şeması, OSS veri dosyasının şemasıyla eşleşmelidir. Aksi takdirde veriler okunamaz.
  data_type	Evet	OSS harici tablosundaki bir sütunun veri türü. Her sütunun veri türü, OSS veri dosyasındaki karşılık gelen sütunla eşleşmelidir. Aksi takdirde veriler okunamaz.
  table_comment	Hayır	Tablo için açıklama. Açıklama, 1.024 baytı aşmayan geçerli bir dize olmalıdır. Aksi takdirde hata bildirilir.
  partitioned by (col_name data_type, ...)	Hayır	OSS'deki veri dosyaları bölümlenmiş bir yolda depolanıyorsa, bölümlenmiş bir tablo oluşturmak için bu parametreyi ekleyin. col_name: Bölüm anahtar sütununun adı. data_type: Bölüm anahtar sütununun veri türü.
  '<(tb)property_name>'='<(tb)property_value>'	Evet	Harici tablonun genişletilmiş özellikleri. Ayrıntılar için biçime özgü belgelere bakın.
  oss_location	Evet	Veri dosyalarının bulunduğu OSS yolu. Varsayılan olarak, bu yoldaki tüm veri dosyaları okunur. Biçim şöyledir: oss://<oss_endpoint>/<Bucket name>/<OSS directory name>/. oss_endpoint: OSS alan adı. OSS tarafından sağlanan ve -internal içeren klasik ağ uç noktasını kullanmanız gerekir. Örnek: oss://oss-cn-beijing-internal.aliyuncs.com/xxx. OSS klasik ağ alan adları Bölgeler ve uç noktalar bölümünde listelenmiştir. Veri dosyalarının depolandığı OSS bölgesini MaxCompute projenizin bölgesiyle aynı tutun. Farklı bölgelerde olmaları durumunda ağ bağlantısı sorunları oluşabilir. Bir uç nokta belirtmezseniz sistem, mevcut projenin bulunduğu bölgenin uç noktasını kullanır. Bu yöntem önerilmez çünkü bölgeler arası dosya depolama ağ bağlantısı sorunlarına neden olabilir. Paket adı: OSS paketinin adı. Paket adı oss_endpoint öğesinden sonra gelmelidir. Örnek: oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/. Paket adlarını Paketleri listeleme bölümünde görüntüleyin. Dizin adı: OSS dizininin adı. Dizinden sonra bir dosya adı belirtmeyin. Örnek: oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/. Yanlış örnekler: -- HTTP connections are not supported. http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- HTTPS connections are not supported. https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Incorrect connection address. oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- Do not specify a file name. oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv

• WITH serdeproperties öznitelikleri

  property_name	Senaryo	property_value	Varsayılan değer
  odps.properties.rolearn	STS yetkilendirmesi kullanırken bu özelliği ekleyin.	OSS'ye erişim iznine sahip RAM rolünün ARN'sini belirtin. ARN'yi RAM konsolu içindeki rol ayrıntılarından alın. Örnek: acs:ram::xxxxxx:role/<role_name>.	MaxCompute ve OSS sahipleri aynı hesapsa: Tablo oluşturma ifadesinde odps.properties.rolearn belirtmezseniz varsayılan olarak aliyunodpsdefaultrole rolünün ARN'si kullanılır. Önce STS yetkilendirmesi kullanarak RAM rolünü oluşturmanız gerekir. AliyunODPSDefaultRole geniş kapsamlı izinlere sahiptir. İzinleri özel bir rol aracılığıyla vermenizi öneririz. Özel bir rol ARN'si kullanmak için önce özel rolü oluşturun. OSS için STS yetkilendirmesi (özel yetkilendirme). MaxCompute ve OSS sahipleri farklı hesaplarsa, özel bir rolün ARN'sini belirtmeniz gerekir. Daha fazla bilgi için bkz. OSS için STS yetkilendirmesi (özel yetkilendirme).

Beyaz liste ve kara liste

MaxCompute OSS harici tabloları beyaz liste ve kara liste filtrelemeyi destekler. tblproperties içinde beyaz liste ve kara liste parametrelerini ayarlayarak bir dizinden hangi dosyaların okunacağını filtreleyebilirsiniz.

• tblproperties parametreleri

  tblproperties parametreleri ayrıntıları

  property_name	Kullanım durumu	Not	property_value	Varsayılan
  odps.external.data.file.whitelist.regex	Özel beyaz liste filtreleme	Regex deseni	Dosya eşleştirme için regex deseni, örn. '.*\\.json'	Yok
  odps.external.data.file.blacklist.regex	Özel kara liste filtreleme	Regex deseni	Dosya eşleştirme için regex deseni, örn. '.*\\.txt'	Yok
  odps.external.data.file.recursive.listing.enabled	Özyinelemeli dosya aramasını denetleme		True False	True
  odps.sql.unstructured.file.pattern.black.list（ mevcut oturum bayrağı）	Oturum düzeyinde kara liste filtreleme	Regex deseni	Dosya eşleştirme için regex deseni, örn. '.*\\.json'	Yok

• Etkili kurallar

  • Kara liste beyaz listeden önceliklidir: Bir dosya herhangi bir kara liste koşulunu karşılıyorsa hariç tutulur.

  • Oturum bayrağı ve tblproperties kara liste parametresi "VEYA" ilişkisine sahiptir. İkisi de yapılandırılırsa her ikisi de etkili olur — herhangi bir kara liste koşulunu karşılayan bir dosya hariç tutulur. tblProperties yapılandırması önerilir.

    Yapılandırma yöntemi	Yol türü	Parametre
    oturum bayrağı	Mutlak yol	odps.sql.unstructured.file.pattern.black.list
    tblproperties	Göreli yol	odps.external.data.file.blacklist.regex

• Regex notları

  • Satır başı ^ ve satır sonu $ işaretleri isteğe bağlıdır. Örneğin, .json dosyalarını eşleştirmek için .*\.json yeterlidir.

  • Yalnızca bir regex deseni desteklenir. Birden çok dosya türünü dışlamak için | kullanın:

    -- Exclude csv, txt, and parquet files
    "odps.external.data.file.blacklist.regex": ".*\\.(txt|csv|parquet)$" 

• Beyaz liste ve kara liste parametrelerini güncelleme

  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.whitelist.regex'='new_regex')
  
  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.blacklist.regex'='new_regex')

• Örnekler

  • Örnek veriler

    -- Assume the OSS directory contains the following files:
    
    oss://xxx/bucket/level1/data1.txt
    oss://xxx/bucket/level1/data2.json
    oss://xxx/bucket/level1/data3.csv
    oss://xxx/bucket/level1/level2/data4.txt
    oss://xxx/bucket/level1/level2/data5.json
    oss://xxx/bucket/level1/level2/data6.parquet

  • Beyaz liste: yalnızca JSON dosyalarını oku

    CREATE EXTERNAL TABLE test_whitelist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: JSON files only
    
    -- By running SELECT * FROM test_whitelist_table, all JSON files are selected.
    -- Query returns data from data2.json and level2/data5.json

  • Kara liste: txt, csv ve parquet dosyalarını dışla

    CREATE EXTERNAL TABLE test_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.blacklist.regex'='.*\\.(txt|csv|parquet)$'); -- Blacklist: exclude txt, csv, parquet
    
    -- By running SELECT * FROM test_blacklist_table, all TXT, CSV, and Parquet files are filtered out.
    -- Query returns data from data2.json and level2/data5.json

  • Beyaz liste ve kara liste birleşimi: txt dosyalarını oku, level2 dizinini dışla

    CREATE EXTERNAL TABLE test_whitelist_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.txt', -- Whitelist: txt files only
      'odps.external.data.file.blacklist.regex'='.*level2/.*'); -- Blacklist: exclude level2 directory
    
    -- By running select * from test_whitelist_blacklist_table，
    -- Whitelist filters txt files, then blacklist excludes level2 directory
    -- Query returns data from data1.txt only

  • Özyinelemeli listeleme: alt dizinlerdeki dosyaların okunup okunmayacağını denetleme

    CREATE EXTERNAL TABLE test_recursive_enabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: json files only
      'odps.external.data.file.recursive.listing.enabled'='true'); -- Recursive enabled
    
    -- By running SELECT * FROM test_recursive_enabled, all JSON files are selected.
    -- Query returns data from data2.json and level2/data5.json
    
    CREATE EXTERNAL TABLE test_recursive_disabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: json files only
      'odps.external.data.file.recursive.listing.enabled'='false'  -- Recursive disabled
    );
    
    -- By running SELECT * FROM test_recursive_disabled, all JSON files are selected, but recursive reading is disabled.
    -- Query returns data from data2.json only (level2 directory excluded)

  • ALTER TABLE aracılığıyla beyaz liste ve kara listeyi güncelleme

    CREATE EXTERNAL TABLE test_alter_table_properties
    (
      id INT,
      name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Enable file extension support
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: json files only
    
    -- By running SELECT * FROM test_alter_table_properties, all JSON files are selected
    -- Query returns data from data2.json and level2/data5.json
    
    ALTER TABLE test_alter_table_properties 
    SET tblproperties(
      'odps.external.data.file.whitelist.regex'='.*level2/.*\\.json'
    )
    -- By running select * from test_alter_table_properties
    -- Query now returns data from level2/data5.json only

Notlar

• Bir OSS harici tablosu oluşturduktan sonra, harici tablo aracılığıyla OSS'den veri okuyabilirsiniz. Desteklenen veri dosyası türleri ve oluşturma sözdizimi için bkz. Sözdizimi.

• Bir SQL ifadesi karmaşık veri türlerini içeriyorsa, set odps.sql.type.system.odps2=true; ön ekini ekleyin ve bunları birlikte gönderin. Veri türü sürümleri.

• Açık kaynaklı verilere eşlenen OSS harici tabloları için, OSS'den veri okumadan önce oturum düzeyinde set odps.sql.hive.compatible=true; ayarlayın. Aksi takdirde hata bildirilir.

• OSS'nin bant genişliği sınırlamaları vardır. Okuma/yazma trafiği kısa sürede örnek bant genişliği sınırını aşarsa harici tablo performansı düşer. Sınırlamalar ve performans ölçümleri.

Sözdizimi

<select_statement> FROM <from_statement>;

• select_statement: Kaynak tablodan hedef tabloya eklenecek verileri sorgulayan SELECT yan tümcesi.

• from_statement: Veri kaynağını (örneğin harici tablonun adını) belirten FROM yan tümcesi.

Sorgu optimizasyonu

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- You can use either of the following parameters.

-- Unit: MiB. Default value: 256 MiB. Applies to internal or external tables.
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- Unit: MiB. Default value: 256 MiB. Applies only to external tables.
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- Syntax for the two-tier model: set odps.sql.split.dop={"project.table": xxx};
-- Syntax for the three-tier model: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

Sözdizimi

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Dinamik bölümlere veri eklemek için bkz. Dinamik bölümlere veri ekleme veya üzerine yazma .

OSS çok parçalı yükleme özelliğini kullanarak OSS'ye veri yazma

Verileri açık kaynaklı biçimde OSS'ye yazmak için açık kaynaklı veri ayrıştırıcısına sahip bir harici tablo oluşturun ve OSS çok parçalı yükleme özelliğini etkinleştirin.

OSS çok parçalı yükleme özelliğini etkinleştirmek için aşağıdakileri ayarlayın:

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

odps.sql.unstructured.oss.commit.mode varsayılan değeri false'tur. İki mod şu şekilde çalışır:

Aktarılan dosyaları yönetme

Dinamik bölümler kullanarak büyük dosyalar yazma

-- The service.mode must be turned off.
SET odps.service.mode=off;

-- The dynamic partition capability must be enabled.
SET odps.sql.reshuffle.dynamicpt=true; 	

-- Set the desired data consumption for each reducer. Assume you want each file to be 4 GB.
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• Harici tablo kullanarak OSS verilerini işlerken "Inline data exceeds the maximum allowed size" hatasını nasıl çözerim?

• UDF yerel testleri geçse bile MaxCompute'te bir OSS harici tablosuna erişmek için bir UDF yükledikten sonra oluşan bellek taşması hatasını nasıl çözerim?

• OSS harici tablosu kullanarak birden çok küçük dosyayı tek bir dosyada nasıl birleştiririm?

• Bir OSS harici tablosundan okurken "Couldn't connect to server" hatasını nasıl çözerim?

• Bir OSS harici tablosu oluştururken "Network is unreachable (connect failed)" hatasını nasıl çözerim?

• Bir OSS harici tablosunda yavaş SQL işi yürütmesini nasıl çözerim?

• OSS çok parçalı yükleme özelliğini kullanırken eski verilerin silinip yeni verilerin yazılmaması sorununu nasıl çözerim?

• Spark'tan bir OSS harici tablosuna erişirken oluşan "table not found" hatası için çözüm

Harici tablo kullanarak OSS verilerini işlerken "Inline data exceeds the maximum allowed size" hatasını nasıl çözerim?

• Sorun

  OSS verilerini işlerken Inline data exceeds the maximum allowed size hatası bildirilir.

• Neden

  OSS Store'un her küçük dosya için bir boyut sınırı vardır. Bir dosya 3 GB'ı aşarsa hata bildirilir.

• Çözüm

  Her reducer'ın harici tabloya yazdığı veri boyutunu denetlemek ve dosyaları 3 GB sınırı içinde tutmak için aşağıdaki iki özelliği ayarlayın.

  set odps.sql.mapper.split.size=256; # Adjusts the size of data read by each mapper, in MB.
  set odps.stage.reducer.num=100; # Adjusts the number of workers in the reduce stage.

UDF yerel testleri geçse bile MaxCompute'te bir OSS harici tablosuna erişmek için bir UDF yükledikten sonra oluşan bellek taşması hatasını nasıl çözerim?

• Sorun

  MaxCompute'te bir OSS harici tablosuna erişirken, yerel testleri geçen bir UDF yüklendikten sonra aşağıdaki hatayı döndürür.

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  Aşağıdaki parametreleri ayarladıktan sonra çalışma süresi artar ancak hata devam eder.

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• Neden

  Harici tabloda çok fazla nesne dosyası vardır, bu da aşırı bellek kullanımına neden olur ve bölüm ayarlanmamıştır.

• Çözüm

  • Sorgu için daha az miktarda veri kullanın.

  • Bellek kullanımını azaltmak için nesne dosyalarını bölümlere ayırın.

OSS harici tablosu kullanarak birden çok küçük dosyayı tek bir dosyada nasıl birleştiririm?

SQL yürütme planındaki son aşamanın bir reducer mı yoksa joiner mı olduğunu görmek için Logview günlüğünü denetleyin.

• Bir reducer ise set odps.stage.reducer.num=1; ifadesini çalıştırın

• Bir joiner ise set odps.stage.joiner.num=1; ifadesini çalıştırın

Bir OSS harici tablosundan okurken "Couldn't connect to server" hatasını nasıl çözerim?

• Sorun

  Bir OSS harici tablosundan veri okurken ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server hatası bildirilir.

• Neden

  • Neden 1: OSS harici tablosu oluşturulurken oss_location adresindeki oss_endpoint için dahili bir uç nokta yerine genel bir uç nokta kullanıldı.

  • Neden 2: OSS harici tablosu oluşturulurken oss_location adresindeki oss_endpoint için başka bir bölgenin uç noktası kullanıldı.

• Çözüm

  • Neden 1 için

    oss_location içindeki oss_endpoint öğesinin dahili bir uç nokta olduğunu doğrulayın. Genel bir uç noktaysa dahili bir uç noktayla değiştirin. Bkz. Parametreler.

    Örneğin, Endonezya (Cakarta) bölgesindeki bir kullanıcı harici tablo oluşturmak için oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... adresini kullandıysa, bu adres karşılık gelen dahili adres oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.... ile değiştirilmelidir.

  • Neden 2 için

    oss_location içindeki oss_endpoint öğesinin erişmek istediğiniz bölgeyle eşleştiğini doğrulayın. OSS klasik ağ alan adları Bölgeler ve uç noktalar bölümünde listelenmiştir.

Bir OSS harici tablosu oluştururken "Network is unreachable (connect failed)" hatasını nasıl çözerim?

• Sorun

  Bir OSS harici tablosu oluştururken ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) hatası bildirilir.

• Neden

  OSS harici tablosu oluşturulurken oss_location adresindeki oss_endpoint için dahili bir uç nokta yerine genel bir uç nokta kullanıldı.

• Çözüm

  oss_location içindeki oss_endpoint öğesinin dahili bir uç nokta olduğunu doğrulayın. Genel bir uç noktaysa dahili bir uç noktayla değiştirin. Bkz. Parametreler.

  Örneğin, Çin (Pekin) bölgesindeki bir kullanıcı harici tablo oluşturmak için oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... adresini kullandıysa, bu adres karşılık gelen dahili adres oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.... ile değiştirilmelidir.

Bir OSS harici tablosunda yavaş SQL işi yürütmesini nasıl çözerim?

• Bir OSS harici tablosunda GZ sıkıştırılmış dosyaların yavaş okunması

  • Belirtiler

    Bir kullanıcı, OSS'de 200 GB'lık bir GZ sıkıştırılmış dosyayı veri kaynağı olarak alan bir OSS harici tablosu oluşturdu. Veri okuma işlemi yavaştır.

  • Neden

    Map aşamasında hesaplama yapan çok az mapper olduğu için SQL işleme hızı yavaştır.

  • Çözüm

    • Yapılandırılmış veriler için, SQL yürütmesini hızlandırmak üzere tek bir mapper tarafından okunan veri miktarını ayarlamak amacıyla aşağıdaki parametreyi ayarlayabilirsiniz.

      set odps.sql.mapper.split.size=256; # Adjusts the size of table data read by each mapper, in MB.       

    • Yapılandırılmamış veriler için OSS harici tablo yolunda yalnızca bir OSS dosyası olup olmadığını denetleyin. Yalnızca bir dosya varsa, sıkıştırılmış biçimdeki yapılandırılmamış veriler bölünemediğinden yalnızca bir mapper oluşturulabilir. Bu durum yavaş işlemeye neden olur. Büyük OSS dosyasını OSS'deki karşılık gelen harici tablo yolunda daha küçük dosyalara bölmenizi öneririz. Bu, harici tablo okunurken oluşturulan mapper sayısını artırır ve okuma hızını iyileştirir.

• SDK kullanarak MaxCompute harici tablo verilerinin yavaş aranması

  • Belirtiler

    SDK kullanarak MaxCompute harici tablo verilerini aramak yavaştır.

  • Çözüm

    Harici tablolar yalnızca tam tablo taramalarını destekler, bu da yavaştır. Bunun yerine bir MaxCompute iç tablosu kullanın.

OSS çok parçalı yükleme özelliğini kullanırken eski verilerin silinip yeni verilerin yazılmaması sorununu nasıl çözerim?

• Sorun

  Bir insert overwrite senaryosunda, aşırı durumlarda iş başarısız olursa sonuç beklentilerle tutarsız olabilir. Eski veriler silinir ancak yeni veriler yazılmaz.

• Neden

  Yeni yazılan veriler, çok düşük olasılıklı bir donanım arızası veya meta veri güncelleme hatası nedeniyle hedef tabloya yazılamaz. OSS'deki silme işlemi geri almayı desteklemez, bu nedenle silinen eski veriler kurtarılamaz.

• Çözüm

  • Eski verilerine dayalı olarak bir OSS harici tablosunun üzerine yazıyorsanız, örneğin insert overwrite table T select * from table T;, OSS verilerini önceden yedekleyin. İş başarısız olursa, yedeklenen eski verilere dayalı olarak OSS harici tablosunun üzerine yazabilirsiniz.

  • insert overwrite işi yeniden gönderilebiliyorsa, başarısız olması durumunda işi yeniden gönderin.

Spark'tan bir OSS harici tablosuna erişirken oluşan "table not found" hatası için çözüm

• Sorun

  Spark kullanarak bir OSS harici tablosuna erişirken görev "table not found" hatasıyla başarısız olur.

• Çözüm

  • Aşağıdaki parametreleri ekleyin:

    • Harici tablo yapılandırmasını etkinleştirin:spark.sql.catalog.odps.enableExternalTable=true;

    • OSS'nin bulunduğu bölgeyi yapılandırın:spark.hadoop.odps.oss.region.default=cn-<bölge>

  • Yukarıdaki parametreleri ekledikten sonra hata devam ederse:

    at java.lang.Thread.run(Thread.java:745)
    Caused by: java.lang.Exception: com.aliyun.odps.cupid.CupidException: connectionId and rolearn are mutually exclusive
        at com.aliyun.odps.cupid.table.v1.commontable.impl.reader.CupidCommonTableReadSession.splitTable

    OSS harici tablosunu yeniden oluşturun ve ardından tekrar erişin.