MaxCompute:Tabel eksternal OSS

Sintaks

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
STORED AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

Parameter

Parameter berikut umum digunakan di semua format tabel eksternal. Untuk parameter spesifik format, lihat dokumentasi masing-masing format.

• Parameter sintaks dasar

  Parameter	Wajib	Deskripsi
  mc_oss_extable_name	Ya	Nama tabel eksternal OSS yang akan dibuat. Nama tabel tidak peka huruf besar/kecil dan tidak dapat dipaksa dikonversi ke bentuk tertentu.
  col_name	Ya	Nama kolom dalam tabel eksternal OSS. Skema tabel eksternal harus sesuai dengan skema file data OSS. Jika tidak, data tidak dapat dibaca.
  data_type	Ya	Tipe data kolom dalam tabel eksternal OSS. Tipe data setiap kolom harus sesuai dengan kolom yang sesuai dalam file data OSS. Jika tidak, data tidak dapat dibaca.
  table_comment	Tidak	Komentar untuk tabel. Komentar harus berupa string valid dengan panjang maksimal 1.024 byte. Jika tidak, kesalahan akan dilaporkan.
  partitioned by (col_name data_type, ...)	Tidak	Jika file data di OSS disimpan dalam path berpartisi, sertakan parameter ini untuk membuat tabel partisi. col_name: Nama kolom kunci partisi. data_type: Tipe data kolom kunci partisi.
  '<(tb)property_name>'='<(tb)property_value>'	Ya	Properti tambahan tabel eksternal. Lihat dokumentasi spesifik format untuk detailnya.
  oss_location	Ya	Path OSS tempat file data berada. Secara default, semua file data di path ini akan dibaca. Formatnya adalah oss://<oss_endpoint>/<Bucket name>/<OSS directory name>/. oss_endpoint: Nama domain OSS. Anda harus menggunakan titik akhir jaringan klasik yang disediakan oleh OSS, yang mengandung -internal. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/xxx. Nama domain jaringan klasik OSS tercantum di Wilayah dan titik akhir. Simpan wilayah OSS tempat file data disimpan agar sama dengan wilayah proyek MaxCompute Anda. Jika berbeda wilayah, masalah konektivitas jaringan dapat terjadi. Jika Anda tidak menentukan titik akhir, sistem akan menggunakan titik akhir wilayah tempat proyek saat ini berada. Metode ini tidak disarankan karena penyimpanan file lintas wilayah dapat menyebabkan masalah konektivitas jaringan. Bucket name: Nama bucket OSS. Nama bucket harus mengikuti oss_endpoint. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/. Lihat nama bucket di Daftar bucket. Directory name: Nama direktori OSS. Jangan tentukan nama file setelah direktori. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/. Contoh yang salah: -- Koneksi HTTP tidak didukung. http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Koneksi HTTPS tidak didukung. https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Alamat koneksi salah. oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- Jangan tentukan nama file. oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv Spesifikasi izin (RamRole): Tentukan secara eksplisit (Disarankan): Buat role kustom, lampirkan kebijakan akses, dan gunakan ARN-nya. Otorisasi STS. Gunakan Default (Tidak disarankan): Gunakan ARN dari role aliyunodpsdefaultrole.

• Dengan atribut serdeproperties

  property_name	Skenario	property_value	Nilai default
  odps.properties.rolearn	Tambahkan properti ini saat menggunakan otorisasi STS.	Tentukan ARN dari role RAM yang memiliki izin untuk mengakses OSS. Dapatkan ARN dari detail role di Konsol RAM. Contoh: acs:ram::xxxxxx:role/aliyunodpsdefaultrole.	Jika pemilik MaxCompute dan OSS adalah akun yang sama: Jika Anda tidak menentukan odps.properties.rolearn dalam pernyataan pembuatan tabel, ARN dari role aliyunodpsdefaultrole akan digunakan secara default. Anda harus terlebih dahulu membuat role aliyunodpsdefaultrole menggunakan Otorisasi STS. Untuk menggunakan ARN role kustom, pertama-tama buat role kustom tersebut. Otorisasi STS untuk OSS (otorisasi kustom). Jika pemilik MaxCompute dan OSS adalah akun yang berbeda, Anda harus menentukan ARN dari role kustom. Untuk informasi lebih lanjut, lihat Otorisasi STS untuk OSS (otorisasi kustom).

Daftar putih dan blacklist

Tabel eksternal OSS MaxCompute mendukung penyaringan daftar putih dan blacklist. Dengan mengatur parameter daftar putih dan blacklist di tblproperties, Anda dapat menyaring file mana yang akan dibaca dari direktori.

• Parameter tblproperties

  Detail parameter tblproperties

  property_name	Kasus penggunaan	Catatan	property_value	Default
  odps.external.data.file.whitelist.regex	Penyaringan daftar putih kustom	Pola regex	Pola regex untuk pencocokan file, misalnya, '.*\\.json'	Tidak ada
  odps.external.data.file.blacklist.regex	Penyaringan blacklist kustom	Pola regex	Pola regex untuk pencocokan file, misalnya, '.*\\.txt'	Tidak ada
  odps.external.data.file.recursive.listing.enabled	Kontrol pencarian file rekursif		True False	True
  odps.sql.unstructured.file.pattern.black.list（ existing session flag）	Penyaringan blacklist tingkat sesi	Pola regex	Pola regex untuk pencocokan file, misalnya, '.*\\.json'	Tidak ada

• Aturan efektif

  • Blacklist memiliki prioritas lebih tinggi daripada daftar putih: jika file cocok dengan kondisi blacklist apa pun, file tersebut dikecualikan.

  • Flag sesi dan parameter blacklist tblproperties memiliki hubungan "ATAU". Jika keduanya dikonfigurasi, keduanya berlaku — file yang cocok dengan kondisi blacklist mana pun dikecualikan. Konfigurasi tblProperties disarankan.

    Metode konfigurasi	Jenis path	Parameter
    flag sesi	Path absolut	odps.sql.unstructured.file.pattern.black.list
    tblproperties	Path relatif	odps.external.data.file.blacklist.regex

• Catatan Regex

  • Anchor awal baris ^ dan akhir baris $ bersifat opsional. Misalnya, untuk mencocokkan file .json, .*\.json sudah cukup.

  • Hanya satu pola regex yang didukung. Untuk mengecualikan beberapa jenis file, gunakan |:

    -- Mengecualikan file csv, txt, dan parquet
    "odps.external.data.file.blacklist.regex": ".*\\.(txt|csv|parquet)$" 

• Perbarui parameter daftar putih dan blacklist

  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.whitelist.regex'='new_regex')
  
  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.blacklist.regex'='new_regex')

• Contoh

  • Data sampel

    -- Asumsikan direktori OSS berisi file berikut:
    
    oss://xxx/bucket/level1/data1.txt
    oss://xxx/bucket/level1/data2.json
    oss://xxx/bucket/level1/data3.csv
    oss://xxx/bucket/level1/level2/data4.txt
    oss://xxx/bucket/level1/level2/data5.json
    oss://xxx/bucket/level1/level2/data6.parquet

  • Daftar putih: hanya baca file JSON

    CREATE EXTERNAL TABLE test_whitelist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Daftar putih: hanya file JSON
    
    -- Dengan menjalankan SELECT * FROM test_whitelist_table, semua file JSON dipilih.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json

  • Blacklist: kecualikan file txt, csv, dan parquet

    CREATE EXTERNAL TABLE test_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.blacklist.regex'='.*\\.(txt|csv|parquet)$'); -- Blacklist: kecualikan txt, csv, parquet
    
    -- Dengan menjalankan SELECT * FROM test_blacklist_table, semua file TXT, CSV, dan Parquet difilter.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json

  • Kombinasi daftar putih dan blacklist: baca file txt, kecualikan direktori level2

    CREATE EXTERNAL TABLE test_whitelist_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.txt', -- Daftar putih: hanya file txt
      'odps.external.data.file.blacklist.regex'='.*level2/.*'); -- Blacklist: kecualikan direktori level2
    
    -- Dengan menjalankan select * from test_whitelist_blacklist_table，
    -- Daftar putih memfilter file txt, lalu blacklist mengecualikan direktori level2
    -- Kueri hanya mengembalikan data dari data1.txt

  • Pencantuman rekursif: kontrol apakah akan membaca file di subdirektori

    CREATE EXTERNAL TABLE test_recursive_enabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Daftar putih: hanya file json
      'odps.external.data.file.recursive.listing.enabled'='true'); -- Rekursif diaktifkan
    
    
    -- Dengan menjalankan SELECT * FROM test_recursive_enabled, semua file JSON dipilih.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json
    
    
    CREATE EXTERNAL TABLE test_recursive_disabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Daftar putih: hanya file json
      'odps.external.data.file.recursive.listing.enabled'='false'  -- Rekursif dinonaktifkan
    );
    
    -- Dengan menjalankan SELECT * FROM test_recursive_disabled, semua file JSON dipilih, tetapi pembacaan rekursif dinonaktifkan.
    -- Kueri hanya mengembalikan data dari data2.json (direktori level2 dikecualikan)

  • Perbarui daftar putih dan blacklist melalui ALTER TABLE

    CREATE EXTERNAL TABLE test_alter_table_properties
    (
      id INT,
      name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Aktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Daftar putih: hanya file json
    
    -- Dengan menjalankan SELECT * FROM test_alter_table_properties, semua file JSON dipilih
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json
    
    ALTER TABLE test_alter_table_properties 
    SET tblproperties(
      'odps.external.data.file.whitelist.regex'='.*level2/.*\\.json'
    )
    -- Dengan menjalankan select * from test_alter_table_properties
    -- Kueri sekarang hanya mengembalikan data dari level2/data5.json

Catatan

• Setelah membuat tabel eksternal OSS, Anda dapat membaca data dari OSS melalui tabel eksternal tersebut. Untuk jenis file data yang didukung dan sintaks pembuatan, lihat Sintaks.

• Jika pernyataan SQL melibatkan tipe data kompleks, tambahkan set odps.sql.type.system.odps2=true; dan kirimkan bersama. Versi tipe data.

• Untuk tabel eksternal OSS yang memetakan ke data open source, atur set odps.sql.hive.compatible=true; pada tingkat sesi sebelum membaca data dari OSS. Jika tidak, kesalahan akan dilaporkan.

• OSS memiliki batas bandwidth. Jika trafik baca/tulis melebihi batas bandwidth instans dalam waktu singkat, performa tabel eksternal menurun. Batas dan metrik performa.

Sintaks

<select_statement> FROM <from_statement>;

• select_statement: Klausul SELECT, yang mengkueri data yang akan dimasukkan ke tabel target dari tabel sumber.

• from_statement: Klausul FROM, yang menentukan sumber data, seperti nama tabel eksternal.

Optimasi kueri

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- Anda dapat menggunakan salah satu parameter berikut.

-- Satuan: MiB. Nilai default: 256 MiB. Berlaku untuk tabel internal atau eksternal.
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- Satuan: MiB. Nilai default: 256 MiB. Hanya berlaku untuk tabel eksternal.
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- Sintaks untuk model dua tingkat: set odps.sql.split.dop={"project.table": xxx};
-- Sintaks untuk model tiga tingkat: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

Sintaks

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Untuk memasukkan data ke partisi dinamis, lihat Masukkan atau timpa data ke partisi dinamis.

Tulis data ke OSS menggunakan fitur unggah multi-bagian OSS

Untuk menulis data ke OSS dalam format open source, buat tabel eksternal dengan parser data open source dan aktifkan fitur unggah multi-bagian OSS.

Untuk mengaktifkan fitur unggah multi-bagian OSS, atur berikut ini:

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

Nilai default odps.sql.unstructured.oss.commit.mode adalah false. Kedua mode bekerja sebagai berikut:

Kelola file yang diekspor

Tulis file besar menggunakan partisi dinamis

-- service.mode harus dimatikan.
SET odps.service.mode=off;

-- Kemampuan partisi dinamis harus diaktifkan.
SET odps.sql.reshuffle.dynamicpt=true; 	

-- Atur konsumsi data yang diinginkan untuk setiap reducer. Asumsikan Anda ingin setiap file berukuran 4 GB.
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lolos pengujian lokal?

• Bagaimana cara menggabungkan beberapa file kecil menjadi satu file menggunakan tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Bagaimana cara mengatasi eksekusi pekerjaan SQL yang lambat pada tabel eksternal OSS?

• Bagaimana cara mengatasi masalah di mana data lama dihapus tetapi data baru tidak ditulis saat menggunakan fitur unggah multi-bagian OSS?

• Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark

Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Masalah

  Saat memproses data OSS, kesalahan Inline data exceeds the maximum allowed size dilaporkan.

• Penyebab

  OSS Store memiliki batas ukuran untuk setiap file kecil. Kesalahan dilaporkan jika file melebihi 3 GB.

• Solusi

  Atur dua properti berikut untuk mengontrol ukuran data yang ditulis setiap reducer ke tabel eksternal, menjaga file dalam batas 3 GB.

  set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data yang dibaca setiap mapper, dalam MB.
  set odps.stage.reducer.num=100; # Menyesuaikan jumlah worker di tahap reduce.

Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lolos pengujian lokal?

• Masalah

  Saat mengakses tabel eksternal OSS di MaxCompute, UDF yang lolos pengujian lokal mengembalikan kesalahan berikut setelah diunggah.

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  Setelah mengatur parameter berikut, waktu eksekusi meningkat, tetapi kesalahan tetap terjadi.

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• Penyebab

  Ada terlalu banyak file objek di tabel eksternal, yang menyebabkan penggunaan memori berlebihan, dan tidak ada partisi yang diatur.

• Solusi

  • Gunakan jumlah data yang lebih kecil untuk kueri.

  • Partisi file objek untuk mengurangi penggunaan memori.

Bagaimana cara menggabungkan beberapa file kecil menjadi satu file menggunakan tabel eksternal OSS?

Periksa log Logview untuk melihat apakah tahap terakhir dalam rencana eksekusi SQL adalah reducer atau joiner.

• Jika reducer, jalankan pernyataan set odps.stage.reducer.num=1;

• Jika joiner, jalankan pernyataan set odps.stage.joiner.num=1;

Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Masalah

  Saat membaca data dari tabel eksternal OSS, kesalahan ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server dilaporkan.

• Penyebab

  • Penyebab 1: Saat tabel eksternal OSS dibuat, titik akhir publik digunakan untuk oss_endpoint di alamat oss_location, bukan titik akhir internal.

  • Penyebab 2: Saat tabel eksternal OSS dibuat, titik akhir wilayah lain digunakan untuk oss_endpoint di alamat oss_location.

• Solusi

  • Untuk Penyebab 1

    Verifikasi bahwa oss_endpoint di oss_location adalah titik akhir internal. Jika merupakan titik akhir publik, ubah menjadi titik akhir internal. Lihat Parameter.

    Misalnya, jika pengguna di wilayah Indonesia (Jakarta) menggunakan alamat oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.....

  • Untuk Penyebab 2

    Verifikasi bahwa oss_endpoint di oss_location sesuai dengan wilayah yang ingin Anda akses. Nama domain jaringan klasik OSS tercantum di Wilayah dan titik akhir.

Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Masalah

  Saat membuat tabel eksternal OSS, kesalahan ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) dilaporkan.

• Penyebab

  Saat tabel eksternal OSS dibuat, titik akhir publik digunakan untuk oss_endpoint di alamat oss_location, bukan titik akhir internal.

• Solusi

  Verifikasi bahwa oss_endpoint di oss_location adalah titik akhir internal. Jika merupakan titik akhir publik, ubah menjadi titik akhir internal. Lihat Parameter.

  Misalnya, jika pengguna di wilayah China (Beijing) menggunakan alamat oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.....

Bagaimana cara mengatasi eksekusi pekerjaan SQL yang lambat pada tabel eksternal OSS?

• Pembacaan lambat file terkompresi GZ di tabel eksternal OSS

  • Gejala

    Pengguna membuat tabel eksternal OSS dengan sumber data berupa file terkompresi 200 GB di OSS. Proses pembacaan data lambat.

  • Penyebab

    Kecepatan pemrosesan SQL lambat karena terlalu sedikit mapper yang mengeksekusi komputasi di tahap map.

  • Solusi

    • Untuk data terstruktur, Anda dapat mengatur parameter berikut untuk menyesuaikan jumlah data yang dibaca satu mapper guna mempercepat eksekusi SQL.

      set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data tabel yang dibaca setiap mapper, dalam MB.       

    • Untuk data tidak terstruktur, periksa apakah hanya ada satu file OSS di path tabel eksternal OSS. Jika hanya ada satu, hanya satu mapper yang dapat dihasilkan karena data tidak terstruktur dalam format terkompresi tidak dapat dibagi. Hal ini menyebabkan kecepatan pemrosesan lambat. Kami menyarankan Anda membagi file OSS besar menjadi file-file lebih kecil di path tabel eksternal yang sesuai di OSS. Hal ini meningkatkan jumlah mapper yang dihasilkan saat tabel eksternal dibaca dan meningkatkan kecepatan pembacaan.

• Pencarian lambat data tabel eksternal MaxCompute menggunakan SDK

  • Gejala

    Pencarian data tabel eksternal MaxCompute menggunakan SDK lambat.

  • Solusi

    Tabel eksternal hanya mendukung pemindaian tabel penuh, yang lambat. Gunakan tabel internal MaxCompute sebagai gantinya.

Bagaimana cara mengatasi masalah di mana data lama dihapus tetapi data baru tidak ditulis saat menggunakan fitur unggah multi-bagian OSS?

• Masalah

  Dalam skenario insert overwrite, jika pekerjaan gagal dalam kasus ekstrem, hasilnya mungkin tidak sesuai ekspektasi. Data lama dihapus, tetapi data baru tidak ditulis.

• Penyebab

  Data baru gagal ditulis ke tabel target karena kemungkinan sangat kecil terjadi kegagalan perangkat keras atau kegagalan pembaruan metadata. Operasi penghapusan di OSS tidak mendukung rollback, sehingga data lama yang dihapus tidak dapat dipulihkan.

• Solusi

  • Jika Anda menimpa tabel eksternal OSS berdasarkan data lamanya, misalnya, insert overwrite table T select * from table T;, backup data OSS terlebih dahulu. Jika pekerjaan gagal, Anda dapat menimpa tabel eksternal OSS berdasarkan data lama yang telah dibackup.

  • Jika pekerjaan insert overwrite dapat dikirim ulang, cukup kirim ulang pekerjaan jika gagal.

Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark

• Masalah

  Saat menggunakan Spark untuk mengakses tabel eksternal OSS, tugas gagal dengan kesalahan "table not found".

• Solusi

  • Tambahkan parameter berikut:

    • Aktifkan konfigurasi tabel eksternal:spark.sql.catalog.odps.enableExternalTable=true;

    • Konfigurasikan wilayah tempat OSS berada:spark.hadoop.odps.oss.region.default=cn-<region>

  • Jika kesalahan tetap terjadi setelah menambahkan parameter di atas:

    at java.lang.Thread.run(Thread.java:745)
    Caused by: java.lang.Exception: com.aliyun.odps.cupid.CupidException: connectionId and rolearn are mutually exclusive
        at com.aliyun.odps.cupid.table.v1.commontable.impl.reader.CupidCommonTableReadSession.splitTable

    Buat ulang tabel eksternal OSS, lalu akses kembali.