MaxCompute:Tabel eksternal OSS

Sintaks

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
STORED AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

Parameter

Parameter berikut umum digunakan di semua format tabel eksternal. Untuk parameter spesifik format, lihat dokumentasi masing-masing format.

• Parameter sintaks dasar

  Parameter	Wajib	Deskripsi
  mc_oss_extable_name	Ya	Nama tabel eksternal OSS yang akan dibuat. Nama tabel tidak peka huruf besar/kecil dan tidak dapat dikonversi paksa ke kasus tertentu.
  col_name	Ya	Nama kolom dalam tabel eksternal OSS. Skema tabel eksternal harus sesuai dengan skema file data OSS. Jika tidak, data tidak dapat dibaca.
  data_type	Ya	Tipe data kolom dalam tabel eksternal OSS. Tipe data setiap kolom harus sesuai dengan kolom terkait dalam file data OSS. Jika tidak, data tidak dapat dibaca.
  table_comment	Tidak	Komentar untuk tabel. Komentar harus berupa string valid dengan panjang tidak lebih dari 1.024 byte. Jika tidak, kesalahan akan dilaporkan.
  partitioned by (col_name data_type, ...)	Tidak	Jika file data di OSS disimpan dalam jalur terpartisi, sertakan parameter ini untuk membuat tabel partisi. col_name: Nama kolom kunci partisi. data_type: Tipe data kolom kunci partisi.
  '<(tb)property_name>'='<(tb)property_value>'	Ya	Properti tambahan tabel eksternal. Lihat dokumentasi spesifik format untuk detailnya.
  oss_location	Ya	Jalur OSS tempat file data berada. Secara default, semua file data di jalur ini akan dibaca. Formatnya adalah oss://<oss_endpoint>/<Nama Bucket>/<Nama direktori OSS>/. oss_endpoint: Nama domain OSS. Anda harus menggunakan Titik akhir jaringan klasik yang disediakan oleh OSS, yang mengandung -internal. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/xxx. Nama domain jaringan klasik OSS tercantum dalam Wilayah dan Titik akhir. Pastikan Wilayah OSS tempat file data disimpan sama dengan Wilayah proyek MaxCompute Anda. Jika berada di Wilayah yang berbeda, masalah konektivitas jaringan mungkin terjadi. Jika Anda tidak menentukan Titik akhir, sistem akan menggunakan Titik akhir Wilayah tempat proyek saat ini berada. Metode ini tidak disarankan karena penyimpanan file cross-region dapat menyebabkan masalah konektivitas jaringan. Nama Bucket: Nama Bucket OSS. Nama bucket harus mengikuti oss_endpoint. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/. Lihat nama bucket di Daftar bucket. Nama Direktori: Nama direktori OSS. Jangan tentukan nama file setelah direktori. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/. Contoh yang salah: -- Koneksi HTTP tidak didukung. http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Koneksi HTTPS tidak didukung. https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Alamat koneksi salah. oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- Jangan tentukan nama file. oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv

• Atribut WITH serdeproperties

  property_name	Skenario	property_value	Nilai default
  odps.properties.rolearn	Tambahkan properti ini saat menggunakan otorisasi STS.	Tentukan ARN Peran RAM yang memiliki izin untuk mengakses OSS. Dapatkan ARN dari detail role di Konsol RAM. Contoh: acs:ram::xxxxxx:role/<role_name>.	Jika pemilik MaxCompute dan OSS adalah akun yang sama: Jika Anda tidak menentukan odps.properties.rolearn dalam pernyataan pembuatan tabel, ARN role aliyunodpsdefaultrole akan digunakan secara default. Anda harus terlebih dahulu membuat ram role menggunakan otorisasi STS. Role AliyunODPSDefaultRole memiliki izin yang luas. Sebaiknya berikan izin melalui role kustom. Untuk menggunakan ARN role kustom, pertama-tama buat role kustom tersebut. Otorisasi STS untuk OSS (otorisasi kustom). Jika pemilik MaxCompute dan OSS adalah akun yang berbeda, Anda harus menentukan ARN role kustom. Untuk informasi selengkapnya, lihat Otorisasi STS untuk OSS (otorisasi kustom).

Whitelist dan blacklist

Tabel eksternal OSS MaxCompute mendukung pemfilteran whitelist dan blacklist. Dengan mengatur parameter whitelist dan blacklist di tblproperties, Anda dapat memfilter file mana yang akan dibaca dari sebuah direktori.

• Parameter tblproperties

  Detail parameter tblproperties

  property_name	Kasus penggunaan	Catatan	property_value	Default
  odps.external.data.file.whitelist.regex	Pemfilteran whitelist kustom	Pola regex	Pola regex untuk pencocokan file, mis., '.*\\.json'	Tidak ada
  odps.external.data.file.blacklist.regex	Pemfilteran blacklist kustom	Pola regex	Pola regex untuk pencocokan file, mis., '.*\\.txt'	Tidak ada
  odps.external.data.file.recursive.listing.enabled	Mengontrol pencarian file rekursif		True False	True
  odps.sql.unstructured.file.pattern.black.list（flag session yang ada）	Pemfilteran blacklist tingkat sesi	Pola regex	Pola regex untuk pencocokan file, mis., '.*\\.json'	Tidak ada

• Aturan yang berlaku

  • Blacklist memiliki prioritas lebih tinggi daripada whitelist: jika sebuah file sesuai dengan kondisi blacklist apa pun, file tersebut akan dikecualikan.

  • Flag session dan parameter blacklist tblproperties memiliki hubungan "OR". Jika keduanya dikonfigurasi, keduanya akan berlaku—file yang sesuai dengan salah satu kondisi blacklist akan dikecualikan. Konfigurasi tblProperties disarankan.

    Metode konfigurasi	Jenis jalur	Parameter
    flag session	Jalur absolut	odps.sql.unstructured.file.pattern.black.list
    tblproperties	Jalur relatif	odps.external.data.file.blacklist.regex

• Catatan regex

  • Anchor awal baris ^ dan akhir baris $ bersifat opsional. Misalnya, untuk mencocokkan file .json, .*\.json sudah cukup.

  • Hanya satu pola regex yang didukung. Untuk mengecualikan multiple jenis file, gunakan |:

    -- Mengecualikan file csv, txt, dan parquet
    "odps.external.data.file.blacklist.regex": ".*\\.(txt|csv|parquet)$" 

• Memperbarui parameter whitelist dan blacklist

  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.whitelist.regex'='new_regex')
  
  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.blacklist.regex'='new_regex')

• Contoh

  • Data sampel

    -- Misalkan direktori OSS berisi file berikut:
    
    oss://xxx/bucket/level1/data1.txt
    oss://xxx/bucket/level1/data2.json
    oss://xxx/bucket/level1/data3.csv
    oss://xxx/bucket/level1/level2/data4.txt
    oss://xxx/bucket/level1/level2/data5.json
    oss://xxx/bucket/level1/level2/data6.parquet

  • Whitelist: hanya membaca file JSON

    CREATE EXTERNAL TABLE test_whitelist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: Hanya file JSON
    
    -- Dengan menjalankan SELECT * FROM test_whitelist_table, semua file JSON dipilih.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json

  • Blacklist: mengecualikan file txt, csv, dan parquet

    CREATE EXTERNAL TABLE test_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.blacklist.regex'='.*\\.(txt|csv|parquet)$'); -- Blacklist: mengecualikan txt, csv, parquet
    
    -- Dengan menjalankan SELECT * FROM test_blacklist_table, semua file TXT, CSV, dan Parquet difilter.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json

  • Kombinasi whitelist dan blacklist: membaca file txt, mengecualikan direktori level2

    CREATE EXTERNAL TABLE test_whitelist_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.txt', -- Whitelist: hanya file txt
      'odps.external.data.file.blacklist.regex'='.*level2/.*'); -- Blacklist: mengecualikan direktori level2
    
    -- Dengan menjalankan select * from test_whitelist_blacklist_table,
    -- Whitelist memfilter file txt, kemudian blacklist mengecualikan direktori level2
    -- Kueri hanya mengembalikan data dari data1.txt

  • Pencantuman rekursif: mengontrol apakah akan membaca file di subdirektori

    CREATE EXTERNAL TABLE test_recursive_enabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: hanya file json
      'odps.external.data.file.recursive.listing.enabled'='true'); -- Rekursif diaktifkan
    
    
    -- Dengan menjalankan SELECT * FROM test_recursive_enabled, semua file JSON dipilih.
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json
    
    
    CREATE EXTERNAL TABLE test_recursive_disabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- Whitelist: hanya file json
      'odps.external.data.file.recursive.listing.enabled'='false'  -- Rekursif dinonaktifkan
    );
    
    -- Dengan menjalankan SELECT * FROM test_recursive_disabled, semua file JSON dipilih, tetapi pembacaan rekursif dinonaktifkan.
    -- Kueri hanya mengembalikan data dari data2.json (direktori level2 dikecualikan)

  • Memperbarui whitelist dan blacklist melalui ALTER TABLE

    CREATE EXTERNAL TABLE test_alter_table_properties
    (
      id INT,
      name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- Mengaktifkan dukungan ekstensi file
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- Whitelist: hanya file json
    
    -- Dengan menjalankan SELECT * FROM test_alter_table_properties, semua file JSON dipilih
    -- Kueri mengembalikan data dari data2.json dan level2/data5.json
    
    ALTER TABLE test_alter_table_properties 
    SET tblproperties(
      'odps.external.data.file.whitelist.regex'='.*level2/.*\\.json'
    )
    -- Dengan menjalankan select * from test_alter_table_properties
    -- Kueri sekarang hanya mengembalikan data dari level2/data5.json

Catatan

• Setelah Anda membuat tabel eksternal OSS, Anda dapat membaca data dari OSS melalui tabel eksternal tersebut. Untuk jenis file data yang didukung dan sintaks pembuatan, lihat Sintaks.

• Jika Pernyataan SQL melibatkan Tipe data kompleks, tambahkan set odps.sql.type.system.odps2=true; di awal dan kirimkan bersama-sama. Lihat Versi Tipe data.

• Untuk tabel eksternal OSS yang dipetakan ke data open source, atur set odps.sql.hive.compatible=true; pada tingkat sesi sebelum membaca data dari OSS. Jika tidak, kesalahan akan dilaporkan.

• OSS memiliki batas Bandwidth. Jika Trafik baca/tulis melebihi batas Bandwidth Instans dalam waktu singkat, kinerja tabel eksternal akan menurun. Lihat Batas dan metrik kinerja.

Sintaks

<select_statement> FROM <from_statement>;

• select_statement: Klausa SELECT, yang melakukan kueri data yang akan dimasukkan ke dalam tabel target dari tabel sumber.

• from_statement: Klausa FROM, yang menentukan Sumber data, seperti nama tabel eksternal.

Pengoptimalan kueri

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- Anda dapat menggunakan salah satu parameter berikut.

-- Satuan: MiB. Nilai default: 256 MiB. Berlaku untuk tabel internal atau eksternal.
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- Satuan: MiB. Nilai default: 256 MiB. Hanya berlaku untuk tabel eksternal.
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- Sintaks untuk model dua tingkat: set odps.sql.split.dop={"project.table": xxx};
-- Sintaks untuk model tiga tingkat: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

Sintaks

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Untuk memasukkan data ke dalam partisi dinamis, lihat Memasukkan atau menimpa data di partisi dinamis.

Menulis data ke OSS menggunakan fitur unggah multi-bagian OSS

Untuk menulis data ke OSS dalam format open source, buat tabel eksternal dengan parser data open source dan aktifkan fitur unggah multi-bagian OSS.

Untuk mengaktifkan fitur unggah multi-bagian OSS, atur berikut ini:

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

Nilai default odps.sql.unstructured.oss.commit.mode adalah false. Kedua mode bekerja sebagai berikut:

Mengelola file yang diekspor

Menulis file besar menggunakan partisi dinamis

-- service.mode harus dimatikan.
SET odps.service.mode=off;

-- Kemampuan partisi dinamis harus diaktifkan.
SET odps.sql.reshuffle.dynamicpt=true; 	

-- Atur konsumsi data yang diinginkan untuk setiap reducer. Misalkan Anda ingin setiap file berukuran 4 GB.
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lulus uji lokal?

• Bagaimana cara menggabungkan multiple file kecil menjadi satu file menggunakan tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Bagaimana cara mengatasi eksekusi Pekerjaan SQL yang lambat pada tabel eksternal OSS?

• Bagaimana cara mengatasi masalah di mana data lama terhapus tetapi data baru tidak tertulis saat menggunakan fitur unggah multi-bagian OSS?

• Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark

• Kesalahan saat membaca dari atau menulis ke tabel eksternal OSS: Failed to connect Http service: http://***.oss-cn-shanghai-internal.aliyuncs.com.***

• ODPS-0010000:System internal error

Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Masalah

  Saat memproses data OSS, kesalahan Inline data exceeds the maximum allowed size dilaporkan.

• Penyebab

  OSS Store memiliki batas ukuran untuk setiap file kecil. Kesalahan dilaporkan jika file melebihi 3 GB.

• Solusi

  Sesuaikan dua properti berikut untuk mengontrol ukuran data yang ditulis setiap reducer ke tabel eksternal, menjaga file tetap dalam batas 3 GB.

  set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data yang dibaca oleh setiap mapper, dalam MB.
  set odps.stage.reducer.num=100; # Menyesuaikan jumlah worker di tahap reduce.

Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lulus uji lokal?

• Masalah

  Saat mengakses tabel eksternal OSS di MaxCompute, UDF yang lulus uji lokal mengembalikan kesalahan berikut setelah diunggah.

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  Setelah mengatur parameter berikut, waktu eksekusi meningkat, tetapi kesalahan tetap ada.

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• Penyebab

  Terlalu banyak file objek dalam tabel eksternal, yang menyebabkan Penggunaan memori berlebihan, dan tidak ada partisi yang diatur.

• Solusi

  • Gunakan jumlah data yang lebih kecil untuk kueri.

  • Partisikan file objek untuk mengurangi Penggunaan memori.

Bagaimana cara menggabungkan multiple file kecil menjadi satu file menggunakan tabel eksternal OSS?

Periksa log Logview untuk melihat apakah tahap terakhir dalam rencana eksekusi SQL adalah reducer atau joiner.

• Jika reducer, jalankan pernyataan set odps.stage.reducer.num=1;

• Jika joiner, jalankan pernyataan set odps.stage.joiner.num=1;

Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Masalah

  Saat membaca data dari tabel eksternal OSS, kesalahan ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server dilaporkan.

• Penyebab

  • Penyebab 1: Saat tabel eksternal OSS dibuat, Titik akhir publik digunakan untuk oss_endpoint dalam alamat oss_location, bukan Titik akhir internal.

  • Penyebab 2: Saat tabel eksternal OSS dibuat, Titik akhir Wilayah lain digunakan untuk oss_endpoint dalam alamat oss_location.

• Solusi

  • Untuk Penyebab 1

    Verifikasi bahwa oss_endpoint dalam oss_location adalah Titik akhir internal. Jika itu adalah Titik akhir publik, ubah menjadi Titik akhir internal. Lihat Parameter.

    Misalnya, jika pengguna di Wilayah Indonesia (Jakarta) menggunakan alamat oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.....

  • Untuk Penyebab 2

    Verifikasi bahwa oss_endpoint dalam oss_location sesuai dengan Wilayah yang ingin Anda akses. Nama domain jaringan klasik OSS tercantum dalam Wilayah dan Titik akhir.

Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Masalah

  Saat membuat tabel eksternal OSS, kesalahan ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) dilaporkan.

• Penyebab

  Saat tabel eksternal OSS dibuat, Titik akhir publik digunakan untuk oss_endpoint dalam alamat oss_location, bukan Titik akhir internal.

• Solusi

  Verifikasi bahwa oss_endpoint dalam oss_location adalah Titik akhir internal. Jika itu adalah Titik akhir publik, ubah menjadi Titik akhir internal. Lihat Parameter.

  Misalnya, jika pengguna di Wilayah China (Beijing) menggunakan alamat oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.....

Bagaimana cara mengatasi eksekusi Pekerjaan SQL yang lambat pada tabel eksternal OSS?

• Pembacaan file terkompresi GZ yang lambat di tabel eksternal OSS

  • Gejala

    Seorang pengguna membuat tabel eksternal OSS dengan Sumber data berupa file terkompresi GZ berukuran 200 GB di OSS. Proses pembacaan data berjalan lambat.

  • Penyebab

    Kecepatan pemrosesan SQL lambat karena terlalu sedikit mapper yang menjalankan komputasi di tahap map.

  • Solusi

    • Untuk data terstruktur, Anda dapat mengatur parameter berikut untuk menyesuaikan jumlah data yang dibaca oleh satu mapper guna mempercepat eksekusi SQL.

      set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data tabel yang dibaca oleh setiap mapper, dalam MB.       

    • Untuk data tidak terstruktur, periksa apakah hanya ada satu file OSS di jalur tabel eksternal OSS. Jika hanya ada satu, hanya satu mapper yang dapat dihasilkan karena data tidak terstruktur dalam format terkompresi tidak dapat dipisah. Hal ini mengakibatkan kecepatan pemrosesan yang lambat. Sebaiknya pisahkan file OSS besar menjadi file-file yang lebih kecil di jalur tabel eksternal terkait di OSS. Ini meningkatkan jumlah mapper yang dihasilkan saat tabel eksternal dibaca dan meningkatkan kecepatan pembacaan.

• Pencarian data tabel eksternal MaxCompute yang lambat menggunakan SDK

  • Gejala

    Mencari data tabel eksternal MaxCompute menggunakan SDK berjalan lambat.

  • Solusi

    Tabel eksternal hanya mendukung pemindaian tabel penuh, yang berjalan lambat. Gunakan Tabel internal MaxCompute sebagai gantinya.

Bagaimana cara mengatasi masalah di mana data lama terhapus tetapi data baru tidak tertulis saat menggunakan fitur unggah multi-bagian OSS?

• Masalah

  Dalam skenario insert overwrite, jika Pekerjaan gagal dalam kasus ekstrem, hasilnya mungkin tidak sesuai dengan harapan. Data lama terhapus, tetapi data baru tidak tertulis.

• Penyebab

  Data yang baru ditulis gagal ditulis ke tabel target karena probabilitas yang sangat rendah dari kegagalan perangkat keras atau kegagalan pembaruan metadata. Operasi penghapusan di OSS tidak mendukung rollback, sehingga data lama yang terhapus tidak dapat dipulihkan.

• Solusi

  • Jika Anda menimpa tabel eksternal OSS berdasarkan data lamanya, misalnya, insert overwrite table T select * from table T;, cadangkan data OSS terlebih dahulu. Jika Pekerjaan gagal, Anda kemudian dapat menimpa tabel eksternal OSS berdasarkan data lama yang telah dicadangkan.

  • Jika Pekerjaan insert overwrite dapat dikirim ulang, cukup kirim ulang Pekerjaan tersebut jika gagal.

Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark

• Masalah

  Saat menggunakan Spark untuk mengakses tabel eksternal OSS, task gagal dengan kesalahan "table not found".

• Solusi

  • Tambahkan parameter berikut:

    • Aktifkan konfigurasi tabel eksternal:spark.sql.catalog.odps.enableExternalTable=true;

    • Konfigurasikan Wilayah tempat OSS berada:spark.hadoop.odps.oss.region.default=cn-<region>

  • Jika kesalahan tetap ada setelah Anda menambahkan parameter di atas:

    at java.lang.Thread.run(Thread.java:745)
    Caused by: java.lang.Exception: com.aliyun.odps.cupid.CupidException: connectionId and rolearn are mutually exclusive
        at com.aliyun.odps.cupid.table.v1.commontable.impl.reader.CupidCommonTableReadSession.splitTable

    Buat ulang tabel eksternal OSS lalu akses kembali.

Kesalahan saat membaca dari atau menulis ke tabel eksternal OSS: Failed to connect Http service: http://***.oss-cn-shanghai-internal.aliyuncs.com.***

• Detail kesalahan

  Detail kesalahan

  ODPS-0123131: Fuxi job failed - Common table io jni exception - ExceptionType: java.lang.reflect.InvocationTargetException
  Message: null
  StackTrace:
  java.lang.reflect.InvocationTargetException
  	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
  	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
  	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
  	at com.aliyun.odps.CommonReaderFactory.lambda$create$0(CommonReaderFactory.java:65)
  	at com.aliyun.odps.utils.ClassLoaderSwitcher.executeActionOnSpecifiedClassLoader(ClassLoaderSwitcher.java:30)
  	at com.aliyun.odps.CommonReaderFactory.create(CommonReaderFactory.java:42)
  	at com.aliyun.odps.CommonReaderFactory.create(CommonReaderFactory.java:28)
  Caused by: com.aliyun.odps.exception.CommonTableUserException: ODPS-0123131:User defined function exception - ODPS-0123131:User defined function exception - java.io.IOException: ErrorCode : 2001, ErrorMessage : Failed to connect Http service: http://***.oss-cn-shanghai-internal.aliyuncs.com/***?objectMeta [RequestId]: 
  	at com.aliyun.odps.vectorized.VectorizedMetrics.runAndCollectTimeElapsedMetric(VectorizedMetrics.java:49)
  	at com.aliyun.odps.vectorized.VectorizedReaderWrapper.setupVectorizedReader(VectorizedReaderWrapper.java:90)
  	at com.aliyun.odps.vectorized.VectorizedReaderWrapper.<init>(VectorizedReaderWrapper.java:69)
  	... 8 more

• Penyebab dan solusi

  1. Penyebab 1: Periksa apakah Pekerjaan tabel eksternal menggunakan UDF untuk mengakses Titik akhir internal OSS. Jika ya, bangun konektivitas jaringan menggunakan salah satu opsi berikut. Jika tidak, Pekerjaan mungkin gagal secara berkala.

     1. Opsi 1 (disarankan): Menggunakan koneksi jaringan untuk mengakses Sumber daya VPC.

     2. Opsi 2: Menambahkan Titik akhir internal OSS ke daftar putih.

  2. Penyebab 2: Periksa apakah tabel eksternal OSS termasuk salah satu jenis berikut. Jika ya, bangun konektivitas jaringan menggunakan opsi yang tercantum di bawah Penyebab 1.

     Tabel eksternal Lance, tabel eksternal Hudi, tabel eksternal Delta Lake, atau tabel eksternal yang menggunakan parser kustom.

  3. Penyebab 3: Pada halaman Json Summary di Logview, periksa apakah parameter odps.isolation.session.enable diatur ke true. Jika ya, bangun konektivitas jaringan menggunakan opsi yang tercantum di bawah Penyebab 1.

ODPS-0010000:System internal error

• Detail kesalahan

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• Penyebab

  Titik akhir OSS publik digunakan saat tabel eksternal OSS dibuat.

• Solusi

  Saat membuat tabel eksternal OSS, parameter location dengan oss_endpoint harus berupa Titik akhir internal. Untuk informasi tentang mendapatkan Titik akhir, lihat Parameter. Jika kesalahan tetap ada setelah beralih ke Titik akhir internal, kirimkan Tiket ke tim dukungan teknis MaxCompute untuk mendapatkan bantuan.