MaxCompute:Tabel eksternal OSS

Sintaks

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
stored BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
stored AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
stored BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

Parameter

Berikut adalah parameter umum untuk tabel eksternal berbagai format. Untuk parameter unik, lihat dokumentasi masing-masing format tabel eksternal spesifik.

• Parameter sintaks dasar

  Parameter	Wajib	Deskripsi
  mc_oss_extable_name	Ya	Nama tabel eksternal OSS yang akan dibuat. Nama tabel tidak peka huruf besar/kecil. Anda tidak perlu membedakan antara huruf besar dan kecil saat mengkueri tabel eksternal, dan Anda tidak dapat memaksa konversi huruf besar/kecil.
  col_name	Ya	Nama kolom dalam tabel eksternal OSS. Saat membaca data dari OSS, skema tabel eksternal OSS yang dibuat harus sama dengan skema file data OSS. Jika tidak, data tidak dapat dibaca.
  data_type	Ya	Tipe data kolom dalam tabel eksternal OSS. Saat membaca data dari OSS, tipe data setiap kolom dalam tabel eksternal OSS harus sama dengan tipe data kolom yang sesuai dalam file data OSS. Jika tidak, data tidak dapat dibaca.
  table_comment	Tidak	Komentar untuk tabel. Komentar harus berupa string valid dengan panjang maksimal 1.024 byte. Jika tidak, kesalahan akan dilaporkan.
  partitioned by (col_name data_type, ...)	Tidak	Jika file data di OSS disimpan dalam jalur berpartisi, sertakan parameter ini untuk membuat tabel partisi. col_name: Nama kolom kunci partisi. data_type: Tipe data kolom kunci partisi.
  '<(tb)property_name>'='<(tb)property_value>'	Ya	Properti tambahan tabel eksternal OSS. Untuk informasi selengkapnya tentang parameter, lihat dokumentasi parameter unik masing-masing format.
  oss_location	Ya	Jalur OSS tempat file data berada. Secara default, semua file data di jalur ini akan dibaca. Formatnya adalah oss://<oss_endpoint>/<Nama bucket>/<Nama direktori OSS>/. oss_endpoint: Nama domain OSS. Anda harus menggunakan titik akhir jaringan klasik yang disediakan oleh OSS, yang mengandung -internal. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/xxx. Untuk informasi selengkapnya tentang nama domain jaringan klasik OSS, lihat Wilayah dan titik akhir. Pastikan Wilayah OSS tempat file data disimpan sama dengan Wilayah Proyek MaxCompute Anda. Jika berbeda, masalah konektivitas jaringan dapat terjadi. Jika Anda tidak menentukan titik akhir, sistem akan menggunakan titik akhir Wilayah tempat Proyek saat ini berada. Metode ini tidak disarankan karena penyimpanan file lintas-Wilayah dapat menyebabkan masalah konektivitas jaringan. Nama bucket: Nama bucket OSS. Nama bucket harus mengikuti oss_endpoint. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/. Untuk informasi selengkapnya tentang cara melihat nama bucket, lihat Daftar bucket. Nama direktori: Nama direktori OSS. Jangan tentukan nama file setelah direktori. Contoh: oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/. Contoh salah: -- Koneksi HTTP tidak didukung. http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Koneksi HTTPS tidak didukung. https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- Alamat koneksi salah. oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- Jangan tentukan nama file. oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv Spesifikasi izin (RamRole): Tentukan secara eksplisit (Disarankan): Buat peran kustom, lampirkan kebijakan akses, dan gunakan ARN peran kustom tersebut. Untuk informasi selengkapnya, lihat Otorisasi STS. Gunakan Default (Tidak disarankan): Gunakan ARN peran aliyunodpsdefaultrole.

• DENGAN atribut serdeproperties

  property_name	Skenario	property_value	Nilai default
  odps.properties.rolearn	Tambahkan properti ini saat menggunakan otorisasi STS.	Tentukan ARN Peran RAM yang memiliki izin untuk mengakses OSS. Dapatkan ARN dari detail peran di Konsol RAM. Contoh: acs:ram::xxxxxx:role/aliyunodpsdefaultrole.	Jika pemilik MaxCompute dan OSS adalah akun yang sama: Jika Anda tidak menentukan odps.properties.rolearn dalam pernyataan pembuatan tabel, ARN peran aliyunodpsdefaultrole akan digunakan secara default. Anda harus terlebih dahulu membuat peran aliyunodpsdefaultrole menggunakan Otorisasi STS. Untuk menggunakan ARN peran kustom, Anda harus terlebih dahulu membuat peran kustom tersebut. Untuk informasi selengkapnya, lihat Otorisasi STS untuk OSS (otorisasi kustom). Jika pemilik MaxCompute dan OSS adalah akun berbeda, Anda harus menentukan ARN peran kustom. Untuk informasi selengkapnya, lihat Otorisasi STS untuk OSS (otorisasi kustom).

Catatan

• Setelah membuat tabel eksternal OSS, Anda dapat membaca data dari OSS melalui tabel eksternal tersebut. Untuk informasi tentang jenis file data OSS yang didukung dan sintaks pembuatan tabel eksternal OSS, lihat Sintaks.

• Jika Pernyataan SQL melibatkan tipe data kompleks, tambahkan perintah set odps.sql.type.system.odps2=true; sebelum Pernyataan SQL dan kirimkan bersama-sama. Untuk informasi selengkapnya tentang tipe data, lihat Versi tipe data.

• Untuk tabel eksternal OSS yang memetakan ke data open source, atur set odps.sql.hive.compatible=true; pada tingkat session sebelum membaca data dari OSS. Jika tidak, kesalahan akan dilaporkan.

• OSS menyediakan sumber daya bandwidth terbatas. Jika trafik baca/tulis data melebihi batas bandwidth instans dalam periode singkat, kecepatan baca/tulis data tabel eksternal OSS akan langsung terpengaruh. Untuk informasi selengkapnya tentang bandwidth OSS, lihat Batasan dan metrik kinerja.

Sintaks

<select_statement> FROM <from_statement>;

• select_statement: Klausul SELECT, yang mengkueri data yang akan dimasukkan ke tabel target dari tabel sumber.

• from_statement: Klausul FROM, yang menentukan sumber data, seperti nama tabel eksternal.

Optimasi kueri

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- Anda dapat menggunakan salah satu parameter berikut.

-- Satuan: MiB. Nilai default: 256 MiB. Berlaku untuk tabel internal atau eksternal.
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- Satuan: MiB. Nilai default: 256 MiB. Hanya berlaku untuk tabel eksternal.
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- Sintaks untuk model dua tingkat: set odps.sql.split.dop={"project.table": xxx};
-- Sintaks untuk model tiga tingkat: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

Sintaks

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Untuk memasukkan data ke partisi dinamis, lihat Masukkan atau timpa data ke partisi dinamis (DYNAMIC PARTITION).

Tulis data ke OSS menggunakan fitur unggah multi-bagian OSS

Saat Anda perlu menulis data ke OSS dalam format open source, Anda dapat menggunakan tabel eksternal OSS yang dibuat dengan parser data open source dan fitur unggah multi-bagian OSS untuk melakukan operasi INSERT guna menulis data ke OSS.

Untuk mengaktifkan fitur unggah multi-bagian OSS, atur berikut ini:

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

Nilai default properti odps.sql.unstructured.oss.commit.mode adalah false. Prinsip implementasi untuk nilai berbeda adalah sebagai berikut:

Kelola file yang diekspor

Tulis file besar menggunakan partisi dinamis

-- service.mode harus dimatikan.
SET odps.service.mode=off;

-- Kemampuan partisi dinamis harus diaktifkan.
SET odps.sql.reshuffle.dynamicpt=true; 	

-- Atur konsumsi data yang diinginkan untuk setiap reducer. Misalnya, Anda ingin setiap file berukuran 4 GB.
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lolos pengujian lokal?

• Bagaimana cara menggabungkan beberapa file kecil menjadi satu file menggunakan tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Bagaimana cara mengatasi masalah di mana data lama dihapus tetapi data baru tidak ditulis saat menggunakan fitur unggah multi-bagian OSS?

• Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark.

Bagaimana cara mengatasi kesalahan "Inline data exceeds the maximum allowed size" saat memproses data OSS menggunakan tabel eksternal?

• Masalah

  Saat memproses data OSS, kesalahan Inline data exceeds the maximum allowed size dilaporkan.

• Penyebab

  OSS Store memiliki batas ukuran untuk setiap file kecil. Kesalahan dilaporkan jika file melebihi 3 GB.

• Solusi

  Untuk mengatasi masalah ini, Anda dapat menyesuaikan dua properti berikut. Prinsipnya adalah menyesuaikan rencana eksekusi dengan mengubah nilai properti untuk mengontrol ukuran data yang ditulis oleh setiap reducer ke tabel eksternal OSS. Hal ini memastikan bahwa file OSS Store tidak melebihi batas 3 GB.

  set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data yang dibaca setiap mapper, dalam MB.
  set odps.stage.reducer.num=100; # Menyesuaikan jumlah pekerja di tahap reduce.

Bagaimana cara mengatasi kesalahan overflow memori yang terjadi setelah saya mengunggah UDF untuk mengakses tabel eksternal OSS di MaxCompute, meskipun UDF tersebut lolos pengujian lokal?

• Masalah

  Saat mengakses tabel eksternal OSS di MaxCompute, UDF yang lolos pengujian lokal mengembalikan kesalahan berikut setelah diunggah.

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  Setelah mengatur parameter berikut, waktu eksekusi meningkat, tetapi kesalahan tetap terjadi.

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• Penyebab

  Ada terlalu banyak file objek di tabel eksternal, yang menyebabkan penggunaan memori berlebihan, dan tidak ada partisi yang diatur.

• Solusi

  • Gunakan jumlah data yang lebih kecil untuk kueri.

  • Buat partisi pada file objek untuk mengurangi penggunaan memori.

Bagaimana cara menggabungkan beberapa file kecil menjadi satu file menggunakan tabel eksternal OSS?

Periksa log Logview untuk melihat apakah tahap terakhir dalam rencana eksekusi SQL adalah reducer atau joiner.

• Jika reducer, jalankan pernyataan set odps.stage.reducer.num=1;

• Jika joiner, jalankan pernyataan set odps.stage.joiner.num=1;

Bagaimana cara mengatasi kesalahan "Couldn't connect to server" saat membaca dari tabel eksternal OSS?

• Masalah

  Saat membaca data dari tabel eksternal OSS, kesalahan ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server dilaporkan.

• Penyebab

  • Penyebab 1: Saat tabel eksternal OSS dibuat, titik akhir publik digunakan untuk oss_endpoint dalam alamat oss_location, bukan titik akhir internal.

  • Penyebab 2: Saat tabel eksternal OSS dibuat, titik akhir Wilayah lain digunakan untuk oss_endpoint dalam alamat oss_location.

• Solusi

  • Untuk Penyebab 1:

    Periksa apakah oss_endpoint dalam parameter oss_location pernyataan pembuatan tabel eksternal OSS adalah titik akhir internal. Jika titik akhir publik, ubah menjadi titik akhir internal. Untuk informasi selengkapnya tentang parameter, lihat Parameter.

    Misalnya, jika pengguna di Wilayah Indonesia (Jakarta) menggunakan alamat oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.....

  • Untuk Penyebab 2:

    Periksa apakah oss_endpoint dalam parameter oss_location pernyataan pembuatan tabel eksternal OSS adalah titik akhir Wilayah yang ingin Anda akses. Untuk informasi selengkapnya tentang nama domain jaringan klasik OSS, lihat Wilayah dan titik akhir.

Bagaimana cara mengatasi kesalahan "Network is unreachable (connect failed)" saat membuat tabel eksternal OSS?

• Masalah

  Saat membuat tabel eksternal OSS, kesalahan ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) dilaporkan.

• Penyebab

  Saat tabel eksternal OSS dibuat, titik akhir publik digunakan untuk oss_endpoint dalam alamat oss_location, bukan titik akhir internal.

• Solusi

  Periksa apakah oss_endpoint dalam parameter oss_location pernyataan pembuatan tabel eksternal OSS adalah titik akhir internal. Jika titik akhir publik, ubah menjadi titik akhir internal. Untuk informasi selengkapnya tentang parameter, lihat Parameter.

  Misalnya, jika pengguna di Wilayah China (Beijing) menggunakan alamat oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... untuk membuat tabel eksternal, alamat tersebut harus diubah menjadi alamat internal yang sesuai oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.....

Bagaimana cara mengatasi eksekusi job SQL yang lambat pada tabel eksternal OSS?

• Pembacaan lambat file terkompresi GZ di tabel eksternal OSS

  • Gejala

    Pengguna membuat tabel eksternal OSS dengan sumber data berupa file terkompresi 200 GB di OSS. Proses pembacaan data lambat.

  • Penyebab

    Kecepatan pemrosesan SQL lambat karena terlalu sedikit mapper yang mengeksekusi komputasi di tahap map.

  • Solusi

    • Untuk data terstruktur, Anda dapat mengatur parameter berikut untuk menyesuaikan jumlah data yang dibaca satu mapper guna mempercepat eksekusi SQL.

      set odps.sql.mapper.split.size=256; # Menyesuaikan ukuran data tabel yang dibaca setiap mapper, dalam MB.       

    • Untuk data tidak terstruktur, periksa apakah hanya ada satu file OSS di jalur tabel eksternal OSS. Jika hanya ada satu, hanya satu mapper yang dapat dihasilkan karena data tidak terstruktur dalam format terkompresi tidak dapat dibagi. Hal ini mengakibatkan kecepatan pemrosesan lambat. Kami menyarankan Anda membagi file OSS besar menjadi file-file lebih kecil di jalur tabel eksternal yang sesuai di OSS. Hal ini meningkatkan jumlah mapper yang dihasilkan saat tabel eksternal dibaca dan meningkatkan kecepatan pembacaan.

• Pencarian lambat data tabel eksternal MaxCompute menggunakan SDK

  • Gejala

    Mencari data tabel eksternal MaxCompute menggunakan SDK lambat.

  • Solusi

    Tabel eksternal hanya mendukung pemindaian tabel penuh, yang lambat. Kami menyarankan menggunakan tabel internal MaxCompute sebagai gantinya.

Bagaimana cara mengatasi masalah di mana data lama dihapus tetapi data baru tidak ditulis saat menggunakan fitur unggah multi-bagian OSS?

• Masalah

  Dalam skenario insert overwrite, jika job gagal dalam kasus ekstrem, hasilnya mungkin tidak sesuai ekspektasi. Data lama dihapus, tetapi data baru tidak ditulis.

• Penyebab

  Data baru gagal ditulis ke tabel target karena kemungkinan sangat kecil terjadi kegagalan perangkat keras atau kegagalan pembaruan metadata. Operasi penghapusan di OSS tidak mendukung rollback, sehingga data lama yang dihapus tidak dapat dipulihkan.

• Solusi

  • Jika Anda menimpa tabel eksternal OSS berdasarkan data lamanya, misalnya, insert overwrite table T select * from table T;, backup data OSS terlebih dahulu. Jika job gagal, Anda dapat menimpa kembali tabel eksternal OSS berdasarkan data lama yang telah dibackup.

  • Jika job insert overwrite dapat dikirim ulang, cukup kirim ulang job tersebut jika gagal.

Solusi untuk kesalahan "table not found" saat mengakses tabel eksternal OSS dari Spark

• Masalah

  Saat menggunakan Spark untuk mengakses tabel eksternal OSS, tugas gagal dengan kesalahan "table not found".

• Solusi

  • Tambahkan parameter berikut:

    • Aktifkan konfigurasi tabel eksternal:spark.sql.catalog.odps.enableExternalTable=true;

    • Konfigurasikan Wilayah tempat OSS berada:spark.hadoop.odps.oss.region.default=cn-<region>

  • Jika kesalahan tetap terjadi setelah Anda menambahkan parameter di atas, seperti yang ditunjukkan di bawah ini:

    

    Buat ulang tabel eksternal OSS, lalu akses kembali.