MaxCompute:Parameter flag

Kategori

Cakupan

Parameter

Deskripsi

Nilai

Perintah yang terpengaruh

Ecosystem

Session

console.sql.result.instancetunnel

Mengaktifkan atau menonaktifkan InstanceTunnel. Untuk informasi selengkapnya tentang perintah Tunnel, lihat Petunjuk penggunaan.

• True: Diaktifkan.

• False: Dinonaktifkan.

SELECT

Scheduling

Session

odps.stage.mapper.mem

Mengatur ukuran memori untuk setiap map worker.

Rentang: 256 MiB hingga 12288 MiB. Default: 1024 MiB.

ALL

Scheduling

Session

odps.stage.reducer.mem

Mengatur ukuran memori untuk setiap reduce worker.

Rentang: 256 MiB hingga 12288 MiB. Default: 1024 MiB.

ALL

Scheduling

Session

odps.stage.joiner.mem

Mengatur ukuran memori untuk setiap join worker.

Rentang: 256 MiB hingga 12288 MiB. Default: 1024 MiB.

ALL

Scheduling

Session

odps.stage.mem

Mengatur ukuran memori untuk semua worker dalam tugas MaxCompute tertentu. Properti ini memiliki prioritas lebih rendah dibandingkan odps.stage.mapper.mem, odps.stage.reducer.mem, dan odps.stage.joiner.mem.

Rentang: 256 MiB hingga 12288 MiB. Tidak ada nilai default.

ALL

Scheduling

Session

odps.stage.mapper.split.size

Mengatur ukuran data masukan untuk setiap map worker, yang sesuai dengan ukuran split file masukan. Ini secara tidak langsung mengontrol jumlah worker pada setiap tahap map.

Unit: MiB. Default: 256 MiB.

ALL

Scheduling

Session

odps.sql.split.size

Mengatur ukuran satu split data untuk pemrosesan paralel tingkat tabel.

Unit: MiB.

Contoh: {"table1": 1024, "table2": 512}.

ALL

Scheduling

Session

odps.sql.split.row.count

Mengatur jumlah baris dalam satu split untuk pemrosesan paralel tingkat tabel.

Bilangan bulat lebih besar dari 0.

Contoh: {"table1": 100, "table2": 500}.

ALL

Scheduling

Session

odps.sql.split.dop

Mengatur paralelisme tingkat tabel.

Bilangan bulat lebih besar dari 0.

Contoh: {"table1": 1, "table2": 5}.

ALL

Scheduling

Session

odps.stage.reducer.num

Mengatur jumlah worker untuk setiap tahap reduce.

-

ALL

Scheduling

Session

odps.stage.joiner.num

Mengatur jumlah worker untuk setiap tahap join.

-

ALL

Scheduling

Session

odps.stage.num

Mengatur konkurensi (jumlah worker) untuk tugas MaxCompute tertentu. Properti ini memiliki prioritas lebih rendah dibandingkan odps.stage.mapper.split.size, odps.stage.reducer.num, dan odps.stage.joiner.num.

-

ALL

Scheduling

Project

odps.instance.priority.enable

Mengaktifkan atau menonaktifkan prioritas pekerjaan untuk proyek yang menggunakan resource langganan. Untuk informasi selengkapnya tentang fitur prioritas pekerjaan, lihat Prioritas pekerjaan.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

SQL

Session

odps.sql.reshuffle.dynamicpt

Mengaktifkan atau menonaktifkan reshuffling untuk partisi dinamis guna mencegah pembuatan terlalu banyak file kecil.

• True: Diaktifkan.

• False: Dinonaktifkan.

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.udf.getjsonobj.new

Menentukan apakah fungsi GET_JSON_OBJECT mengembalikan string asli tanpa melakukan escaping karakter khusus.

• True: Diaktifkan.

• False: Dinonaktifkan.

UDF

SQL

Session

odps.sql.udf.jvm.memory

Error kehabisan memori (OOM) dapat terjadi jika UDF memproses data dalam jumlah besar untuk komputasi atau pengurutan di memori. Jika hal ini terjadi, Anda dapat meningkatkan nilai properti ini. Namun, ini hanya solusi sementara, dan mengoptimalkan kode UDF merupakan solusi jangka panjang yang direkomendasikan.

Rentang: 256 MiB hingga 12288 MiB. Default: 1024 MiB.

UDF

SQL

Session

odps.function.timeout

Mengatur durasi timeout untuk UDF.

Rentang: 0s hingga 3600s. Default: 600s.

UDF

SQL

Session

odps.sql.session.resources

Menentukan resource yang direferensikan oleh UDT. Anda dapat menentukan beberapa resource, dipisahkan dengan koma (,).

Untuk informasi selengkapnya tentang resource yang direferensikan, lihat Ikhtisar UDT.

Resource yang diunggah.

UDT

SQL

Session

odps.sql.udt.display.tostring

Menentukan apakah akan membungkus semua kolom yang tipe output akhirnya merupakan UDT dengan java.util.Objects.toString(...).

• True: Diaktifkan.

• False: Dinonaktifkan.

UDT

SQL

Session

odps.sql.session.java.imports

Menentukan paket Java yang direferensikan oleh UDT. Anda dapat menentukan beberapa paket, dipisahkan dengan koma (,). Untuk informasi selengkapnya tentang paket Java, lihat Ikhtisar UDT.

Paket Java yang diunggah.

UDT

SQL

Session

odps.sql.skewjoin

Mengaktifkan atau menonaktifkan fitur SKEWJOIN untuk mengurangi kesenjangan data.

• True: Diaktifkan.

• False: Dinonaktifkan.

• SELECT

• JOIN

SQL

Session

odps.sql.skewinfo

Menentukan kunci yang miring dan nilai yang sesuai untuk operasi SKEWJOIN. Untuk informasi selengkapnya, lihat Mengoptimalkan kesenjangan data.

-

• SELECT

• JOIN

SQL

Session

odps.sql.udf.ppr.deterministic

Menentukan apakah akan mengaktifkan pemangkasan partisi dalam UDF. Untuk informasi selengkapnya tentang pemangkasan partisi, lihat Klausa WHERE (WHERE_condition).

• True: Diaktifkan.

• False: Dinonaktifkan.

UDF

SQL

Session

odps.sql.udf.ppr.to.subquery

Menentukan apakah akan mengabaikan error saat informasi pemangkasan partisi tidak dapat diisi ulang. Untuk informasi selengkapnya tentang pemangkasan partisi, lihat Klausa WHERE (WHERE_condition).

• True: Diaktifkan.

• False: Dinonaktifkan.

UDF

SQL

Session

odps.optimizer.enable.range.partial.repartitioning

Menentukan apakah akan mengaktifkan mekanisme penghapusan shuffle untuk tabel range-clustered.

• True: Diaktifkan.

• False: Dinonaktifkan.

• INSERT OVERWRITE

• CREATE TABLE

SQL

Session

odps.optimizer.merge.partitioned.table

Saat kueri berulang kali menggunakan tabel partisi yang sama, aktifkan properti ini untuk menggabungkan partisi. Tindakan ini meminimalkan I/O pada tabel dan meningkatkan kinerja.

• True: Diaktifkan.

• False: Dinonaktifkan.

SELECT

SQL

Session

odps.optimizer.skew.join.topk.num

Mengatur jumlah hot key yang dikumpulkan oleh pengoptimal saat menjalankan operasi agregat. Untuk informasi selengkapnya, lihat SKEWJOIN HINT.

-

SKEWJOIN HINT

SQL

Session

odps.optimizer.stat.collect.auto

Menentukan apakah akan mengaktifkan fitur Freeride, yang secara otomatis mengumpulkan statistik kolom untuk tabel. Untuk informasi selengkapnya tentang pengumpulan statistik pengoptimal, lihat Pengoptimal.

• True: Diaktifkan.

• False: Dinonaktifkan.

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.optimizer.stat.collect.plan

Menentukan rencana pengumpulan untuk mengumpulkan statistik pada kolom tertentu. Untuk informasi selengkapnya tentang pengumpulan statistik pengoptimal, lihat Pengoptimal.

-

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Session

odps.sql.external.net.vpc

Menentukan apakah akan mengaktifkan dukungan VPC untuk tabel eksternal. Untuk informasi selengkapnya, lihat Tabel eksternal Hologres.

• True: Diaktifkan.

• False: Dinonaktifkan.

CREATE TABLE

SQL

Session

odps.sql.groupby.position.alias

Menentukan apakah akan memperlakukan konstanta integer dalam klausa GROUP BY sebagai ordinal kolom dari daftar SELECT.

• True: Diaktifkan.

• False: Dinonaktifkan.

• SELECT

• GROUP BY

SQL

Session

odps.sql.groupby.skewindata

Menentukan apakah akan mengaktifkan mekanisme anti-miring untuk operasi GROUP BY.

• True: Diaktifkan.

• False: Dinonaktifkan.

GROUP BY

SQL

Session

odps.sql.orderby.position.alias

Menentukan apakah akan memperlakukan konstanta integer dalam klausa ORDER BY sebagai ordinal kolom dari daftar SELECT.

• True: Diaktifkan.

• False: Dinonaktifkan.

• ORDER BY

• SELECT

SQL

Session

odps.sql.mapjoin.memory.max

Mengatur ukuran memori untuk tabel kecil yang dimuat ke memori selama operasi MAPJOIN. Unit: MiB.

取值范围：0 MiB~8192 MiB

JOIN

SQL

Session

odps.sql.distributed.map.join.memory.max

Mengatur ukuran memori untuk setiap instance HashTableBuilder selama operasi MAPJOIN. Nilai default adalah 2048. Unit: MiB.

Rentang: 0 MiB hingga 8192 MiB

JOIN

SQL

Session

odps.sql.python.version

Mengatur versi Python untuk menjalankan Pernyataan SQL.

• cp27

• cp37

• UDTF

• UDAF

SQL

Session

odps.sql.select.output.format

Menentukan apakah akan menampilkan baris header dalam hasil dari klien MaxCompute. Untuk informasi selengkapnya tentang cara menggunakan klien MaxCompute, lihat Terhubung menggunakan klien (odpscmd).

• {""needHeader"":false,""fieldDelim"":""""}: Tidak menampilkan informasi header.

• {""needHeader"":true,""fieldDelim"":""""}: Menampilkan informasi header.

ALL

SQL

Session

odps.sql.unstructured.data.oss.use.https

Menentukan apakah akan mengambil data melalui HTTPS saat mengakses tabel eksternal. Untuk informasi selengkapnya tentang tabel eksternal OSS, lihat Tabel eksternal ORC.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

SQL

Session

odps.sql.decimal.tostring.trimzero

Menentukan apakah akan menghapus nol trailing setelah titik desimal untuk tipe data Decimal. Nilai default adalah True, yang berarti nol trailing dihapus secara default.

• True: Menghapus nol trailing setelah titik desimal.

• False: Mempertahankan nol trailing setelah titik desimal.

CAST

SQL

Session

odps.sql.unstructured.tablestore.put.row

Menentukan apakah akan menggunakan mode tulis PutRow untuk tabel eksternal Tablestore.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

SQL

Session

odps.sql.unstructured.external.max.dop

Mengatur konkurensi maksimum untuk worker yang mengakses tabel eksternal.

Bilangan bulat lebih besar dari 0.

Kueri dan penulisan tabel eksternal

SQL

Session/Project

odps.sql.unstructured.file.pattern.black.list

Saat MaxCompute SQL membaca tabel eksternal dari lokasi OSS atau HDFS, secara otomatis dapat mengabaikan file _SUCCESS yang ditulis oleh Spark untuk mencegah kegagalan baca. Misalnya, di tingkat Session:

CREATE EXTERNAL TABLE IF NOT EXISTS test_oss_pt( 
  t_id INT,
  t_string STRING)
PARTITIONED BY (pt1 INT,pt2 INT)
STORED BY 'com.aliyun.odps.CsvStorageHandler' 
WITH serdeproperties (
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
) 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/Demo3/';

SET odps.sql.unstructured.file.pattern.black.list=.*_SUCCESS$;
INSERT INTO test_oss_pt PARTITION (pt1=8,pt2=8) VALUES (1,'tree');
SELECT t_id, t_string FROM test_oss_pt WHERE pt1=8 AND pt2=8;

Nilai: .*_SUCCESS$.

Kueri tabel eksternal

SQL

Session

odps.meta.exttable.stats.onlinecollect

Data dari tabel eksternal berada di data lake. Karena bersifat terbuka, MaxCompute tidak dapat mengelola metadata-nya secara lokal. Tanpa statistik, pengoptimal sering menghasilkan rencana eksekusi yang konservatif, sehingga menyebabkan kinerja buruk.

Saat fitur ini diaktifkan, pengoptimal dapat mengumpulkan statistik tabel selama eksekusi kueri untuk mengidentifikasi tabel kecil. Hal ini memungkinkan pengoptimal meningkatkan rencana kueri dengan menggunakan teknik seperti hash join, optimasi urutan join, pengurangan shuffle, dan pipeline eksekusi yang lebih pendek.

True: Diaktifkan.

False (default): Dinonaktifkan.

Kueri tabel eksternal

SQL

Project

odps.sql.allow.fullscan

Menentukan apakah akan mengizinkan pemindaian tabel penuh dalam proyek. Pemindaian tabel penuh sangat intensif resource. Disarankan untuk menonaktifkan fitur ini demi kinerja yang lebih baik.

• True: Mengizinkan pemindaian tabel penuh.

• False: Melarang pemindaian tabel penuh.

SELECT

SQL

Project

odps.table.lifecycle

Menentukan apakah tabel dalam proyek harus dikonfigurasi dengan siklus hidup.

• Optional: Klausul Lifecycle bersifat opsional saat membuat tabel. Jika Anda tidak mengonfigurasi siklus hidup untuk tabel tersebut, tabel tidak akan pernah kedaluwarsa.

• Mandatory: Klausul Lifecycle wajib. Anda harus mengonfigurasi siklus hidup untuk tabel tersebut.

• Inherit: Jika tabel dibuat tanpa siklus hidup yang ditentukan, siklus hidupnya mengikuti nilai odps.table.lifecycle.value.

CREATE TABLE

SQL

Project

odps.table.lifecycle.value

Mengatur siklus hidup tabel dalam hari.

Rentang: 1 hingga 37231. Default: 37231.

CREATE TABLE

SQL

Project

READ_TABLE_MAX_ROW

Mengatur jumlah baris yang dikembalikan oleh pernyataan SELECT.

Rentang: 1 hingga 10000. Default: 10000.

SELECT

SQL

Project

odps.output.field.formatter

Mengatur aturan penyembunyian data dinamis untuk hasil kueri SQL. Untuk informasi selengkapnya tentang penyembunyian data dinamis di MaxCompute, lihat Penyembunyian data dinamis.

Aturan penyembunyian data dinamis kustom.

SELECT

SQL

Project

odps.sql.acid.table.enable

Menentukan apakah akan mengaktifkan mekanisme ACID. Untuk informasi selengkapnya tentang ACID, lihat Semantik ACID.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

SQL

Session/Project

odps.io.oss.use.vipserver

Menentukan apakah akan menggunakan VIPServer untuk mengakses OSS untuk tabel eksternal. Jika properti ini tidak diaktifkan, SLB yang digunakan. VIPServer menyediakan batas trafik yang lebih tinggi dan mendukung kontrol trafik, tetapi memperkenalkan risiko stabilitas, seperti kegagalan kueri. Evaluasi risiko ini sebelum mengaktifkan properti ini.

• True: Diaktifkan

• False (default): Dinonaktifkan

Kueri tabel eksternal

SQL

Session/Project

odps.sql.executionengine.enable.string.to.date.full.format

Untuk mengonversi string tanggal yang mencakup jam, menit, dan detik, atur properti ini ke True. Nilai default adalah False.

• True: Diaktifkan.

• False: Dinonaktifkan.

CAST

SQL

Session/Project

odps.sql.executionengine.enable.rand.time.seed

Jika properti ini diatur ke False, fungsi Rand menggunakan ID instans saat ini sebagai seed untuk menginisialisasi bilangan acak. Hal ini menjamin idempotensi fungsi.

Jika properti ini diatur ke True, fungsi Rand menggunakan waktu sistem saat ini sebagai seed. Dalam kasus ini, fungsi Rand tidak idempoten dan tidak dapat digunakan sebagai kunci shuffle. Menjalankan ulang pekerjaan akan menghasilkan hasil yang berbeda.

Nilai default adalah False.

• True: Diaktifkan.

• False: Dinonaktifkan.

RAND

SQL

Session/Project

odps.sql.type.system.odps2

Mengaktifkan atau menonaktifkan tipe data 2.0. Untuk informasi selengkapnya tentang tipe data 2.0, lihat Versi tipe data 2.0.

• True: Diaktifkan.

• False: Dinonaktifkan.

Fungsi diperluas MaxCompute 2.0

SQL

Session/Project

odps.sql.type.json.enable

Mengaktifkan atau menonaktifkan tipe data JSON. Untuk informasi selengkapnya tentang tipe data JSON, lihat Tipe data JSON.

• True: Diaktifkan.

• False: Dinonaktifkan.

Tipe data JSON MaxCompute

SQL

Session/Project

odps.sql.hive.compatible

Mengaktifkan atau menonaktifkan mode kompatibilitas Hive. Saat diaktifkan, MaxCompute mendukung berbagai sintaks khusus Hive, seperti inputRecordReader, outputRecordReader, dan Serde. Untuk informasi selengkapnya tentang tipe data yang kompatibel, lihat Versi tipe data kompatibel Hive.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

SQL

Session/Project

odps.sql.metering.value.max

Mengatur batas konsumsi untuk satu kueri SQL. Untuk informasi selengkapnya tentang pemantauan konsumsi, lihat Pemantauan, peringatan, dan kontrol konsumsi.

-

ALL

SQL

Session/Project

odps.sql.timezone

Mengatur zona waktu untuk proyek MaxCompute. Untuk informasi selengkapnya tentang zona waktu, lihat Operasi konfigurasi zona waktu.

-

ALL

SQL

Session/Project

odps.sql.unstructured.oss.commit.mode

Menentukan apakah akan mengaktifkan unggah multi-bagian untuk menulis data ke tabel eksternal OSS. Untuk informasi selengkapnya, lihat Menulis data ke OSS.

• True: Diaktifkan.

• False: Dinonaktifkan.

INSERT OVERWRITE

SQL

Session/Project

odps.sql.groupby.orderby.position.alias

Menentukan apakah akan memperlakukan konstanta integer dalam klausa GROUP BY dan ORDER BY sebagai ordinal kolom dari daftar SELECT.

• True: Diaktifkan.

• False: Dinonaktifkan.

• GROUP BY

• ORDER BY

• SELECT

SQL

Session/Project

odps.ext.oss.orc.native

Menentukan apakah akan menggunakan reader ORC native untuk membaca tabel.

• True: Diaktifkan.

• False: Dinonaktifkan.

SELECT

SQL

Session/Project

odps.sql.job.max.time.hours

Mengatur durasi eksekusi maksimum untuk satu pekerjaan.

Rentang: 1 hingga 72. Default: 24.

Pekerjaan SQL

Billing

Session

odps.task.quota.preference.tag

Dalam proyek yang menggunakan resource langganan, properti ini menetapkan pekerjaan ke kelompok kuota sekunder tertentu. Jika tag kuota pekerjaan cocok dengan tag kelompok kuota, pekerjaan tersebut dijadwalkan ke kelompok tersebut dengan prioritas. Jika tidak, pekerjaan tersebut dijadwalkan ke kelompok kuota default proyek.

set odps.task.quota.preference.tag = payasyougo

tag_name adalah tag kelompok kuota di MaxCompute Housekeeper. Kelompok kuota harus berada di wilayah yang sama dengan pemilik proyek tempat pekerjaan tersebut berada. tag_name hanya boleh berisi huruf, angka, dan garis bawah (_).

ALL

Billing

Session

odps.task.wlm.quota

Menentukan kelompok kuota (berdasarkan nama) yang digunakan untuk menjalankan tugas dalam sesi saat ini.

-

ALL

Security

Project

odps.forbid.fetch.result.by.bearertoken

Menentukan apakah akan mencegah tab Result di Logview menampilkan hasil pekerjaan. Gunakan properti ini untuk melindungi data.

• True: Mencegah tampilan hasil pekerjaan.

• False: Mengizinkan tampilan hasil pekerjaan.

ALL

Security

Project

LabelSecurity

Menentukan apakah akan mengaktifkan mekanisme LabelSecurity. Untuk informasi selengkapnya tentang mekanisme LabelSecurity, lihat Kontrol akses berbasis label.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

Security

Project

CheckPermissionUsingACL

Menentukan apakah akan mengaktifkan mekanisme otorisasi daftar kontrol akses (ACL). Untuk informasi selengkapnya tentang otorisasi berbasis ACL, lihat Izin MaxCompute.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

Security

Project

CheckPermissionUsingPolicy

Menentukan apakah akan mengaktifkan mekanisme otorisasi berbasis kebijakan. Untuk informasi selengkapnya tentang otorisasi berbasis kebijakan, lihat Kontrol akses berbasis kebijakan.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

Security

Project

ObjectCreatorHasAccessPermission

Menentukan apakah pembuat objek memiliki izin akses pada objek tersebut secara default.

• True: Pembuat objek memiliki izin akses secara default.

• False: Pembuat objek tidak memiliki izin akses secara default.

ALL

Security

Project

ObjectCreatorHasGrantPermission

Menentukan apakah pembuat objek memiliki izin memberikan izin pada objek tersebut secara default.

• True: Pembuat objek memiliki izin memberikan izin secara default.

• False: Pembuat objek tidak memiliki izin memberikan izin secara default.

ALL

Security

Project

ProjectProtection

Menentukan apakah akan mengaktifkan mekanisme perlindungan data. Untuk informasi selengkapnya tentang mekanisme perlindungan data, lihat Mekanisme perlindungan data.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

Security

Project

odps.output.field.formatter

Mengatur aturan penyembunyian data dinamis untuk hasil kueri SQL. Untuk informasi selengkapnya tentang penyembunyian data dinamis, lihat Penyembunyian data dinamis.

Aturan penyembunyian data dinamis kustom.

SELECT

Security

Project

odps.security.ip.whitelist

Mengatur daftar putih IP untuk klien yang mengakses proyek melalui internet publik, yang biasanya digunakan untuk integrasi layanan cloud. Untuk informasi selengkapnya tentang daftar putih IP, lihat Mengelola daftar putih IP.

Daftar alamat IP, dipisahkan dengan koma (,).

ALL

Security

Project

odps.security.vpc.whitelist

Menentukan daftar putih IP untuk mengakses proyek dari VPC. Untuk informasi selengkapnya tentang daftar putih IP, lihat Mengelola daftar putih IP.

Format: RegionID_VPCID[Alamat IP]

ALL

Data types

Project

odps.sql.decimal.odps2

Mengaktifkan atau menonaktifkan tipe data DECIMAL(precision, scale) dari tipe data 2.0. Untuk informasi selengkapnya tentang tipe data, lihat Versi tipe data 2.0.

• True: Diaktifkan.

• False: Dinonaktifkan.

ALL

Data storage

Project

odps.timemachine.retention.days

Mengatur periode retensi untuk data cadangan. Untuk informasi selengkapnya tentang pencadangan data, lihat Cadangan lokal.

Rentang dalam hari: 0 hingga 30. Default: 1.

ALL

Metadata

Project

odps.schema.evolution.enable

Mengaktifkan evolusi skema.

• True: Diaktifkan.

• False (default): Dinonaktifkan.

Evolusi skema.