MaxCompute:SETPROJECT

Categoria

Escopo

Parâmetro

Descrição

Valores válidos

Instruções afetadas

Ecossistema

Session

console.sql.result.instancetunnel

Ativa ou desativa o InstanceTunnel. Consulte as Notas de uso para obter detalhes sobre os comandos do Tunnel.

True: ativado. False: desativado.

SELECT

Agendamento

Session

odps.stage.mapper.mem

Memória alocada para cada worker do Map.

256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Session

odps.stage.reducer.mem

Memória alocada para cada worker do Reduce.

256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Session

odps.stage.joiner.mem

Memória alocada para cada worker do Join.

256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Session

odps.stage.mem

Memória total para todos os workers em um job. Tem prioridade menor que odps.stage.mapper.mem, odps.stage.reducer.mem e odps.stage.joiner.mem.

256 MiB a 12288 MiB. Sem valor padrão.

ALL

Agendamento

Session

odps.stage.mapper.split.size

Tamanho dos dados de entrada por worker do Map (tamanho do split). Controla o número de workers no estágio Map. Se a instrução SQL usar LIMIT, os workers simultâneos serão limitados a 1; evite usar LIMIT ao definir este parâmetro.

Padrão: 256 MiB.

ALL

Agendamento

Session

odps.sql.split.size

Tamanho do shard para processamento paralelo no nível da tabela. Exemplo: {"table1": 1024, "table2": 512}

Unidade: MiB.

ALL

Agendamento

Session

odps.sql.split.row.count

Contagem de linhas por shard para processamento paralelo no nível da tabela. Aplica-se apenas a tabelas internas, não transacionais e não clusterizadas. Exemplo: {"table1": 100, "table2": 500}

Inteiro positivo.

ALL

Agendamento

Session

odps.sql.split.dop

Nível de paralelismo para processamento no nível da tabela. Aplica-se apenas a tabelas internas, não transacionais e não clusterizadas. Exemplo: {"table1": 1, "table2": 5}

Inteiro positivo.

ALL

Agendamento

Session

odps.stage.reducer.num

Número de workers em cada estágio Reduce. Se a instrução SQL usar LIMIT, os workers simultâneos serão limitados a 1.

—

ALL

Agendamento

Session

odps.stage.joiner.num

Número de workers em cada estágio Join. Se a instrução SQL usar LIMIT, os workers simultâneos serão limitados a 1.

—

ALL

Agendamento

Session

odps.stage.num

Total de workers simultâneos em um job. Tem prioridade menor que odps.stage.mapper.split.size, odps.stage.reducer.num e odps.stage.joiner.num. Se a instrução SQL usar LIMIT, os workers simultâneos serão limitados a 1.

—

ALL

Agendamento

Project

odps.instance.priority.enable

Ativa a prioridade de job para projetos que utilizam recursos de computação por assinatura. Consulte Prioridade do job. Apenas o proprietário do projeto ou um usuário com a função Super_Administrator pode executar este comando.

True: ativado. False: desativado.

ALL

SQL

Session

odps.sql.reshuffle.dynamicpt

Ativa o particionamento dinâmico para evitar o excesso de arquivos pequenos. Se apenas um número pequeno de partições dinâmicas for gerado, defina como False para evitar skew de dados.

True: ativado. False: desativado.

INSERT INTO, INSERT OVERWRITE

SQL

Session

odps.sql.udf.getjsonobj.new

Controla se o GET_JSON_OBJECT mantém a string original em seu valor de retorno. Projetos criados em ou após 21 de janeiro de 2021 retornam strings originais por padrão. Projetos anteriores retornam caracteres reservados do JSON como caracteres de escape por padrão. Consulte Funções de string.

True: ativado. False: desativado.

UDF

SQL

Session

odps.sql.udf.jvm.memory

Memória heap máxima da Java Virtual Machine (JVM) para uma função definida pelo usuário (UDF). Aumente este valor se classificações grandes na memória causarem erros de falta de memória (OOM), mas otimize o código da UDF para resolver a causa raiz.

256 MiB a 12288 MiB. Padrão: 1024 MiB.

UDF

SQL

Session

odps.function.timeout

Tempo limite para uma UDF.

0s a 3600s. Padrão: 600s.

UDF

SQL

Session

odps.sql.session.resources

Recursos referenciados por um tipo definido pelo usuário (UDT). Separe vários recursos com vírgulas. Consulte a Visão geral.

Recursos enviados.

UDT

SQL

Session

odps.sql.udt.display.tostring

Ativa o mecanismo java.util.Objects.toString(...) no Wrap para todas as colunas de saída da UDT.

True: ativado. False: desativado.

UDT

SQL

Session

odps.sql.session.java.imports

Pacotes Java referenciados por UDTs. Separe vários pacotes com vírgulas. Consulte a Visão geral.

Pacotes Java enviados.

UDT

SQL

Session

odps.sql.skewjoin

Ativa o SKEWJOIN para evitar problemas de long tail.

True: ativado. False: desativado.

SELECT, JOIN

SQL

Session

odps.sql.skewinfo

A chave e o valor nos quais o SKEWJOIN opera. Consulte o Ajuste de skew de dados.

—

SELECT, JOIN

SQL

Session

odps.sql.udf.ppr.deterministic

Ativa a poda de partição para UDFs. Consulte a Cláusula WHERE.

True: ativado. False: desativado.

UDF

SQL

Session

odps.sql.udf.ppr.to.subquery

Ignora erros durante o backfill de resultados ao executar a poda de partição. Consulte a Sintaxe do SELECT.

True: ativado. False: desativado.

UDF

SQL

Session

odps.optimizer.enable.range.partial.repartitioning

Ativa o recurso Shuffle Remove para tabelas clusterizadas por intervalo.

True: ativado. False: desativado.

INSERT OVERWRITE, CREATE TABLE

SQL

Session

odps.optimizer.merge.partitioned.table

Quando uma consulta usa a mesma tabela particionada várias vezes, mescla as leituras da tabela para minimizar a IO e melhorar o desempenho.

True: ativado. False: desativado.

SELECT

SQL

Session

odps.optimizer.skew.join.topk.num

Número de valores de chave quente que o otimizador busca ao executar operações de agregação. Consulte o SKEWJOIN HINT.

—

SKEWJOIN HINT

SQL

Session

odps.optimizer.stat.collect.auto

Ativa o recurso Freeride, que coleta estatísticas de coluna automaticamente. Consulte o Otimizador.

True: ativado. False: desativado.

CREATE TABLE, INSERT INTO, INSERT OVERWRITE

SQL

Session

odps.optimizer.stat.collect.plan

Um plano de coleta que especifica quais estatísticas de coluna devem ser reunidas. Consulte o Otimizador.

—

CREATE TABLE, INSERT INTO, INSERT OVERWRITE

SQL

Session

odps.sql.external.net.vpc

Ativa o acesso à virtual private cloud (VPC) para tabelas externas. Consulte as Tabelas externas do Hologres.

True: ativado. False: desativado.

CREATE TABLE

SQL

Session

odps.sql.groupby.position.alias

Permite que constantes inteiras no GROUP BY referenciem posições de coluna no SELECT.

True: ativado. False: desativado.

SELECT, GROUP BY

SQL

Session

odps.sql.groupby.skewindata

Ativa o recurso anti-skew para o GROUP BY.

True: ativado. False: desativado.

GROUP BY

SQL

Session

odps.sql.orderby.position.alias

Permite que constantes inteiras no ORDER BY referenciem posições de coluna no SELECT.

True: ativado. False: desativado.

ORDER BY, SELECT

SQL

Session

odps.sql.mapjoin.memory.max

Tamanho da memória para tabelas pequenas carregadas na memória durante o MAPJOIN. O limite global total em todas as tabelas pequenas em uma tarefa é igual a std::min(8G, odps.sql.mapjoin.memory.max × number of small tables).

0 MiB a 8192 MiB.

JOIN

SQL

Session

odps.sql.distributed.map.join.memory.max

Memória por instância do HashTableBuilder durante o MAPJOIN. Padrão: 2048 MiB.

0 MiB a 8192 MiB.

JOIN

SQL

Session

odps.sql.python.version

Versão do Python usada ao executar instruções SQL.

cp27, cp37

UDTF, UDAF

SQL

Session

odps.sql.select.output.format

Controla se o cliente do MaxCompute exibe cabeçalhos de coluna nos resultados do SELECT. Consulte {{XREF_4}}.

{"needHeader":false,"fieldDelim":""}: sem cabeçalhos. {"needHeader":true,"fieldDelim":""}: com cabeçalhos.

ALL

SQL

Session

odps.sql.unstructured.data.oss.use.https

Ativa o HTTPS ao acessar tabelas externas na camada subjacente. Consulte Criar uma tabela externa do OSS.

True: ativado. False: desativado.

ALL

SQL

Session

odps.sql.decimal.tostring.trimzero

Remove zeros à direita após o ponto decimal para o tipo DECIMAL. Padrão: True.

True: zeros à direita removidos. False: zeros à direita mantidos.

CAST

SQL

Session

odps.sql.unstructured.tablestore.put.row

Chama a operação PutRow para gravar dados em uma tabela externa do Tablestore. Consulte PutRow.

True: ativado. False: desativado.

ALL

SQL

Session

odps.sql.unstructured.external.max.dop

Concorrência máxima de workers que acessam uma tabela externa.

Inteiro positivo.

Consultas e gravações em tabelas externas

SQL

Session/Project

odps.sql.unstructured.file.pattern.black.list

Ignora arquivos que correspondem a um padrão ao ler tabelas externas no Object Storage Service (OSS) ou no Hadoop Distributed File System (HDFS). Use isso para ignorar arquivos _SUCCESS gravados pelo Spark. Exemplo no nível da sessão: SET odps.sql.unstructured.file.pattern.black.list=.*_SUCCESS$;

.*_SUCCESS$

Consultas em tabelas externas

SQL

Session

odps.meta.exttable.stats.onlinecollect

Permite que o otimizador colete estatísticas sobre tabelas externas temporariamente durante a execução da consulta. Isso ajuda o otimizador a descobrir tabelas pequenas, aplicar Hash Join, otimizar a ordem de junção e reduzir as operações de shuffle. Padrão: False.

True: ativado. False (padrão): desativado.

Consultas em tabelas externas

SQL

Project

odps.sql.allow.fullscan

Ativa verificações completas de tabela (full table scans) no projeto. As verificações completas consomem recursos significativos e reduzem a eficiência do processamento. Desative isso em produção, a menos que seja necessário.

True: ativado. False: desativado.

SELECT

SQL

Project

odps.table.lifecycle

Define o requisito de ciclo de vida para as tabelas criadas no projeto.

Optional: a cláusula LIFECYCLE é opcional. Mandatory: a cláusula LIFECYCLE é obrigatória. Inherit: tabelas sem um ciclo de vida explícito herdam o valor de odps.table.lifecycle.value.

CREATE TABLE

SQL

Project

odps.table.lifecycle.value

Ciclo de vida padrão para tabelas, em dias. Aplica-se quando odps.table.lifecycle está definido como Inherit.

1 a 37231. Padrão: 37231.

CREATE TABLE

SQL

Project

READ_TABLE_MAX_ROW

Número máximo de linhas retornadas por uma instrução SELECT.

1 a 10000. Padrão: 10000.

SELECT

SQL

Project

odps.output.field.formatter

Regras de mascaramento dinâmico de dados aplicadas aos resultados de consultas SQL. Consulte o Mascaramento dinâmico de dados.

Regras de mascaramento personalizadas.

SELECT

SQL

Project

odps.sql.acid.table.enable

Ativa o mecanismo de atomicidade, consistência, isolamento e durabilidade (ACID). Consulte a Semântica ACID.

True: ativado. False: desativado.

ALL

SQL

Session/Project

odps.io.oss.use.vipserver

Roteia o acesso ao OSS pelo VIPServer em vez do Server Load Balancer (SLB). O VIPServer suporta maior throughput com controle de fluxo, mas pode introduzir falhas de consulta. Avalie as compensações de estabilidade antes de ativar. Padrão: False.

True: ativado. False (padrão): desativado.

Consultas em tabelas externas

SQL

Session/Project

odps.sql.executionengine.enable.string.to.date.full.format

Ativa a conversão de strings de data que incluem partes de hora, minuto e segundo. Padrão: False.

True: ativado. False: desativado.

CAST

SQL

Session/Project

odps.sql.executionengine.enable.rand.time.seed

Controla a semente usada pela função RAND. False (padrão): usa o ID da instância como semente, garantindo a idempotência. True: usa a hora do sistema, tornando o resultado não idempotente e variável entre as chamadas.

True: ativado. False: desativado.

RAND

SQL

Session/Project

odps.sql.type.system.odps2

Ativa a edição de tipos de dados do MaxCompute V2.0. Consulte a Edição de tipos de dados do MaxCompute V2.0.

True: ativado. False: desativado.

Funções adicionais do MaxCompute V2.0

SQL

Session/Project

odps.sql.type.json.enable

Ativa os tipos de dados JSON. Consulte as Instruções para usar tipos de dados JSON no MaxCompute.

True: ativado. False: desativado.

Tipos de dados JSON do MaxCompute

SQL

Session/Project

odps.sql.hive.compatible

Ativa a edição de tipos de dados compatível com Hive. Necessário para sintaxes do Hive, como inputRecordReader, outputRecordReader e Serde. Consulte a Edição de tipos de dados compatível com Hive.

True: ativado. False: desativado.

ALL

SQL

Session/Project

odps.sql.metering.value.max

Limite superior de recursos consumidos por uma única instrução SQL. Consulte o Controle de consumo.

—

ALL

SQL

Session/Project

odps.sql.timezone

Fuso horário do projeto do MaxCompute. Consulte as Operações de configuração de fuso horário.

—

ALL

SQL

Session/Project

odps.sql.unstructured.oss.commit.mode

Ativa o upload multipart do OSS ao gravar dados em tabelas externas do OSS. Consulte Gravar dados no OSS.

True: ativado. False: desativado.

INSERT OVERWRITE

SQL

Session/Project

odps.sql.groupby.orderby.position.alias

Permite que constantes inteiras no GROUP BY e no ORDER BY referenciem posições de coluna no SELECT. Definir isso como True para um projeto existente pode quebrar a lógica de análise de dados existente. Teste exaustivamente antes de ativar no nível do projeto.

True: ativado. False: desativado.

GROUP BY, ORDER BY, SELECT

SQL

Session/Project

odps.ext.oss.orc.native

Usa um leitor nativo do Optimized Row Columnar (ORC) para ler os dados da tabela.

True: ativado. False: desativado.

SELECT

SQL

Session

odps.sql.job.max.time.hours

Duração máxima para um único job, em horas.

1 a 72. Padrão: 24.

Jobs SQL

Faturamento

Session

odps.task.quota.preference.tag

Grupo de cotas atribuído a um job. O job é agendado para o grupo de cotas cuja tag corresponde. Se nenhuma correspondência for encontrada, o grupo de cotas padrão do projeto será usado. Aplica-se apenas a jobs SQL. Exemplo: set odps.task.quota.preference.tag = payasyougo; O nome da tag pode conter letras, dígitos e sublinhados.

Nome da tag de um grupo de cotas configurado no MaxCompute Management. Você pode configurar o nome da tag apenas para grupos de cotas na região à qual pertence o projeto do seu job. O nome da tag pode conter letras, dígitos e sublinhados (_).

ALL

Faturamento

Session

odps.task.wlm.quota

Nome da cota usada para executar jobs em uma sessão.

—

ALL

Segurança e permissões

Project

odps.forbid.fetch.result.by.bearertoken

Controla se os resultados do job aparecem na guia Result do LogView.

True: os resultados ficam ocultos. False: os resultados são exibidos.

ALL

Segurança e permissões

Project

LabelSecurity

Ativa o controle de acesso baseado em rótulos (LabelSecurity). Consulte o Controle de acesso baseado em rótulos.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

CheckPermissionUsingACL

Ativa o controle de acesso baseado em ACL. Consulte as Permissões do MaxCompute.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

CheckPermissionUsingPolicy

Ativa o controle de acesso baseado em políticas. Consulte o Controle de acesso baseado em políticas.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

ObjectCreatorHasAccessPermission

Concede aos criadores de objetos acesso aos objetos que criam.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

ObjectCreatorHasGrantPermission

Concede aos criadores de objetos a capacidade de autorizar outros usuários a acessar os objetos que criam.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

ProjectProtection

Ativa a proteção de dados do projeto. Consulte {{XREF_5}}.

True: ativado. False: desativado.

ALL

Segurança e permissões

Project

odps.output.field.formatter

Regras de mascaramento dinâmico de dados aplicadas aos resultados de consultas SQL. Consulte o Mascaramento dinâmico de dados.

Regras de mascaramento personalizadas.

SELECT

Segurança e permissões

Project

odps.security.ip.whitelist

Lista de permissões de endereços IP para acessar o projeto pela rede de interconexão de produtos cloud. Separe os endereços IP com vírgulas. Consulte Gerenciar listas de permissões de endereços IP.

Endereços IP separados por vírgulas.

ALL

Segurança e permissões

Project

odps.security.vpc.whitelist

Lista de permissões de endereços IP para acessar o projeto por uma VPC específica. Consulte Gerenciar listas de permissões de endereços IP.

RegionID_VPCID[IP Address]

ALL

Tipo de dado

Project

odps.sql.decimal.odps2

Ativa o DECIMAL(precision,scale) na edição de tipos de dados do MaxCompute V2.0. Consulte a Edição de tipos de dados do MaxCompute V2.0.

True: ativado. False: desativado.

ALL

Armazenamento de dados

Project

odps.timemachine.retention.days

Período de retenção para dados de backup, em dias. Consulte o Backup e restauração.

0 a 30. Padrão: 1.

ALL

Metadados

Project

odps.schema.evolution.enable

Ativa a evolução de schema. Padrão: False.

True: ativado. False (padrão): desativado.

Evolução de schema

Parâmetro

Descrição

KEY

O nome da propriedade.

VALUE

O valor da propriedade. Para valores válidos, consulte {{XREF_8}}.