MaxCompute:Parâmetros de flag

Categoria

Escopo

Parâmetro

Descrição

Valor

Comandos afetados

Ecossistema

Sessão

console.sql.result.instancetunnel

Ative ou desative o InstanceTunnel. Para obter mais informações sobre os comandos do Tunnel, consulte Usage instructions.

• True: Ativado.

• False: Desativado.

SELECT

Agendamento

Sessão

odps.job.workers.limit

Número máximo de workers concorrentes para um job inteiro.

Intervalo: 1–1000000

ALL

Agendamento

Sessão

odps.stage.mapper.mem

Defina o tamanho da memória para cada worker de map.

Intervalo: 256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Sessão

odps.stage.reducer.mem

Defina o tamanho da memória para cada worker de reduce.

Intervalo: 256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Sessão

odps.stage.joiner.mem

Defina o tamanho da memória para cada worker de join.

Intervalo: 256 MiB a 12288 MiB. Padrão: 1024 MiB.

ALL

Agendamento

Sessão

odps.stage.mem

Defina o tamanho da memória para todos os workers em uma tarefa especificada do MaxCompute. Esta propriedade tem prioridade menor que odps.stage.mapper.mem, odps.stage.reducer.mem e odps.stage.joiner.mem.

Intervalo: 256 MiB a 12288 MiB. Sem valor padrão.

ALL

Agendamento

Sessão

odps.stage.mapper.split.size

Defina o tamanho dos dados de entrada para cada worker de map, o que corresponde ao tamanho do split do arquivo de entrada. Isso controla indiretamente o número de workers em cada estágio de map.

Unidade: MiB. Padrão: 256 MiB.

ALL

Agendamento

Sessão

odps.sql.split.size

Defina o tamanho de um único split de dados para processamento paralelo no nível da tabela.

Unidade: MiB.

Exemplo: {"table1": 1024, "table2": 512}.

ALL

Agendamento

Sessão

odps.sql.split.row.count

Defina o número de linhas em um único split para processamento paralelo no nível da tabela.

Um número inteiro maior que 0.

Exemplo: {"table1": 100, "table2": 500}.

ALL

Agendamento

Sessão

odps.sql.split.dop

Defina o paralelismo no nível da tabela.

Um número inteiro maior que 0.

Exemplo: {"table1": 1, "table2": 5}.

ALL

Agendamento

Sessão

odps.stage.reducer.num

Defina o número de workers para cada estágio de reduce.

-

ALL

Agendamento

Sessão

odps.stage.joiner.num

Defina o número de workers para cada estágio de join.

-

ALL

Agendamento

Sessão

odps.stage.num

Defina a concorrência (número de workers) por estágio em um job do MaxCompute. Esta propriedade tem prioridade menor que odps.stage.mapper.split.size, odps.stage.reducer.num e odps.stage.joiner.num.

1–10000

ALL

Agendamento

Projeto

odps.instance.priority.enable

Ative ou desative a prioridade de jobs para projetos que usam recursos de assinatura. Para obter mais informações sobre o recurso de prioridade de jobs, consulte Job Priority.

• True: Ativado.

• False: Desativado.

ALL

SQL

Sessão

odps.sql.reshuffle.dynamicpt

Ative ou desative o reshuffling para partições dinâmicas, a fim de evitar a criação de muitos arquivos pequenos.

• True: Ativado.

• False: Desativado.

• INSERT INTO

• INSERT OVERWRITE

SQL

Sessão

odps.sql.udf.getjsonobj.new

Especifique se a função GET_JSON_OBJECT retorna a string original sem escapar caracteres especiais.

• True: Ativado.

• False: Desativado.

UDF

SQL

Sessão

odps.sql.udf.jvm.memory

Pode ocorrer um erro de falta de memória (OOM) se uma UDF processar grandes quantidades de dados para computação ou classificação na memória. Se isso ocorrer, aumente o valor desta propriedade. No entanto, esta é apenas uma solução temporária, e a otimização do código da UDF é a correção recomendada a longo prazo.

Intervalo: 256 MiB a 12288 MiB. Padrão: 1024 MiB.

UDF

SQL

Sessão

odps.function.timeout

Defina a duração do tempo limite para uma UDF.

Intervalo: 0s a 3600s. Padrão: 600s.

UDF

SQL

Sessão

odps.sql.session.resources

Especifique os recursos referenciados por uma UDT. Especifique vários recursos, separados por vírgulas (,).

Para obter mais informações sobre recursos referenciados, consulte UDT overview.

Recursos enviados.

UDT

SQL

Sessão

odps.sql.udt.display.tostring

Especifique se todas as colunas cujo tipo de saída final é uma UDT devem ser encapsuladas com java.util.Objects.toString(...).

• True: Ativado.

• False: Desativado.

UDT

SQL

Sessão

odps.sql.session.java.imports

Especifique os pacotes Java referenciados por uma UDT. Especifique vários pacotes, separados por vírgulas (,). Para obter mais informações sobre pacotes Java, consulte UDT overview.

Pacotes Java enviados.

UDT

SQL

Sessão

odps.sql.skewjoin

Ative ou desative o recurso SKEWJOIN para mitigar o data skew.

• True: Ativado.

• False: Desativado.

• SELECT

• JOIN

SQL

Sessão

odps.sql.skewinfo

Especifique as chaves com skew e seus valores correspondentes para uma operação SKEWJOIN. Para obter mais informações, consulte Optimize data skew.

-

• SELECT

• JOIN

SQL

Sessão

odps.sql.udf.ppr.deterministic

Especifique se o partition pruning deve ser ativado em UDFs. Para obter mais informações sobre partition pruning, consulte WHERE clause (WHERE_condition).

• True: Ativado.

• False: Desativado.

UDF

SQL

Sessão

odps.sql.udf.ppr.to.subquery

Especifique se os erros devem ser ignorados quando as informações de partition pruning não puderem ser preenchidas retroativamente. Para obter mais informações sobre partition pruning, consulte WHERE clause (WHERE_condition).

• True: Ativado.

• False: Desativado.

UDF

SQL

Sessão

odps.optimizer.enable.range.partial.repartitioning

Especifique se o mecanismo de remoção de shuffle deve ser ativado para tabelas com cluster de intervalo (range-clustered).

• True: Ativado.

• False: Desativado.

• INSERT OVERWRITE

• CREATE TABLE

SQL

Sessão

odps.optimizer.merge.partitioned.table

Quando uma consulta usa repetidamente a mesma tabela particionada, ative esta propriedade para mesclar partições. Essa ação minimiza a E/S na tabela e melhora o desempenho.

• True: Ativado.

• False: Desativado.

SELECT

SQL

Sessão

odps.optimizer.skew.join.topk.num

Defina o número de hot keys que o otimizador coleta ao executar uma operação de agregação. Para obter mais informações, consulte SKEWJOIN HINT.

-

SKEWJOIN HINT

SQL

Sessão

odps.optimizer.stat.collect.auto

Especifique se o recurso Freeride deve ser ativado, o qual coleta automaticamente estatísticas de colunas para tabelas. Para obter mais informações sobre a coleta de estatísticas do otimizador, consulte Optimizer.

• True: Ativado.

• False: Desativado.

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Sessão

odps.optimizer.stat.collect.plan

Especifique um plano de coleta para reunir estatísticas sobre colunas específicas. Para obter mais informações sobre a coleta de estatísticas do otimizador, consulte Optimizer.

-

• CREATE TABLE

• INSERT INTO

• INSERT OVERWRITE

SQL

Sessão

odps.sql.external.net.vpc

Especifique se o suporte a VPC deve ser ativado para tabelas externas. Para obter mais informações, consulte Hologres external tables.

• True: Ativado.

• False: Desativado.

CREATE TABLE

SQL

Sessão

odps.sql.groupby.position.alias

Especifique se as constantes inteiras em uma cláusula GROUP BY devem ser tratadas como ordinais de coluna da lista SELECT.

• True: Ativado.

• False: Desativado.

• SELECT

• GROUP BY

SQL

Sessão

odps.sql.groupby.skewindata

Especifique se o mecanismo anti-skew deve ser ativado para operações GROUP BY.

• True: Ativado.

• False: Desativado.

GROUP BY

SQL

Sessão

odps.sql.orderby.position.alias

Especifique se as constantes inteiras em uma cláusula ORDER BY devem ser tratadas como ordinais de coluna da lista SELECT.

• True: Ativado.

• False: Desativado.

• ORDER BY

• SELECT

SQL

Sessão

odps.sql.mapjoin.memory.max

Defina o tamanho da memória para uma tabela pequena carregada na memória durante uma operação MAPJOIN. Unidade: MiB.

Intervalo de valores: 0 MiB~8192 MiB

JOIN

SQL

Sessão

odps.sql.distributed.map.join.memory.max

Defina o tamanho da memória para cada instância do HashTableBuilder durante uma operação MAPJOIN. O valor padrão é 2048. Unidade: MiB.

Intervalo: 0 MiB a 8192 MiB

JOIN

SQL

Sessão

odps.sql.python.version

Defina a versão do Python para execução de instruções SQL.

• cp27

• cp37

• UDTF

• UDAF

SQL

Sessão

odps.sql.select.output.format

Especifique se a linha de cabeçalho deve ser exibida nos resultados do cliente do MaxCompute. Para obter mais informações sobre como usar o cliente do MaxCompute, consulte Connect by using the client (odpscmd).

• {""needHeader"":false,""fieldDelim"":""""}: Não exibe as informações do cabeçalho.

• {""needHeader"":true,""fieldDelim"":""""}: Exibe as informações do cabeçalho.

ALL

SQL

Sessão

odps.sql.unstructured.data.oss.use.https

Especifique se os dados devem ser recuperados via HTTPS ao acessar uma tabela externa. Para obter mais informações sobre tabelas externas do OSS, consulte ORC external tables.

• True: Ativado.

• False: Desativado.

ALL

SQL

Sessão

odps.sql.decimal.tostring.trimzero

Especifique se os zeros à direita após a vírgula decimal devem ser removidos para o tipo de dados Decimal. O valor padrão é True, o que significa que os zeros à direita são removidos por padrão.

• True: Remove os zeros à direita após a vírgula decimal.

• False: Mantém os zeros à direita após a vírgula decimal.

CAST

SQL

Sessão

odps.sql.unstructured.tablestore.put.row

Especifique se o modo de gravação PutRow deve ser usado para tabelas externas do Tablestore.

• True: Ativado.

• False: Desativado.

ALL

SQL

Sessão

odps.sql.unstructured.external.max.dop

Defina a concorrência máxima para workers que acessam tabelas externas.

Um número inteiro maior que 0.

Consultas e gravações em tabelas externas

SQL

Sessão/Projeto

odps.sql.unstructured.file.pattern.black.list

Quando o SQL do MaxCompute lê uma tabela externa de uma localização do OSS ou HDFS, ele pode ignorar automaticamente o arquivo _SUCCESS gravado pelo Spark para evitar falhas de leitura. Por exemplo, no nível da Sessão:

CREATE EXTERNAL TABLE IF NOT EXISTS test_oss_pt( 
      t_id INT,
      t_string STRING)
    PARTITIONED BY (pt1 INT,pt2 INT)
    STORED BY 'com.aliyun.odps.CsvStorageHandler' 
    WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
    ) 
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/Demo3/';

    SET odps.sql.unstructured.file.pattern.black.list=.*_SUCCESS$;
    INSERT INTO test_oss_pt PARTITION (pt1=8,pt2=8) VALUES (1,'tree');
    SELECT t_id, t_string FROM test_oss_pt WHERE pt1=8 AND pt2=8;

Valor: .*_SUCCESS$.

Consultas a tabelas externas

SQL

Sessão

odps.meta.exttable.stats.onlinecollect

Os dados de tabelas externas residem em data lakes. Por serem abertos, o MaxCompute não gerencie seus metadados localmente. Sem estatísticas, o otimizador geralmente gera um plano de execução conservador, resultando em baixo desempenho.

Quando este recurso está ativado, o otimizador pode coletar estatísticas da tabela durante a execução da consulta para identificar tabelas pequenas. Isso permite que o otimizador melhore o plano de consulta usando técnicas como hash joins, otimização da ordem de join, redução de shuffle e pipelines de execução mais curtos.

True: Ativado.

False (padrão): Desativado.

Consultas a tabelas externas

SQL

Projeto

odps.sql.allow.fullscan

Especifique se varreduras completas de tabela (full table scans) são permitidas em um projeto. As varreduras completas de tabela consomem muitos recursos. Recomenda-se desativar este recurso para obter um melhor desempenho.

• True: Permite varreduras completas de tabela.

• False: Proíbe varreduras completas de tabela.

SELECT

SQL

Projeto

odps.table.lifecycle

Especifique se as tabelas em um projeto devem ter um ciclo de vida (lifecycle) configurado.

• Optional: A cláusula Lifecycle é opcional ao crie uma tabela. Se você não configure um ciclo de vida para a tabela, ela nunca expirará.

• Mandatory: A cláusula Lifecycle é obrigatória. Você deve configure um ciclo de vida para a tabela.

• Inherit: Se uma tabela for criada sem um ciclo de vida especificado, seu ciclo de vida será o valor de odps.table.lifecycle.value.

CREATE TABLE

SQL

Projeto

odps.table.lifecycle.value

Defina o ciclo de vida de uma tabela em dias.

Intervalo: 1 a 37231. Padrão: 37231.

CREATE TABLE

SQL

Projeto

READ_TABLE_MAX_ROW

Defina o número de linhas que uma instrução SELECT retorna.

Intervalo: 1 a 10000. Padrão: 10000.

SELECT

SQL

Projeto

odps.output.field.formatter

Defina regras de mascaramento dinâmico de dados para resultados de consultas SQL. Para obter mais informações sobre o mascaramento dinâmico de dados no MaxCompute, consulte Dynamic data masking.

Regras personalizadas de mascaramento dinâmico de dados.

SELECT

SQL

Projeto

odps.sql.acid.table.enable

Especifique se o mecanismo ACID deve ser ativado. Para obter mais informações sobre o ACID, consulte ACID semantics.

• True: Ativado.

• False: Desativado.

ALL

SQL

Sessão/Projeto

odps.io.oss.use.vipserver

Especifique se o VIPServer deve ser usado para acessar o OSS para tabelas externas. Se esta propriedade não estiver ativada, o SLB será usado. O VIPServer fornece limites de tráfego mais altos e suporta controle de tráfego, mas introduz riscos de estabilidade, como falhas de consulta. Avalie esses riscos antes de ativar esta propriedade.

• True: Ativado

• False (padrão): Desativado

Consultas a tabelas externas

SQL

Sessão/Projeto

odps.sql.executionengine.enable.string.to.date.full.format

Para converter uma string de data que inclui horas, minutos e segundos, defina esta propriedade como True. O valor padrão é False.

• True: Ativado.

• False: Desativado.

CAST

SQL

Sessão/Projeto

odps.sql.executionengine.enable.rand.time.seed

Se esta propriedade for definida como False, a função Rand usa o ID da instância atual como semente para inicializar números aleatórios. Isso garante a idempotência da função.

Se esta propriedade for definida como True, a função Rand usa a hora atual do sistema como semente. Nesse caso, a função Rand não é idempotente e não pode ser usada como chave de shuffle. A reexecução do job produzirá resultados diferentes.

O valor padrão é False.

• True: Ativado.

• False: Desativado.

RAND

SQL

Sessão/Projeto

odps.sql.type.system.odps2

Ative ou desative o tipo de dados 2,0. Para obter mais informações sobre o tipo de dados 2,0, consulte Data type version 2.0.

• True: Ativado.

• False: Desativado.

Funções estendidas do MaxCompute 2.0

SQL

Sessão/Projeto

odps.sql.type.json.enable

Ative ou desative o tipo de dados json. Para obter mais informações sobre o tipo de dados json, consulte JSON data type.

• True: Ativado.

• False: Desativado.

Tipo de dados json do MaxCompute

SQL

Sessão/Projeto

odps.sql.hive.compatible

Ative ou desative o modo compatível com Hive. Quando ativado, o MaxCompute suporta várias sintaxes específicas do Hive, como inputRecordReader, outputRecordReader e Serde. Para obter mais informações sobre tipos de dados compatíveis, consulte Hive-compatible data type version.

• True: Ativado.

• False: Desativado.

ALL

SQL

Sessão/Projeto

odps.sql.metering.value.max

Defina um limite de consumo para uma única consulta SQL. Para obter mais informações sobre o monitoramento de consumo, consulte Consumption monitoring, alerting, and control.

-

ALL

SQL

Sessão/Projeto

odps.sql.timezone

Defina o fuso horário para um projeto do MaxCompute. Para obter mais informações sobre fusos horários, consulte Time zone configuration operations.

-

ALL

SQL

Sessão/Projeto

odps.sql.unstructured.oss.commit.mode

Especifique se o upload multipart deve ser ativado para gravar dados em uma tabela externa do OSS. Para obter mais informações, consulte Write data to OSS.

• True: Ativado.

• False: Desativado.

INSERT OVERWRITE

SQL

Sessão/Projeto

odps.sql.groupby.orderby.position.alias

Especifique se as constantes inteiras nas cláusulas GROUP BY e ORDER BY devem ser tratadas como ordinais de coluna da lista SELECT.

• True: Ativado.

• False: Desativado.

• GROUP BY

• ORDER BY

• SELECT

SQL

Sessão/Projeto

odps.ext.oss.orc.native

Especifique se o leitor ORC nativo deve ser usado para ler tabelas.

• True: Ativado.

• False: Desativado.

SELECT

SQL

Sessão

odps.sql.job.max.time.hours

Defina a duração máxima de execução para um único job.

Intervalo: 1 a 72. Padrão: 24.

Jobs SQL

Faturamento

Sessão

odps.task.quota.preference.tag

Em projetos que usam recursos de assinatura, esta propriedade atribui um job a um grupo de cotas secundário específico. Se a tag de cota de um job corresponder à tag de um grupo de cotas, o job será agendado para esse grupo com prioridade. Caso contrário, o job será agendado para o grupo de cotas padrão do projeto.

set odps.task.quota.preference.tag = payasyougo

tag_name é a tag de um grupo de cotas no MaxCompute Housekeeper. O grupo de cotas deve estar na mesma região do proprietário do projeto ao qual o job pertence. tag_name pode conter apenas letras, números e sublinhados (_).

ALL

Faturamento

Sessão

odps.task.wlm.quota

Especifique o grupo de cotas (por nome) a ser usado para execute tarefas na sessão atual.

-

ALL

Segurança

Projeto

odps.forbid.fetch.result.by.bearertoken

Especifique se a guia Result no Logview deve ser impedida de exibir os resultados do job. Use esta propriedade para proteger os dados.

• True: Impede a exibição dos resultados do job.

• False: Permite a exibição dos resultados do job.

ALL

Segurança

Projeto

LabelSecurity

Especifique se o mecanismo LabelSecurity deve ser ativado. Para obter mais informações sobre o mecanismo LabelSecurity, consulte Label-based access control.

• True: Ativado.

• False: Desativado.

ALL

Segurança

Projeto

CheckPermissionUsingACL

Especifique se o mecanismo de autorização de lista de controle de acesso (ACL) deve ser ativado. Para obter mais informações sobre a autorização baseada em ACL, consulte MaxCompute permissions.

• True: Ativado.

• False: Desativado.

ALL

Segurança

Projeto

CheckPermissionUsingPolicy

Especifique se o mecanismo de autorização baseado em políticas deve ser ativado. Para obter mais informações sobre a autorização baseada em políticas, consulte Policy-based access control.

• True: Ativado.

• False: Desativado.

ALL

Segurança

Projeto

ObjectCreatorHasAccessPermission

Especifique se o criador de um objeto tem permissões de acesso ao objeto por padrão.

• True: O criador do objeto tem permissões de acesso por padrão.

• False: O criador do objeto não tem permissões de acesso por padrão.

ALL

Segurança

Projeto

ObjectCreatorHasGrantPermission

Especifique se o criador de um objeto tem permissões de concessão no objeto por padrão.

• True: O criador do objeto tem permissões de concessão por padrão.

• False: O criador do objeto não tem permissões de concessão por padrão.

ALL

Segurança

Projeto

ProjectProtection

Especifique se o mecanismo de proteção de dados deve ser ativado. Para obter mais informações sobre o mecanismo de proteção de dados, consulte Data protection mechanism.

• True: Ativado.

• False: Desativado.

ALL

Segurança

Projeto

odps.output.field.formatter

Defina regras de mascaramento dinâmico de dados para resultados de consultas SQL. Para obter mais informações sobre o mascaramento dinâmico de dados, consulte Dynamic data masking.

Regras personalizadas de mascaramento dinâmico de dados.

SELECT

Segurança

Projeto

odps.security.ip.whitelist

Defina a lista de permissões de IP para clientes que acessam o projeto pela internet pública, o que é normalmente usado para integrações de cloud service. Para obter mais informações sobre listas de permissões de IP, consulte Manage IP whitelists.

Uma lista de endereços IP, separados por vírgulas (,).

ALL

Segurança

Projeto

odps.security.vpc.whitelist

Especifique a lista de permissões de IP para acessar um projeto a partir de uma VPC. Para obter mais informações sobre listas de permissões de IP, consulte Manage IP whitelists.

Formato: RegionID_VPCID[IP Address]

ALL

Tipos de dados

Projeto

odps.sql.decimal.odps2

Ative ou desative o tipo de dados DECIMAL(precision, scale) do tipo de dados 2,0. Para obter mais informações sobre tipos de dados, consulte Data type version 2.0.

• True: Ativado.

• False: Desativado.

ALL

Armazenamento de dados

Projeto

odps.timemachine.retention.days

Defina o período de retenção para dados de backup. Para obter mais informações sobre backup de dados, consulte Local backup.

Intervalo em dias: 0 a 30. Padrão: 1.

ALL

Metadados

Projeto

odps.schema.evolution.enable

Ative a evolução de schema.

• True: Ativado.

• False (padrão): Desativado.

Evolução de schema.