E-MapReduce:Conector Hive

Propriedade

Descrição

Padrão

hive.recursive-directories

Define se os dados devem ser lidos dos subdiretórios de uma tabela ou partição. Equivalente à propriedade hive.mapred.supports.subdirectories no Hive.

-

hive.metastore.uri

URI para acessar o metastore do Hive via protocolo Thrift. Formato: thrift://<master node name>.cluster-24****:9083.

-

hive.config.resources

Lista separada por vírgulas de arquivos de configuração do HDFS. Os arquivos devem existir em todos os hosts do Presto. Defina esta propriedade apenas ao acessar o HDFS.

-

hive.delta-table-enabled

Indica se o Presto pode ler tabelas do Delta Lake.

true

hive.delta-compatible-mode-enabled

Habilita o modo de compatibilidade para tabelas do Delta Lake.

true

hive.hdfs.impersonation.enabled

Ativa a representação de usuário do HDFS.

-

Propriedade

Descrição

Padrão

hive.config.resources

Lista separada por vírgulas de arquivos de configuração do HDFS. Os arquivos devem existir em todos os hosts do Presto. Defina esta propriedade apenas ao acessar o HDFS.

-

hive.recursive-directories

Define se os dados devem ser lidos dos subdiretórios de uma tabela ou partição. Equivalente à propriedade hive.mapred.supports.subdirectories no Hive.

-

hive.ignore-absent-partitions

Determina se uma partição cujo caminho de arquivo não existe deve ser ignorada, em vez de causar falha na consulta. Quando uma partição é ignorada, alguns dados da tabela podem ser omitidos.

false

hive.storage-format

Formato de arquivo padrão para novas tabelas.

ORC

hive.compression-codec

Codec de compressão para escrita de dados. Valores válidos: NONE, SNAPPY, LZ4, ZSTD, GZIP.

GZIP

hive.force-local-scheduling

Força o agendamento de splits no nó onde o DataNode armazena os dados do split. Melhora o desempenho quando o Presto está localizado nos mesmos nós dos DataNodes.

false

hive.respect-table-format

Define se as novas partições usam o formato existente da tabela (true) ou o formato padrão do Presto (false).

true

hive.immutable-partitions

Impede a inserção de novos dados em partições existentes. Quando definido como true, hive.insert-existing-partitions-behavior não pode ser definido como APPEND.

false

hive.insert-existing-partitions-behavior

Comportamento adotado ao inserir dados em uma partição existente. Valores válidos: APPEND (anexar dados), OVERWRITE (sobrescrever dados), ERROR (rejeitar a operação).

APPEND

hive.create-empty-bucket-files

Cria um arquivo vazio para um bucket que não contém dados.

false

hive.max-partitions-per-writers

Número máximo de partições por writer.

100

hive.max-partitions-per-scan

Quantidade máxima de partições para uma única varredura de tabela.

100000

hive.hdfs.authentication.type

Modo de autenticação do HDFS. NONE desativa a autenticação Kerberos. KERBEROS ativa a autenticação Kerberos.

NONE

hive.hdfs.impersonation.enabled

Ativa a representação de usuário do HDFS.

false

hive.hdfs.trino.principal

Principal Kerberos para o Presto se conectar ao HDFS.

-

hive.hdfs.trino.keytab

Caminho do arquivo de chave para o cliente HDFS.

-

hive.dfs.replication

Fator de replicação do HDFS.

-

hive.security

Modo de segurança. Para mais detalhes, consulte Configuração de segurança do conector Hive.

legacy

security.config-file

Caminho do arquivo de configuração de segurança. Obrigatório quando hive.security está definido como file.

-

hive.non-managed-table-writes-enabled

Permite a escrita de dados em tabelas Hive não gerenciadas (externas).

false

hive.non-managed-table-creates-enabled

Permite a criação de tabelas Hive não gerenciadas (externas).

true

hive.collect-column-statistics-on-write

Coleta automaticamente estatísticas no nível da coluna durante a escrita de dados.

true

hive.file-status-cache-tables

Tabelas a serem armazenadas em cache. Por exemplo, fruit.apple,fruit.orange armazena em cache apenas as tabelas apple e orange no schema fruit. fruit.*,vegetable.* armazena todas as tabelas nos schemas fruit e vegetable. * armazena todas as tabelas de todos os schemas.

-

hive.file-status-cache-size

Número máximo de entradas de status de arquivo em cache.

1000000

hive.file-status-cache-expire-time

Tempo de expiração para listagens de diretórios em cache, em minutos.

1

hive.rcfile.time-zone

Fuso horário para ajustar valores de timestamp codificados binariamente. Para Hive 3.1 ou posterior, defina como UTC.

Padrão da JVM

hive.timestamp-precision

Precisão para colunas TIMESTAMP do Hive. Valores válidos: MILLISECONDS, MICROSECONDS, NANOSECONDS. Valores com precisão superior são arredondados.

MILLISECONDS

hive.temporary-staging-directory-enabled

Usa o diretório temporário de staging especificado por hive.temporary-staging-directory-path para escrita de dados. Diretórios temporários de staging não estão disponíveis ao escrever em tabelas não ordenadas no OSS, HDFS criptografado ou sistemas externos. Quando definido como false, o armazenamento de destino guarda arquivos temporários durante operações de classificação, o que reduz a eficiência de escrita para tabelas ordenadas em armazenamento de objetos.

true

hive.temporary-staging-directory-path

Caminho do diretório temporário de staging para escrita de dados. Use o placeholder ${USER} para obter um caminho exclusivo por usuário.

/tmp/presto-${USER}

hive.translate-hive-views

Habilita a tradução de views do Hive.

false

hive.legacy-hive-view-translation

Usa o algoritmo legado para tradução de views do Hive. A propriedade de sessão do catálogo legacy_hive_view_translation pode substituir essa configuração para um catálogo específico.

false

hive.parallel-partitioned-bucketed-writes

Aumenta o paralelismo para escritas em tabelas particionadas e com bucketing. Quando definido como false, o número de threads de escrita não pode exceder o número de buckets.

true

Propriedade

Descrição

Padrão

hive.orc.time-zone

Fuso horário padrão para arquivos ORC de versões anteriores que não declaram um fuso horário.

Padrão da JVM

hive.orc.use-columns-names

Acessa colunas ORC pelo nome em vez de sua posição sequencial na definição da tabela Hive. A propriedade de sessão do catálogo correspondente é orc_use_column_names.

false

Propriedade

Descrição

Padrão

hive.parquet.time-zone

Fuso horário para ajustar valores de timestamp. Para Hive 3.1 ou posterior, defina como UTC.

Padrão da JVM

hive.parquet.use-columns-names

Acessa colunas Parquet pelo nome em vez de sua posição sequencial na definição da tabela Hive. Quando definido como true, a ordem das colunas não precisa corresponder à do arquivo Parquet. A propriedade de sessão do catálogo correspondente é parquet_use_column_names.

-

Propriedade

Descrição

Padrão

hive.metastore

Tipo de metastore do Hive. O Presto suporta o metastore baseado em Thrift e seus derivados.

thrift

hive.metastore-cache-ttl

Tempo de vida (TTL) para dados do metastore em cache, em segundos.

0

hive.metastore-cache-maximum-size

Quantidade máxima de objetos de dados do metastore em cache.

10000

hive.metastore-refresh-interval

Intervalo em que os dados do metastore em cache são atualizados assincronamente após o acesso. Apenas dados não expirados são atualizados.

-

hive.metastore-refresh-max-threads

Número máximo de threads para atualizar dados do metastore em cache.

10

hive.metastore-timeout

Tempo limite para requisições ao metastore do Hive, em segundos.

10

Propriedade

Descrição

Padrão

hive.metastore.uri

URI para acessar o metastore do Hive via protocolo Thrift. Quando múltiplas URIs são especificadas, a primeira é o metastore primário e as demais são secundárias. Obrigatório. Exemplo: thrift://192.0.**.**:9083 ou thrift://192.0.**.**:9083,thrift://192.0.**.**:9083.

-

hive.metastore.username

Nome de usuário para o Presto acessar o metastore do Hive.

-

hive.metastore.authentication.type

Modo de autenticação para o metastore do Hive. NONE desativa a autenticação Kerberos. KERBEROS ativa a autenticação Kerberos.

NONE

hive.metastore.thrift.impersonation.enabled

Habilita a representação de usuário para o metastore do Hive.

-

hive.metastore.thrift.delegation-token.cache-ttl

Tempo de vida do cache de delegation token, em horas.

1

hive.metastore.thrift.delegation-token.cache-maximum-size

Tamanho máximo do cache de delegation token.

1000

hive.metastore.thrift.client.ssl.enabled

Ativa SSL para a conexão com o metastore do Hive.

false

hive.metastore.thrift.client.ssl.key

Caminho da chave privada e do certificado do cliente no key store.

-

hive.metastore.thrift.client.ssl.key-password

Senha da chave privada.

-

hive.metastore.thrift.client.ssl.trust-certificate

Caminho da cadeia de certificados do servidor no trust store. Obrigatório quando o SSL está ativado.

-

hive.metastore.thrift.client.ssl.trust-certificate-password

Senha da cadeia de certificados do servidor.

-

hive.metastore.service.principal

Principal Kerberos do serviço de metastore do Hive.

-

hive.metastore.client.principal

Principal Kerberos para o Presto se conectar ao metastore do Hive.

-

hive.metastore.client.keytab

Caminho do arquivo keytab no cliente do metastore do Hive.

-

Propriedade

Descrição

Padrão

hive.max-outstanding-splits

Número máximo de splits em cache por varredura de tabela antes que o agendador pause.

1000

hive.max-splits-per-second

Quantidade máxima de splits gerados por segundo para cada varredura de tabela. Limita a carga no sistema de armazenamento.

Sem limite

hive.max-initial-splits

Número máximo de splits iniciais. O coordenador atribui esses primeiros, cada um com até max-initial-split-size. Após essa atribuição, os splits subsequentes são dimensionados por max-split-size.

200

hive.max-initial-split-size

Tamanho máximo de cada split inicial atribuído a um nó worker. Splits menores aumentam o paralelismo e aceleram consultas pequenas.

32 MB

hive.max-split-size

Tamanho máximo de um único split atribuído a um nó worker. Splits menores aumentam o paralelismo, mas também elevam a sobrecarga e a carga do sistema.

64 MB