Object Storage Service:Usar o Hive em um cluster EMR para processar dados armazenados no OSS-HDFS

Pré-requisitos

• Um cluster do EMR V3.42.0 ou posterior, ou do EMR V5.8.0 ou posterior foi criado, com o serviço Hive selecionado. Para mais informações, consulte Criar um cluster.

• O OSS-HDFS está ativado para um bucket e as permissões de acesso ao OSS-HDFS foram concedidas. Para mais informações sobre como ativar o OSS-HDFS, consulte Ativar o OSS-HDFS e conceder permissões de acesso.

Procedimento

2. Execute o seguinte comando no terminal para se conectar ao Hive.

   Para outros métodos de conexão, consulte Métodos de conexão do Hive.

   hive

3. Execute o seguinte comando no terminal para se conectar ao Hive.

   Para outros métodos de conexão, consulte Métodos de conexão do Hive.

   hive

4. Adicione partições a uma tabela existente.

   É possível adicionar partições a uma tabela existente para armazenar os dados da tabela em unidades menores. Você pode especificar condições de consulta com base nas partições. Dessa forma, apenas as partições que atendem às condições especificadas são verificadas, o que melhora o desempenho da consulta.

   • Sintaxe do comando

     ALTER TABLE <table_name> ADD [IF NOT EXISTS] PARTITION <pt_spec> [PARTITION <pt_spec> PARTITION <pt_spec>...] LOCATION 'location';

     A tabela a seguir descreve os parâmetros do comando anterior.

     Parâmetro	Obrigatório	Descrição
     table_name	Sim	Nome da tabela à qual você deseja adicionar partições.
     IF NOT EXISTS	Não	Parâmetro que ignora o erro caso a tabela já contenha uma partição com o mesmo nome. Se o parâmetro IF NOT EXISTS não for especificado e já existir uma partição com o mesmo nome da partição que você deseja adicionar, a operação falhará e um erro será retornado.
     pt_spec	Sim	Partições que você deseja adicionar. O valor deste parâmetro segue o formato (partition_col1 = partition_col_value1, partition_col2 = partition_col_value2, ...). Nesse formato, partition_col representa os nomes das colunas de chave de partição e partition_col_value representa seus valores. Os nomes das colunas de chave de partição não diferenciam maiúsculas de minúsculas, mas seus valores fazem essa distinção.
     location	Sim	Caminho do OSS usado para armazenar dados em uma partição.

   • Exemplos

     O código de exemplo a seguir mostra como adicionar uma partição a uma tabela chamada sale_detail para armazenar os registros de vendas na região China (Hangzhou) em dezembro de 2021, além de especificar o caminho do OSS usado para armazenar os dados nessa partição:

     ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION (sale_date='202112', region='hangzhou') LOCATION 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/path/2021/';