Object Storage Service:Use Impala on an EMR cluster to query data stored in OSS-HDFS

Pré-requisitos

• Um cluster do EMR V3.42.0 ou posterior, ou EMR V5.8.0 ou posterior, deve estar criado com o service Impala selecionado. Para mais informações, consulte Create a cluster.

• O OSS-HDFS deve estar ativo para um bucket, com as permissões de acesso devidamente concedidas. Para saber como ativar o OSS-HDFS, consulte Enable OSS-HDFS and grant access permissions.

Procedimento

2. Execute o seguinte comando no terminal para se conectar ao Impala.

   Para mais informações, consulte Connect to Impala.

   impala-shell -i core-1-1

3. Use o Impala para consultar dados armazenados no OSS-HDFS.

   1. Crie um banco de dados.

      CREATE DATABASE store LOCATION 'oss://<bucket-name>.<endpoint>/impala';

   2. Selecione o banco de dados.

      USE store;

   3. Crie uma tabela.

      CREATE EXTERNAL TABLE customer_demographics (
       `cd_demo_sk` INT,
       `cd_gender` STRING,
       `cd_marital_status` STRING,
       `cd_education_status` STRING,
       `cd_purchase_estimate` INT,
       `cd_credit_rating` STRING,
       `cd_dep_count` INT,
       `cd_dep_employed_count` INT,
       `cd_dep_college_count` INT)
      STORED AS PARQUET;

   4. Insira dados na tabela.

      INSERT INTO customer_demographics
      VALUES
        (1, 'Male', 'Single', 'Graduate', 1000, 'AAA', 2, 1, 1),
        (2, 'Female', 'Married', 'Undergraduate', 2000, 'BBB', 3, 2, 2);
      

   5. Consulte os dados da tabela.

      select * from customer_demographics;