E-MapReduce:Gerencie catálogos de dados

Visão geral dos catálogos

O EMR Serverless Spark oferece um sistema flexível de gerenciamento de catálogos com suporte a diversos tipos, como Paimon, Iceberg e StarRocks. Além do tipo padrão de catálogo de dados, o sistema também oferece um catálogo interno e catálogos personalizados. Esta seção descreve os tipos de catálogo no EMR Serverless Spark, além de como configurá-los e utilizá-los.

-- Switch to the custom catalog
USE <catalogName>;

-- Or reference the table directly
SELECT * FROM <catalogName>.db.tbl;

Adicionar catálogo de dados

1. Acesse a página Catálogos de Dados.

   1. Faça login no console do EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em no nome do workspace desejado.

   4. Na página EMR Serverless Spark, clique em Catalog no painel de navegação à esquerda.

      Nota

      A página Catálogos de Dados exibe os bancos de dados e tabelas do catálogo de dados do Data Lake Formation selecionado durante a criação do workspace.

2. Clique em Add Catalog.

3. Na caixa de diálogo Add Catalog, selecione um tipo de catálogo, configure os parâmetros necessários e clique em Add. Há suporte aos seguintes tipos de catálogo.

Catálogo de dados DLF

O DLF Catalog é um serviço para gerenciar e consultar metadados em um data lake. Ao selecionar um catálogo de dados DLF existente ou criar um novo, você acessa rapidamente os metadados do seu data lake.

Para criar um novo catálogo de dados DLF, clique em Create Catalog para acessar o console do Data Lake Formation. Para mais informações, consulte Manage metadata.

Catálogo de dados Hive Metastore (HMS)

O External Hive Metastore é um serviço de metadados independente, geralmente utilizado para gerenciar metadados de tabelas Hive. Configure este serviço para integrar metadados de um Hive Metastore externo ao seu ambiente atual.

Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde o Hive Metastore externo está localizado.

Para adicionar um Hive Metastore externo, consulte Connect to an external Hive Metastore.

Catálogo de dados StarRocks

O StarRocks é um banco de dados analítico de alto desempenho. Adicionar um catálogo de dados StarRocks registra os metadados de uma instância do StarRocks no EMR Serverless Spark. Após adicionar o catálogo, você pode ler e gravar dados do StarRocks diretamente de seus jobs e sessões, sem precisar configurar parâmetros de conexão para cada tarefa. Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde a instância do StarRocks está localizada.

Depois de adicionar o catálogo, utilize um identificador de três partes em SQL para ler e gravar dados no StarRocks. Por exemplo: SELECT * FROM <catalogName>.<dbName>.<tableName>;

Para saber como ler e gravar dados do StarRocks em suas tarefas, consulte Read from and write to StarRocks.

Catálogo de dados Hologres

O Hologres é um data warehouse em tempo real com suporte a gravações em tempo real de alto throughput e análises em tempo real em dados de grande escala. Adicionar um catálogo de dados Hologres registra os metadados de uma instância do Hologres no EMR Serverless Spark. Após adicionar o catálogo, você pode ler e gravar dados do Hologres diretamente de seus jobs e sessões, sem precisar configurar parâmetros de conexão para cada tarefa. Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde a instância do Hologres está localizada.

Depois de adicionar o catálogo, utilize um identificador de três partes em SQL para ler e gravar dados no Hologres. Cada catálogo está estritamente vinculado a um banco de dados Hologres, e não há suporte ao acesso entre bancos de dados. Em outras palavras, não é possível usar um único catálogo para acessar múltiplos bancos de dados Hologres. A estrutura lógica do catálogo é consistente com o Hologres:

Para saber como ler e gravar dados do Hologres em suas tarefas, consulte Read from and write to Hologres.

Visualize bancos de dados e tabelas

1. Na página Catalog, clique em no ID de um catálogo de dados.

   Todos os bancos de dados do catálogo de dados serão exibidos.

2. Na coluna Actions, clique em Table.

   Todas as tabelas do banco de dados selecionado serão exibidas.

3. Na coluna Actions, clique em Field.

   O schema e os detalhes das colunas da tabela selecionada serão exibidos.

Usar um catálogo de dados em SQL

Após adicionar um catálogo de dados, acesse seus bancos de dados e tabelas pelo nome do catálogo no desenvolvimento SQL e em sessões interativas, sem precisar especificar informações de conexão em cada tarefa.

-- Switch the default catalog
USE <catalogName>;

-- Switch the default catalog and database
USE <catalogName>.<dbName>;

SELECT * FROM <catalogName>.<dbName>.<tableName>;

-- Hologres: the second part is a schema. The default schema is public.
SELECT * FROM <hologresCatalog>.public.<tableName>;

-- You can also switch the catalog and schema first, and then reference the table by name.
USE <hologresCatalog>;
USE public;
SELECT * FROM <tableName>;

SELECT
  d.user_id,
  d.user_name,
  o.order_id,
  o.amount
FROM dlf_catalog.user_db.dim_user AS d
JOIN hologres_catalog.public.orders AS o
  ON d.user_id = o.user_id;

Usar um catálogo de dados em PySpark

No PySpark, use identificadores de três partes para ler e gravar tabelas em um catálogo de dados.

# Read a table
df = spark.table("<catalogName>.<dbName>.<tableName>")

# Write to a table
(
    df.write
      .mode("append")
      .saveAsTable("<catalogName>.<dbName>.<tableName>")
)

Também é possível ler tabelas de diferentes catálogos de dados e uni-las.

dim_user = spark.table("dlf_catalog.user_db.dim_user")
orders = spark.table("hologres_catalog.public.orders")

result = orders.join(dim_user, on="user_id", how="inner")
result.show()

Antes de gravar dados, certifique-se de que a source de dados de destino oferece suporte ao modo de gravação e que sua conta possui permissões de escrita.

Exclua um catálogo de dados

1. Na página Catalog, localize o catálogo de dados que deseja excluir.

2. Clique em Delete na coluna Actions e confirme a operação conforme solicitado.

Após a exclusão, sessões em execução ainda podem usar a configuração anterior. Reinicie as sessões e verifique se o catálogo não está mais acessível.

FAQ