E-MapReduce:Manage data catalogs

Visão geral dos catálogos

O EMR Serverless Spark oferece um sistema flexível de gerenciamento de catálogos que compatível com diversos tipos, como Paimon, Iceberg e StarRocks. Além do tipo padrão de catálogo de dados, o sistema também oferece suporte a um catálogo integrado e catálogos personalizados. Esta seção descreve os tipos de catálogo no EMR Serverless Spark e como configurá-los e utilizá-los.

-- Switch to the custom catalog
USE <catalogName>;

-- Or reference the table directly
SELECT * FROM <catalogName>.db.tbl;

Adicionar catálogo de dados

1. Acesse a página de Catálogos de Dados.

   1. Faça logon no console do EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique no nome do workspace desejado.

   4. Na página do EMR Serverless Spark, clique em Catalog no painel de navegação à esquerda.

      Nota

      A página de Catálogos de Dados exibe os bancos de dados e tabelas do catálogo de dados do Data Lake Formation selecionado durante a criação do workspace.

2. Clique em Add Catalog.

3. Na caixa de diálogo Add Catalog, selecione um tipo de catálogo, configure os parâmetros necessários e clique em Add. Os seguintes tipos de catálogo são compatíveis.

Catálogo de dados DLF

O DLF Catalog é um serviço para gerenciar e consultar metadados em um data lake. Ao selecionar um catálogo de dados DLF existente ou criar um novo, você acessa rapidamente os metadados do seu data lake.

Para criar um novo catálogo de dados DLF, clique em Create Catalog para acessar o console do Data Lake Formation. Para mais informações, consulte Gerenciar metadados.

Catálogo de dados Hive Metastore (HMS)

O External Hive Metastore é um serviço de metadados independente, geralmente usado para gerenciar metadados de tabelas Hive. Configure esse serviço para integrar metadados de um Hive Metastore externo ao seu ambiente atual.

Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde o Hive Metastore externo está localizado.

Para adicionar um Hive Metastore externo, consulte Conectar a um Hive Metastore externo.

Catálogo de dados StarRocks

O StarRocks é um banco de dados analítico de alto desempenho. Adicionar um catálogo de dados StarRocks registra os metadados de uma instância do StarRocks no EMR Serverless Spark. Após adicionar o catálogo, você pode ler e gravar dados do StarRocks diretamente nos seus jobs e sessões, sem precisar configurar parâmetros de conexão para cada tarefa. Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde a instância do StarRocks está localizada.

Após adicionar o catálogo, use um identificador de três partes no SQL para ler e gravar dados no StarRocks. Por exemplo: SELECT * FROM <catalogName>.<dbName>.<tableName>;

Para saber como ler e gravar dados do StarRocks nas suas tarefas, consulte Ler e gravar no StarRocks.

Catálogo de dados Hologres

O Hologres é um data warehouse em tempo real que oferece suporte a gravações em tempo real de alta taxa de transferência e análises em tempo real em dados de grande escala. Adicionar um catálogo de dados Hologres registra os metadados de uma instância do Hologres no EMR Serverless Spark. Após adicionar o catálogo, você pode ler e gravar dados do Hologres diretamente nos seus jobs e sessões, sem precisar configurar parâmetros de conexão para cada tarefa. Certifique-se de que exista uma conexão de rede entre o EMR Serverless Spark e a VPC onde a instância do Hologres está localizada.

Após adicionar o catálogo, use um identificador de três partes no SQL para ler e gravar dados no Hologres. Cada catálogo está estritamente vinculado a um banco de dados do Hologres, e o acesso entre bancos de dados não é compatível. Em outras palavras, não é possível usar um único catálogo para acessar vários bancos de dados do Hologres. A estrutura lógica do catálogo é consistente com a do Hologres:

Para saber como ler e gravar dados do Hologres nas suas tarefas, consulte Ler e gravar no Hologres.

Catálogo de dados Fluss

O Fluss é um sistema de armazenamento de fluxo colunar de alto desempenho que oferece suporte a leitura e gravação de fluxo em subsegundos para análises em tempo real e IA. Após adicionar um catálogo de dados Fluss, seus jobs do EMR Serverless Spark podem acessar os dados no cluster Fluss sem autenticação, sem a necessidade de configurar informações de conexão para cada job e sessão.

Visualizar bancos de dados e tabelas

1. Na página Catalog, clique no ID de um catálogo de dados.

   Todos os bancos de dados do catálogo de dados são exibidos.

2. Na coluna Ações, clique em Table.

   Todas as tabelas do banco de dados selecionado são exibidas.

3. Na coluna Ações, clique em Field.

   O schema e os detalhes das colunas da tabela selecionada são exibidos.

Usar um catálogo de dados no SQL

Após adicionar um catálogo de dados, acesse seus bancos de dados e tabelas pelo nome do catálogo no desenvolvimento SQL e nas sessões interativas, sem precisar especificar informações de conexão em cada tarefa.

-- Switch the default catalog
USE <catalogName>;

-- Switch the default catalog and database
USE <catalogName>.<dbName>;

SELECT * FROM <catalogName>.<dbName>.<tableName>;

-- Hologres: the second part is a schema. The default schema is public.
SELECT * FROM <hologresCatalog>.public.<tableName>;

-- You can also switch the catalog and schema first, and then reference the table by name.
USE <hologresCatalog>;
USE public;
SELECT * FROM <tableName>;

SELECT
  d.user_id,
  d.user_name,
  o.order_id,
  o.amount
FROM dlf_catalog.user_db.dim_user AS d
JOIN hologres_catalog.public.orders AS o
  ON d.user_id = o.user_id;

Usar um catálogo de dados no PySpark

No PySpark, use identificadores de três partes para ler e gravar tabelas em um catálogo de dados.

# Read a table
df = spark.table("<catalogName>.<dbName>.<tableName>")

# Write to a table
(
    df.write
      .mode("append")
      .saveAsTable("<catalogName>.<dbName>.<tableName>")
)

Você também pode ler tabelas de diferentes catálogos de dados e depois fazer join entre elas.

dim_user = spark.table("dlf_catalog.user_db.dim_user")
orders = spark.table("hologres_catalog.public.orders")

result = orders.join(dim_user, on="user_id", how="inner")
result.show()

Antes de gravar dados, certifique-se de que a fonte de dados de destino oferece suporte ao modo de gravação e que sua conta tem permissões de gravação.

Excluir um catálogo de dados

1. Na página Catalog, localize o catálogo de dados que deseja excluir.

2. Clique em Delete na coluna Ações e confirme a operação conforme solicitado.

Após a exclusão, as sessões em execução ainda podem usar a configuração anterior. Reinicie as sessões e verifique se o catálogo não está mais acessível.

FAQ