E-MapReduce:Manage network connections

Pré-requisitos

Crie um workspace do Serverless Spark. Para mais informações, consulte Create a workspace.

Limites de uso

Os vSwitches são suportados apenas nas seguintes zonas de disponibilidade.

• Mainland China

  Nome da região	ID da região	Nome da zona de disponibilidade
  China (Hangzhou)	cn-hangzhou	Zone H Zone I Zone J
  China (Shanghai)	cn-shanghai	Zone L Zone F Zone G
  China (Beijing)	cn-beijing	Zone F Zone G Zone H Zone I Zone K
  China (Shenzhen)	cn-shenzhen	Zone E Zone F
  China (Hong Kong)	cn-hongkong	Zone B Zone C

• Other Countries and Regions

  Nome da região	ID da região	Nome da zona de disponibilidade
  Germany (Frankfurt)	eu-central-1	Zone A Zone B
  Indonesia (Jakarta)	ap-southeast-5	Zone A Zone B
  Singapore	ap-southeast-1	Zone B Zone C
  US (Virginia)	us-east-1	Zone A Zone B
  US (Silicon Valley)	us-west-1	Zone A Zone B
  Japan (Tokyo)	ap-northeast-1	Zone B Zone C
  Mexico (Queretaro)	na-south-1	Zone A
  Philippines (Manila)	ap-southeast-6	Zone A Zone B

Criar uma conexão de rede

1. Acesse a página Network Connection.

   1. Faça login no console EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em nome do workspace desejado.

   4. Na página EMR Serverless Spark, no painel de navegação à esquerda, clique em Normal Network Connection.

2. Na página Normal Network Connection, clique em Create Network Connection.

3. Na caixa de diálogo Create Network Connection, configure os parâmetros a seguir e clique em OK.

   Parâmetro	Descrição
   Name	Insira um nome para a conexão.
   VPC	Selecione a mesma VPC do cluster EMR. Se não houver nenhuma VPC disponível, clique em Create VPC para criar uma no console VPC. Para mais informações, consulte VPCs and vSwitches. Nota Se sua aplicação Serverless Spark precisar de acesso à internet, garanta que a conexão de rede o forneça. Por exemplo, implante um NAT gateway público na VPC para ative o acesso à internet nas instâncias do Serverless Spark. Para mais informações, consulte Public NAT Gateway.
   vSwitch	Selecione um vSwitch na mesma VPC do cluster EMR. Se não houver nenhum vSwitch disponível na zona atual, clique em vSwitch para criar um no console VPC. Para mais informações, consulte Create and manage vSwitches. Importante É possível selecionar vSwitches apenas em zonas específicas. Para mais informações, consulte Usage limits.

   A conexão de rede será criada quando o Status mudar para Succeeded.

   

Configurar regras de grupo de segurança

Após criar uma conexão de rede, permita o bloco CIDR do vSwitch usado pela conexão no grupo de segurança do cluster que hospeda o service de destino. Caso contrário, o Serverless Spark não conseguirá acessar o service. Os passos a seguir usam um cluster EMR on ECS como exemplo.

1. Obtenha o bloco CIDR do vSwitch especificado na conexão de rede.

   Faça login no console VPC e acesse a página vSwitch para obter o bloco CIDR do vSwitch.

2. Adicione uma regra de grupo de segurança.

   1. Faça login no console EMR on ECS.

   2. Na página EMR on ECS, clique em ID do cluster desejado.

   3. Na página Basic Information, na seção Security, clique em link ao lado de Cluster Security Group.

   4. Na página Security Group Details, na seção Rules, clique em Add Rule, configure os parâmetros a seguir e clique em OK.

      Parâmetro	Descrição
      Protocol	Tipo de protocolo de rede a ser permitido. Valor padrão: TCP. Nota Se a conexão de rede for usada para autenticação Kerberos, selecione UDP e abra a porta 88. Para mais detalhes sobre a autenticação Kerberos, consulte Enable Kerberos authentication.
      Source	Insira o bloco CIDR do vSwitch obtido na etapa anterior. Importante Para evitar riscos de segurança, como ataques de usuários externos, não defina o Authorization Object como 0.0.0.0/0.
      Destination (Current Instance)	Porta de destino a ser aberta. Por exemplo, 9083.

Próximos passos

Depois de criar a conexão de rede e configurar as regras do grupo de segurança, selecione a conexão em uma sessão SQL, sessão de notebook ou job em lote para acessar fontes de dados na VPC. Para um exemplo completo de acesso a um Hive Metastore em sua própria VPC, consulte Read from and write to HMS.