E-MapReduce:Use Kerberos with Kyuubi Gateway

Créer un endpoint

Le consommateur de service crée et gère l'endpoint. Associez-le à un service d'endpoint pour établir une connexion réseau privée permettant d'accéder à des services externes via PrivateLink. Pour plus d'informations, consultez la rubrique Endpoints.

1. Connectez-vous à la console Endpoint.

2. Sur la page Create Endpoint, configurez l'endpoint avec les paramètres suivants, puis cliquez sur Create.

   Parameter	Description
   Region	Sélectionnez la région de l'endpoint. Assurez-vous qu'elle correspond à celle du cluster Kerberos et de l'espace de travail Serverless Spark.
   Endpoint Name	Saisissez un nom personnalisé pour l'endpoint.
   Endpoint Type	Sélectionnez Interface Endpoint.
   Endpoint Service	Cliquez sur Select Service, puis sélectionnez ou saisissez l'ID du service d'endpoint cible. Remarque Pour obtenir l'ID du service d'endpoint, soumettez un ticket avec les informations suivantes : L'ID de l'espace de travail Serverless Spark, par exemple w-f8cfXXXXXX. L'ID VPC du cluster Kerberos qui accède à la passerelle Kyuubi. Ce VPC doit disposer de vSwitches disponibles dans deux zones. Exemple : vpc-bp1tXXXXXX. Les deux zones sélectionnées, par exemple I,J. Pour connaître les zones prises en charge par votre région, contactez notre équipe d'assistance via le ticket. L'ID de la passerelle Kyuubi, par exemple kb-564e****266f.
   VPC	Sélectionnez le VPC du cluster Kerberos qui accède à la passerelle Kyuubi.
   Security Group	Sélectionnez le groupe de sécurité à associer à l'interface réseau élastique (ENI) de l'endpoint. Remarque Vous pouvez associer jusqu'à neuf groupes de sécurité à un endpoint.
   Zone and vSwitch	Sélectionnez les zones et leurs vSwitches correspondants spécifiés précédemment.
   IP Version	Les types de réseau suivants sont pris en charge : IPv4 : Permet aux clients d'utiliser des adresses IPv4 pour l'accès. Dual-stack : Permet aux clients d'utiliser à la fois des adresses IPv4 et IPv6 pour l'accès. Remarque Vous ne pouvez sélectionner l'option dual-stack qu'une fois que le fournisseur de service a terminé la configuration dual-stack.
   Resource Group	Sélectionnez le groupe de ressources auquel appartient l'endpoint.
   Tags	Sélectionnez ou saisissez une Tag Key et une Tag Value.

3. Sur la page Basic Information, si le Status est Status, l'endpoint est prêt à l'emploi. Le nom de domaine du service d'endpoint est ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com.

4. Connectez-vous au cluster Kerberos et testez la connexion réseau.

   Vérifiez la connectivité du réseau privé de l'endpoint depuis un nœud du cluster Kerberos en exécutant la commande ping :

   [root@master-1-1(xxx) ~]# ping ep-bp1ixxx.cn-hangzhou.privatelink.aliyuncs.com
   PING ep-bp1xxx              xxx.cn-hangzhou.privatelink.aliyuncs.com (xxx) 56(84) bytes of data.
   64 bytes from xxx (xxx): icmp_seq=1 ttl=102 time=0.989 ms

Configurer la résolution DNS (facultatif)

Le nom de domaine par défaut du service d'endpoint est long. Pour le simplifier, configurez un nom de domaine interne faisant autorité personnalisé. Pour plus d'informations, consultez la rubrique Internal authoritative domain names.

1. Connectez-vous à . Sur la page Authoritative Zone, cliquez sur l'onglet User-defined Zones, puis cliquez sur Add Zone.

2. Saisissez une Authoritative Zone, sélectionnez le VPC où le nom de domaine sera appliqué, puis cliquez sur OK. Dans cet exemple, kyuubi-kerberos.abc est utilisé.

   Remarque

   Si l'option Domain Type est disponible, sélectionnez Acceleration Zone. Si l'option Domain Type n'est pas disponible, aucune sélection n'est nécessaire et un domaine Acceleration Zone est créé par défaut.

3. Sur l'onglet User-defined Zones, recherchez le nom de domaine cible et cliquez sur Settings dans la colonne Actions. Ensuite, cliquez sur Add Record et sélectionnez Form Editor Mode dans la boîte de dialogue.

4. Définissez Record Type sur CNAME. Pour Hostname, saisissez un préfixe. Dans cet exemple, test est utilisé. Pour Record Value, saisissez le nom de domaine du service d'endpoint ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com. En cliquant sur OK, le nom de domaine du service d'endpoint est mappé à test.kyuubi-kerberos.abc.

5. Connectez-vous au cluster Kerberos et testez la connexion réseau.

   ping test.kyuubi-kerberos.abc

kyuubi.authentication              KERBEROS
kyuubi.kinit.principal             kyuubi/ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com@EMR.C-DFD43******7C204.COM
kyuubi.kinit.keytab                /opt/kyuubi/work-dir/kyuubi.keytab
kyuubi.files                       oss://bucket/path/to/kyuubi.keytab

spark.hadoop.hive.metastore.uris                    thrift://master-1-1.c-1d36*****e840c.cn-hangzhou.emr.aliyuncs.com:9083
spark.hadoop.hive.imetastoreclient.factory.class    org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory
spark.hive.metastore.kerberos.principal             hive/_HOST@EMR.C-DFD4*****C204.COM
spark.hive.metastore.sasl.enabled                   true
spark.emr.serverless.network.service.name           <network_name>

hadoop.proxyuser.kyuubi.hosts = *
hadoop.proxyuser.kyuubi.groups = *