Container Service for Kubernetes:Share a Dataset across namespaces

Fonctionnement

Fluid utilise ThinRuntime pour lier un Dataset d'un namespace à un Dataset d'un autre. Lorsqu'un pod du namespace de référence lit des données, les requêtes sont acheminées vers le runtime de mise en cache du namespace source. Aucun runtime de mise en cache supplémentaire n'est créé dans le namespace de référence.

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un cluster ACK Pro exécutant Kubernetes 1.18 ou une version ultérieure, avec un pool de nœuds autre que ContainerOS (le composant ack-fluid ne prend pas en charge ContainerOS). Pour plus d'informations, consultez la page Création d'un cluster ACK Pro.

• La suite d'IA cloud-native installée avec le composant ack-fluid déployé :

  • Si vous n'avez pas encore installé la suite d'IA cloud-native, activez l'option Fluid acceleration lors de l'installation. Pour plus d'informations, consultez la page Déploiement de la suite d'IA cloud-native.

  • Si la suite d'IA cloud-native est déjà installée, accédez à la page Cloud-native AI Suite dans la console ACK et déployez le composant ack-fluid.

  • Si Fluid open source est déjà installé, désinstallez-le avant de déployer le composant ack-fluid.

• Un client kubectl connecté à votre cluster ACK Pro. Pour plus d'informations, consultez la page Connexion à un cluster à l'aide de kubectl.

Étape 1 : Téléversement du jeu de données de test vers OSS

1. Téléchargez le jeu de données de test (environ 2 Go).

2. Téléversez le jeu de données dans votre bucket Object Storage Service (OSS) à l'aide d'ossutil. Pour plus d'informations, consultez la page Installation d'ossutil.

Étape 2 : Création d'un jeu de données partagé et d'un runtime

Créez un namespace nommé share pour héberger le Dataset partagé et le runtime. Choisissez le type de runtime correspondant à votre configuration de stockage.

Étape 3 : Création d'un jeu de données de référence et d'un pod

1. Créez le namespace ref :

   kubectl create ns ref

2. Créez un fichier nommé ref-dataset.yaml avec le contenu suivant :

   • dataset:// : préfixe de protocole indiquant que ce Dataset fait référence à un autre Dataset.

   • share : namespace où réside le Dataset source.

   • shared-dataset : nom du Dataset source.

   Important

   La valeur mountPoint doit utiliser le préfixe de protocole dataset://. Tout autre format entraîne l'échec de la création du Dataset, et les champs de la section spec n'ont aucun effet.

   apiVersion: data.fluid.io/v1alpha1
   kind: Dataset
   metadata:
     name: ref-dataset
     namespace: ref
   spec:
     mounts:
     - mountPoint: dataset://share/shared-dataset

   La valeur mountPoint suit le format dataset://<namespace>/<dataset-name> :

3. Appliquez le Dataset de référence :

   kubectl apply -f ref-dataset.yaml

4. Créez un fichier nommé app.yaml avec le contenu suivant. Cette opération crée un pod dans le namespace ref qui monte le Dataset de référence sur /data.

   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
     namespace: ref
   spec:
     containers:
     - name: nginx
       image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
       command:
       - "bash"
       - "-c"
       - "sleep inf"
       volumeMounts:
       - mountPath: /data
         name: ref-data
     volumes:
     - name: ref-data
       persistentVolumeClaim:
         claimName: ref-dataset

5. Déployez le pod :

   kubectl apply -f app.yaml

6. Vérifiez que le pod est en cours d'exécution :

   kubectl get pods -n ref -o wide

   Le pod est prêt lorsque son statut indique Running.

Étape 4 : Test du partage et de la mise en cache des données

1. Consultez les pods dans les deux namespaces :

   kubectl get pods -n share
   kubectl get pods -n ref

   Résultat attendu :

   # Pods in the share namespace
   NAME                                READY   STATUS    RESTARTS   AGE
   shared-dataset-jindofs-fuse-ftkb5   1/1     Running   0          44s
   shared-dataset-jindofs-master-0     1/1     Running   0          9m13s
   shared-dataset-jindofs-worker-0     1/1     Running   0          9m13s
   
   # Pods in the ref namespace
   NAME    READY   STATUS    RESTARTS   AGE
   nginx   1/1     Running   0          118s

   Trois pods liés au cache s'exécutent dans le namespace share. Le namespace ref ne contient que le pod nginx ; aucun pod de runtime de mise en cache n'y est créé.

2. Connectez-vous au pod nginx :

   kubectl exec nginx -n ref -it -- sh

3. Testez le partage des données en interrogeant le fichier dans le répertoire /data :

   du -sh /data/wwm_uncased_L-24_H-1024_A-16.zip

   Résultat attendu :

   1.3G    /data/wwm_uncased_L-24_H-1024_A-16.zip

   Le pod nginx du namespace ref peut accéder au fichier stocké dans le namespace share.

4. Testez la mise en cache des données en lisant le fichier deux fois :

   Les valeurs de latence suivantes sont fournies à titre indicatif uniquement. Les résultats réels varient selon votre environnement.

   # First read — data is fetched from OSS and written to cache
   time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null
   real    0m1.166s
   user    0m0.007s
   sys     0m1.154s
   
   # Second read — data is served from cache
   time cat /data/wwm_uncased_L-24_H-1024_A-16.zip > /dev/null
   real    0m0.289s
   user    0m0.011s
   sys     0m0.274s

   La seconde lecture s'achève en 0,289 seconde contre 1,166 seconde pour la première, ce qui confirme que le fichier est mis en cache après le premier accès.