E-MapReduce:Connect Spark to OSS

Utiliser Spark Shell (Scala)

1. Connectez-vous au nœud maître via SSH.

2. Démarrez Spark Shell :

   spark-shell

3. Exécutez le code suivant. Remplacez <yourBucket> par le nom de votre compartiment OSS.

   scala> val pathIn = "oss://<yourBucket>/path/to/read"
   scala> val inputData = sc.textFile(pathIn)
   scala> val cnt = inputData.count
   cnt: Long = ...
   scala> println(s"count: $cnt")
   scala> val outputPath = "oss://<yourBucket>/path/to/write"
   scala> val outputData = inputData.map(e => s"$e has been processed.")
   scala> outputData.saveAsTextFile(outputPath)

   Ce code lit toutes les lignes du chemin d'entrée, les compte, ajoute un suffixe à chaque ligne et écrit le résultat dans le chemin de sortie. Pour voir l'exemple complet, consultez SparkOssDemo.scala sur GitHub.

Utiliser PySpark

1. Connectez-vous au nœud maître via SSH.

2. Démarrez PySpark :

   pyspark

3. Exécutez le code suivant. Remplacez <yourBucket> par le nom de votre compartiment OSS.

   >>> pathIn = "oss://<yourBucket>/path/to/read"
   >>> df = spark.read.text(pathIn)
   >>> cnt = df.count()
   >>> print(cnt)
   >>> outputPath = "oss://<yourBucket>/path/to/write"
   >>> df.write.format("parquet").mode("overwrite").save(outputPath)

   Ce code lit le chemin d'entrée sous forme de DataFrame texte, affiche le nombre de lignes et écrit le résultat au format Parquet dans le chemin de sortie.

Utiliser Spark SQL

1. Connectez-vous au nœud maître via SSH.

2. Démarrez l'interface CLI Spark SQL :

   spark-sql

3. Créez une base de données stockée dans OSS, créez une table CSV et insérez une ligne :

   Paramètre	Description
   delimiter	Caractère utilisé pour séparer les champs dans le fichier CSV.
   header	Définissez sur true si la première ligne contient les noms de colonnes ; sinon, définissez sur false.

   CREATE DATABASE test_db LOCATION "oss://<yourBucket>/test_db";
   USE test_db;
   CREATE TABLE student (id INT, name STRING, age INT)
       USING CSV OPTIONS ("delimiter"=";", "header"="true");
   INSERT INTO student VALUES(1, "ab", 12);
   SELECT * FROM student;

   Remplacez <yourBucket> par le nom de votre compartiment OSS. L'instruction SELECT renvoie :

   1    ab    12

4. Pour vérifier le résultat, consultez le fichier CSV dans OSS. Le fichier utilise des points-virgules comme délimiteurs, avec la première ligne servant d'en-tête :

   id;name;age
   1;ab;12

Étape 1 : Supprimer la configuration sans mot de passe

Supprimez le paramètre fs.oss.credentials.provider du fichier core-site.xml du service Hadoop-Common.

Étape 2 : Vérifier que l'accès sans mot de passe est supprimé

Exécutez la commande suivante :

hadoop fs -ls oss://<yourBucket>/test_db

Si la suppression a réussi, vous obtenez le message suivant :

ls: ERROR: not found login secrets, please configure the accessKeyId and accessKeySecret.

Étape 3 : Ajouter les paramètres AccessKey à core-site.xml

Dans le fichier core-site.xml du service Hadoop-Common, ajoutez les paramètres suivants :

Étape 4 : Vérifier la configuration AccessKey

Exécutez la commande suivante :

hadoop fs -ls oss://<yourBucket>/test_db

Si la paire AccessKey est correctement configurée, la sortie liste le chemin OSS :

drwxrwxrwx   - root root          0 2025-02-24 11:45 oss://<yourBucket>/test_db/student

Étape 5 : Redémarrer les services Spark

Redémarrez tous les services liés à Spark. Une fois qu'ils sont opérationnels, utilisez Spark Shell, PySpark ou Spark SQL pour lire et écrire dans OSS.