Les ressources désignent divers fichiers auxiliaires ou programmes nécessaires à l'exécution des tâches de traitement des données. Elles servent généralement à exécuter des jobs, tels que les jobs MapReduce ou ceux faisant appel à des fonctions définies par l'utilisateur (UDF). La fonctionnalité de gestion des ressources de MaxCompute vous permet de télécharger, d'enregistrer et de gérer ces ressources.
Concept
La notion de ressource est spécifique à MaxCompute. Pour exécuter des tâches via les UDF ou le MapReduce de MaxCompute, vous devez importer vos fichiers en tant que ressources MaxCompute.
UDF SQL : après avoir développé une UDF, compressez son code dans un package JAR et importez-le sur MaxCompute en tant que ressource. Lors de l'exécution de l'UDF, MaxCompute télécharge automatiquement le package JAR et extrait le code nécessaire. Les fichiers JAR constituent un type de ressource MaxCompute ; leur importation crée automatiquement la ressource associée dans MaxCompute.
MapReduce : après avoir écrit un programme MapReduce, compressez-le dans un package JAR et importez-le sur MaxCompute en tant que ressource. Lors de l'exécution du job MapReduce, le système télécharge automatiquement le package JAR et récupère le code pour lancer le traitement.
Vous pouvez importer des fichiers texte et des tables MaxCompute en tant que ressources. Vous pourrez ensuite y accéder ou les utiliser lors de l'exécution d'UDF ou de jobs MapReduce. MaxCompute met à disposition des API permettant d'accéder à ces ressources et de les exploiter. Pour plus d'informations, consultez les Exemples de ressources et les UDF Java.
Types de ressources
Vous pouvez importer sur MaxCompute tout objet dont la taille n'excède pas 2 048 Mo. MaxCompute prend en charge les types de ressources suivants :
File : fichiers aux formats .zip, .so ou .jar.
-
Table : tables MaxCompute.
RemarqueSeuls les champs BIGINT, DOUBLE, STRING, DATETIME et BOOLEAN sont pris en charge dans les tables référencées par MapReduce.
JAR : packages JAR compilés.
Archive : fichiers compressés identifiés par l'extension du nom de la ressource. Les types de fichiers suivants sont pris en charge : .zip, .tgz, .tar.gz, .tar et .jar.
Python : code Python que vous avez écrit. Vous pouvez utiliser ce code pour enregistrer des UDF Python.