Les API MaxFrame se divisent en deux catégories : les API de compatibilité et les API spécifiques à MaxFrame. Les API de compatibilité s'intègrent à diverses bibliothèques standard, telles que Pandas, pour faciliter le traitement des données. Les API spécifiques à MaxFrame sont conçues pour l'exécution distribuée des tâches. Lorsque vous développez des jobs avec les API MaxFrame, vous bénéficiez d'une expérience de manipulation des données similaire à celle des bases de données standards, tout en exécutant efficacement des tâches de traitement de données à grande échelle sur la plateforme MaxFrame.
API spécifiques à MaxFrame
Type d'API | Nom de l'API | Description |
Session de tâche | Démarre une session de job MaxFrame. La méthode new_session est appelée au début du script pour initialiser l'exécution de l'ensemble de la tâche. Le traitement ultérieur des données repose sur l'interaction entre l'objet session construit lors de l'initialisation et le service backend. | |
Entrée/Sortie | Construit un objet DataFrame à partir des données d'une table MaxCompute entière, de partitions spécifiques ou de colonnes spécifiques de la table. | |
Construit un objet DataFrame à partir des résultats de requête des instructions SQL MaxCompute. | ||
Écrit les données DataFrame dans une table MaxCompute. | ||
Exécution de tâche | Exécute une tâche. MaxFrame utilise un modèle de calcul différé. L'exécution de la tâche n'est déclenchée que lorsque la méthode execute est appelée. Cette API permet de retarder les conversions de données jusqu'à la fin du pipeline. Ainsi, plusieurs opérations peuvent être exécutées simultanément dans une seule tâche. Cela réduit la quantité de données transmises entre le client et la base de données et améliore les performances. | |
Récupération des résultats de tâche | Obtient le résultat de calcul d'une tâche. Le résultat de calcul n'est pas directement transmis au client. Cela permet de réduire la quantité de données transmises et la charge de travail sur le client. Pour vérifier une partie des données de résultat, appelez la méthode fetch après la méthode execute afin de récupérer les données de résultat. |
MaxFrame for Pandas
-
DataFrame
Type d'API
Référence
Constructeur
Attributs
Calcul mathématique
Filtrage, projection et échantillonnage
Tri
Combinaison, jointure et fusion
Fonctions définies par l'utilisateur (UDF), agrégats et fenêtres
Conversion
-
Series
Type d'API
Référence
Constructeur
Calcul mathématique
Filtrage, projection et échantillonnage
Tri
UDF, agrégats et fenêtres
-
Index
Type d'API
Référence
Constructeur
Filtrage, projection et échantillonnage
Conversion
API Pandas prises en charge par MaxFrame
-
DataFrame
-
API qui prennent en charge tous les paramètres :
DataFrame, add, radd, round, sub, rsub, mul, rmul, floordiv, rfloordiv, truediv, rtruediv, div, rdiv, mod, rmod, pow, rpow, eq, ne, lt, gt, le, head, reset_index, drop_duplicates, rename, sort_values, sort_index, join, merge, sample, transform et agg
-
API qui ne prennent en charge que certains paramètres :
-
-
Series
-
API qui prennent en charge tous les paramètres :
add, radd, round, sub, rsub, mul, rmul, floordiv, rfloordiv, truediv, rtruediv, div, rdiv, mod, rmod, pow, rpow, eq, ne, lt, gt, ge, le, head, drop, reset_index, drop_duplicates, sort_values, sort_index, sample, transform et agg
API qui ne prennent en charge que certains paramètres : aucune
-
-
Index
API qui prennent en charge tous les paramètres : drop_duplicates
-
API qui ne prennent en charge que certains paramètres :
astype : ne prend pas en charge astype('category').