MaxCompute:Notes de version

Description

À partir de MaxFrame SDK 2.6, le comportement de DataFrameGroupBy.mf.apply_chunk change. Cette mise à jour simplifie le paramètre index et unifie le comportement sur les moteurs DPE et MaxCompute SQL. Le nouveau comportement est contrôlé par le paramètre prepend_index_group_keys qui, par défaut, est défini sur False pour assurer la rétrocompatibilité, mais basculera vers True dans une prochaine version.

• Avant MaxFrame SDK 2.6

  MaxFrame DataFrameGroupBy.mf.apply_chunk vous obligeait à spécifier la forme complète de l'index du DataFrame de sortie dans le paramètre index. Par exemple :

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  # In SDK 2.5 and earlier, you must specify all output fields. Here, year is the group key specified in groupby.
  expect_index = pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      index=expect_index,
      output_type="dataframe",
      skip_infer=True
  )

  De plus, en raison d'un problème d'implémentation, les colonnes reçues par les fonctions utilisateur dans le moteur DPE de MaxFrame incluaient les clés de groupe, tandis que celles du moteur MaxCompute SQL ne les incluaient pas.

• MaxFrame SDK 2.6 et versions ultérieures

  L'exemple ci-dessus se réécrit comme suit :

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      skip_infer=True,
      prepend_index_group_keys=True,
  )

  Définir prepend_index_group_keys sur True active le nouveau comportement. Avec ce comportement, le DataFrame d'entrée transmis aux fonctions utilisateur dans les moteurs DPE et MaxCompute SQL n'inclut plus les clés de groupe par défaut. De plus, le paramètre index transmis à apply_chunk représente désormais uniquement le type d'index de la sortie de la fonction utilisateur, et non l'index de l'objet de sortie apply_chunk. La relation avec l'index final dépend des paramètres de la fonction groupby, comme indiqué ci-dessous :

  Paramètre	group_keys=True (par défaut)	group_keys=False
  as_index=True (par défaut)	Préfixe les colonnes de groupe d'entrée en tant qu'index avant l'index utilisateur	Ne préfixe aucune colonne en tant qu'index
  as_index=False	Préfixe l'ID de groupe en tant qu'index avant l'index utilisateur (DPE uniquement)

Guide de migration :

Ajoutez prepend_index_group_keys=True à vos appels groupby.mf.apply_chunk et effectuez les modifications suivantes :

1. Si vous spécifiez le paramètre index, supprimez-en les clés de groupe. Par exemple, remplacez pd.MultiIndex.from_tuples([(0, 0)], names=["year", None]) par pd.Index([0]). Si votre fonction utilisateur ne modifie pas le type d'index, vous pouvez supprimer entièrement le paramètre index.

2. Si vous utilisez groupby.mf.apply_chunk dans le moteur DPE de MaxFrame, vérifiez votre fonction utilisateur. Si la fonction fait référence aux colonnes de groupe ou ne les filtre pas de la sortie, incluez explicitement les colonnes de groupe après groupby pour éviter qu'elles ne soient exclues de l'entrée de la fonction utilisateur. Par exemple, remplacez df.groupby("col").mf.apply_chunk(func) par df.groupby("col")[list(df.dtypes.index)].mf.apply_chunk(func).

Description

MaxFrame Coding Skill est officiellement publié et permet aux agents IA de développer intelligemment des tâches MaxFrame. Cette suite de compétences prend en charge la gestion des sessions MaxFrame, la recommandation d'opérateurs, la génération de code et le débogage interactif, aidant ainsi les développeurs à construire efficacement des pipelines de traitement de données à grande échelle sur MaxFrame.

Les agents IA peuvent orchestrer automatiquement des tâches de bout en bout, de la lecture des données au traitement, jusqu'à l'écriture des résultats. Combinée aux mécanismes d'exécution différée et de nettoyage des ressources de MaxFrame, Coding Skill garantit la stabilité des tâches et l'optimisation des performances. En décrivant vos besoins en langage naturel, vous pouvez générer du code exécutable, abaissant considérablement la barrière à l'entrée du traitement distribué des données pour une expérience de développement Data + AI fluide.

Pour plus d'informations, consultez la rubrique MaxFrame Coding Skill.

Description

• Prise en charge ajoutée pour les modèles commerciaux d'Alibaba Cloud Model Studio (qwen3-max et text-embedding-v4).

• Introduction de la facturation basée sur les jetons (paiement à l'utilisation), réduisant encore le coût et la complexité de l'inférence de modèles hors ligne à grande échelle.

Aucune gestion ni maintenance du déploiement des modèles n'est requise. Il suffit d'appeler les ressources de modèle Model Studio via les interfaces AI Function pour effectuer une inférence par lots sur des données à grande échelle. Combiné aux capacités de traitement distribué des données de MaxFrame, cela permet un développement Data+AI de bout en bout.

Pour plus d'informations, consultez la rubrique MaxFrame AI Function.

Description

Pour répondre aux besoins croissants en matière de traitement de données multimodales, MaxFrame introduit un nouveau module d'opérateurs de traitement de données multimodales. Cette version ajoute des opérateurs intégrés de traitement d'image qui prennent en charge le traitement distribué de données image à grande échelle.

• image.decode pour décoder les données image ;

• image.width, image.height, image.size, image.mode et image.format pour extraire les propriétés de l'image ;

• Décodage d'image de bout en bout, extraction des propriétés, filtrage par taille, mise à l'échelle, recadrage et conversion de format.

Il n'est pas nécessaire de configurer un service de traitement d'image distinct. Vous pouvez nettoyer et prétraiter efficacement les données image directement dans les DataFrames MaxFrame.

Description

MaxFrame introduit le mode de débogage local. Auparavant, le débogage de fonctions telles que apply() et apply_chunk() nécessitait la soumission du code à un cluster distant, et chaque modification de code exigeait une nouvelle soumission.

Avec le mode de débogage local :

• Les fonctions UDF MaxFrame peuvent être exécutées directement dans un environnement Python local.

• Le débogage avec points d'arrêt dans l'IDE est pris en charge et le mode fonctionne entièrement hors ligne.

• Le même code s'exécute sans modification aussi bien en débogage local qu'en environnement de production sur cluster.

Pour plus d'informations, consultez la rubrique Mode de débogage local MaxFrame.

Description

MaxFrame prend désormais en charge les images personnalisées dans le DPE (Distributed Python Engine), vous permettant d'utiliser des dépendances et des environnements d'exécution spécifiques.

Spécifiez un nom d'image via les options de configuration, par exemple : {"odps.session.image": "maxframe_image_v1"}, pour charger un environnement d'exécution avec des dépendances préinstallées dans l'environnement de calcul distribué MaxFrame. Cela élimine le besoin d'installer des dépendances à chaque exécution de tâche, améliorant considérablement l'efficacité et la flexibilité du développement.

Pour plus d'informations, consultez la rubrique Images personnalisées.

Description

MaxFrame améliore sa fonctionnalité de montage de données OSS en prenant en charge le montage de plusieurs buckets OSS et la configuration de préfixes de chemin. Le décorateur @with_fs_mount permet désormais de monter simultanément plusieurs buckets OSS ou différents préfixes de chemin d'un même bucket, offrant une adaptation flexible à des structures d'organisation de données complexes. De plus, le nouveau paramètre cache_memory_limit vous permet de configurer la limite de cache mémoire pour les points de montage, contrôlant efficacement l'utilisation des ressources et améliorant les performances et la stabilité lors de la lecture de fichiers à grande échelle.

Pour plus d'informations, consultez la rubrique Fonctionnalité de montage OSS (aperçu invitational).

Description

Le moteur DPE de MaxFrame ajoute la configuration d'une liste blanche d'accès réseau pour contrôler les permissions d'accès réseau lors de l'exécution des UDF MaxFrame.

Options de configuration :

• substep.public_network_whitelist : Liste blanche d'accès au réseau public. Permet l'accès aux services publics externes tels que les API et les services de modèles.

• substep.internal_network_whitelist : Liste blanche d'accès au réseau interne. Permet l'accès aux services de réseau interne Alibaba Cloud tels que les endpoints internes OSS.

Pour plus d'informations, consultez la rubrique Guide de configuration des indicateurs MaxFrame.