MaxCompute:Bonnes pratiques

description de la fonctionnalité

• apply applique une fonction personnalisée aux lignes ou colonnes d'un DataFrame MaxFrame. Il prend en charge les opérations vectorisées sur des lignes ou des colonnes entières.

• apply_chunk est une API de bas niveau fournie par MaxFrame. Elle applique une fonction personnalisée en parallèle à chaque bloc de données d'un DataFrame MaxFrame. Elle convient aux scénarios avancés nécessitant des opérations directes sur les shards physiques d'un DataFrame distribué et est souvent utilisée pour l'optimisation des performances ou la logique de calcul personnalisée.

Exemples de cas d'utilisation

• Utilisez apply pour normaliser des champs, tels que le masquage des numéros de téléphone.

• Utilisez apply_chunk pour traiter des millions de chemins d'images en parallèle et extraire les métadonnées.

Tutoriels

Bonnes pratiques pour l'utilisation de l'opérateur MaxFrame apply_chunk

description de la fonctionnalité

Le traitement complexe des données et les pipelines de jobs nécessitent souvent des ressources CPU ou GPU sur différents nœuds de calcul. MaxFrame prend en charge la planification et le calcul hybrides des ressources CU et GU. Dans une UDF MaxFrame, vous pouvez demander des ressources de quota GU à l'aide de tags de ressource pour les tâches de calcul haute performance (HPC).

Exemples de cas d'utilisation

• Extraction et encodage d'images ou de trames vidéo

• Traitement complexe des données

Tutoriels

• Avant de pouvoir utiliser les ressources de calcul AI MaxCompute, vous devez acheter un quota GU MaxCompute. Pour plus d'informations, consultez Achat et utilisation des ressources de calcul AI MaxCompute.

• Utilisation des ressources GU MaxFrame

description de la fonctionnalité

MaxFrame AI Function est une solution de bout en bout sur la plateforme Alibaba Cloud MaxCompute pour les scénarios d'inférence LLM hors ligne. Ses fonctionnalités principales incluent les éléments suivants :

• Intégration transparente du traitement des données et des capacités AI

  • Prend en charge l'interaction directe avec les LLM, tels que Qwen3-4B, via les DataFrames MaxFrame.

  • Fournit les API generate et task pour équilibrer flexibilité et facilité d'utilisation.

• Planification des ressources GPU (GU)

  • Vous pouvez demander des ressources GPU en utilisant gu_quota_name pour accommoder des modèles de différentes tailles. Par exemple, un modèle 4B nécessite 2 GU.

• Appels LLM gérés

  • Bibliothèque de modèles intégrée, telle que Qwen3-4B-Instruct-2507-FP8, avec support pour le réglage des paramètres, tels que temperature et max_tokens.

  • Prend en charge la planification concurrente à grande échelle pour optimiser les performances d'inférence par lots.

Exemples de cas d'utilisation

• Questions-réponses sur les connaissances

  • description du scénario : Répond aux questions dans des domaines tels que les sciences naturelles, l'histoire et la technologie. Prend en charge plusieurs langues et le raisonnement complexe.

  • Applications typiques :

    • Calcul scientifique : "What is the average distance between the Earth and the Sun?"

    • Événements historiques : "In what year did the American Revolutionary War begin?"

    • Principes techniques : "What is the core mechanism of the Transformer model?"

• Traduction de texte

  • description du scénario : Traduit du texte entre les langues. Prend en charge la traduction chinois-anglais et gère la terminologie dans des domaines professionnels.

  • Applications typiques :

    • Chinois vers anglais : "How to relieve a headache?" → "How to relieve a headache?"

    • Traduction de textes juridiques/médicaux : "The patient needs to take one aspirin tablet daily."

• Extraction de données structurées

  • description du scénario : Extrait des entités, propriétés ou relations clés à partir de texte non structuré.

  • Applications typiques :

    • Extraction d'entités :

      • Entrée : "The iPhone 15 Pro is the latest flagship phone released by Apple."

      • Sortie : {"product": "iPhone 15 Pro", "brand": "Apple", "type": "flagship phone"}

    • Analyse de CV :

      • Entrée : "Zhang San, 5 years of Java development experience, skilled in the Spring Boot framework."

      • Sortie : {"name": "Zhang San", "skills": ["Java", "Spring Boot"], "experience": 5}

Tutoriels

• Bonnes pratiques pour le développement avec AI Function sur GU

description de la fonctionnalité

Dans les scénarios d'analyse de données, vous devez souvent utiliser des jobs MaxFrame avec un stockage d'objets persistant, tel qu'OSS. Par exemple :

• Chargez des données brutes depuis OSS pour le nettoyage ou le traitement.

• Écrivez les résultats intermédiaires dans OSS pour consommation par les tâches en aval.

• Partagez des ressources statiques telles que les fichiers de modèles entraînés et les fichiers de configuration.

Les méthodes traditionnelles de lecture et d'écriture, telles que pd.read_csv("oss://..."), sont inefficaces dans les environnements distribués en raison des limites de performance du SDK et de la surcharge réseau. Le montage au niveau du système de fichiers (FS Mount) vous permet d'accéder aux fichiers OSS dans MaxCompute comme s'il s'agissait de fichiers sur disque local. Cela améliore considérablement l'efficacité du développement.

Exemples de cas d'utilisation

• Montez le répertoire du bucket OSS oss://maxframe-datasets/images/ sur le chemin MaxCompute local /data/imgs pour un traitement ultérieur.

Tutoriels

• Bonnes pratiques pour le montage et l'utilisation d'OSS