MaxCompute:Best practices

Descripción de la función

• apply aplica una función personalizada a las filas o columnas de un DataFrame de MaxFrame. Admite operaciones vectorizadas sobre filas o columnas completas.

• apply_chunk es una API de bajo nivel proporcionada por MaxFrame. Aplica una función personalizada en paralelo a cada fragmento de datos de un DataFrame de MaxFrame. Es adecuada para escenarios avanzados que requieren operar directamente sobre las particiones físicas de un DataFrame distribuido. Se usa frecuentemente para optimizar el rendimiento o implementar lógica de cálculo personalizada.

Ejemplos de casos de uso

• Utilice apply para estandarizar campos, por ejemplo, para ocultar números de teléfono.

• Utilice apply_chunk para procesar en paralelo millones de rutas de imágenes y extraer sus metadatos.

Tutoriales

Best practices for using the MaxFrame apply_chunk operator

Descripción de la función

El procesamiento complejo de datos y los pipelines de trabajos suelen requerir recursos de CPU o GPU en distintos nodos de cómputo. MaxFrame admite la programación híbrida y el cálculo con recursos CU y GU. Dentro de una UDF de MaxFrame, puede solicitar recursos de cuota GU mediante etiquetas de recursos para tareas de cálculo de alto rendimiento (HPC).

Ejemplos de casos de uso

• Extracción y codificación de fotogramas de imágenes o videos.

• Procesamiento complejo de datos.

Tutoriales

• Antes de usar los recursos de cómputo de IA de MaxCompute, debe adquirir una cuota GU de MaxCompute. Para obtener más información, consulte Purchase and use MaxCompute AI compute resources.

• Using MaxFrame GU resources

Descripción de la función

MaxFrame AI Function es una solución integral en la plataforma Alibaba Cloud MaxCompute diseñada para escenarios de inference de LLM sin conexión. Sus funciones principales incluyen lo siguiente:

• Integración perfecta entre el procesamiento de datos y las capacidades de IA

  • Admite la interacción directa con LLM, como Qwen3-4B, a través de DataFrames de MaxFrame.

  • Proporciona las API generate y task para equilibrar flexibilidad y facilidad de uso.

• Programación de recursos GPU (GU)

  • Puede solicitar recursos GPU mediante gu_quota_name para adaptarse a modelos de distintos tamaños. Por ejemplo, un modelo de 4B requiere 2 GU.

• Llamadas administradas a LLM

  • Incluye una biblioteca de modelos integrada, como Qwen3-4B-Instruct-2507-FP8, y admite el ajuste de parámetros como temperature y max_tokens.

  • Admite programación concurrente a gran escala para optimizar el rendimiento de la inference por lotes.

Ejemplos de casos de uso

• Preguntas y respuestas de conocimiento

  • Descripción del escenario: responde preguntas en áreas como ciencias naturales, historia y tecnología. Admite varios idiomas y razonamientos complejos.

  • Aplicaciones típicas:

    • Cálculo científico: "What is the average distance between the Earth and the Sun?"

    • Eventos históricos: "In what year did the American Revolutionary War begin?"

    • Principios técnicos: "What is the core mechanism of the Transformer model?"

• Traducción de texto

  • Descripción del escenario: traduce texto entre idiomas. Admite la traducción entre chino e inglés y maneja terminología de áreas profesionales.

  • Aplicaciones típicas:

    • De chino a inglés: "How to relieve a headache?" → "How to relieve a headache?"

    • Traducción de textos legales o médicos: "The patient needs to take one aspirin tablet daily."

• Extracción de datos estructurados

  • Descripción del escenario: extrae entidades, propiedades o relaciones clave de texto no estructurado.

  • Aplicaciones típicas:

    • Extracción de entidades:

      • Entrada: "The iPhone 15 Pro is the latest flagship phone released by Apple."

      • Salida: {"product": "iPhone 15 Pro", "brand": "Apple", "type": "flagship phone"}

    • Análisis sintáctico de currículums:

      • Entrada: "Zhang San, 5 years of Java development experience, skilled in the Spring Boot framework."

      • Salida: {"name": "Zhang San", "skills": ["Java", "Spring Boot"], "experience": 5}

Tutoriales

• Best practices for developing with AI Function on GU

Descripción de la función

En los escenarios de análisis de datos, suele ser necesario usar trabajos de MaxFrame junto con almacenamiento de objetos persistente, como OSS. A continuación se presentan algunos ejemplos:

• Cargar datos sin procesar desde OSS para limpiarlos o procesarlos.

• Escribir resultados intermedios en OSS para que los consuman las tareas posteriores.

• Compartir recursos estáticos, como archivos de modelos entrenados y archivos de configuración.

Los métodos tradicionales de lectura y escritura, como pd.read_csv("oss://..."), resultan ineficientes en entornos distribuidos debido a los límites de rendimiento del SDK y a la sobrecarga de red. El montaje a nivel de sistema de archivos (FS Mount) le permite acceder a los archivos de OSS en MaxCompute como si estuvieran en un disco local. Esto mejora considerablemente la eficiencia del desarrollo.

Ejemplos de casos de uso

• Monte el directorio del bucket de OSS oss://maxframe-datasets/images/ en la ruta local de MaxCompute /data/imgs para su procesamiento posterior.

Tutoriales

• Best practices for mounting and using OSS