MaxCompute:Best practices

Descrição do recurso

• O operador apply aplica uma função personalizada às linhas ou colunas de um DataFrame do MaxFrame e aceita operações vetorizadas em linhas ou colunas inteiras.

• O apply_chunk é uma API de baixo nível fornecida pelo MaxFrame. Aplica uma função personalizada em paralelo a cada chunk de dados de um DataFrame do MaxFrame. Indicado para cenários avançados que exigem operações diretas nos shards físicos de um DataFrame distribuído, sendo frequentemente usado para otimização de desempenho ou lógica de computação personalizada.

Exemplos de casos de uso

• Use apply para padronizar campos, como mascarar números de telefone.

• Use apply_chunk para processar milhões de caminhos de imagens em paralelo e extrair metadados.

Tutoriais

Best practices for using the MaxFrame apply_chunk operator

Descrição do recurso

Pipelines de jobs e processamento complexo de dados frequentemente demandam recursos de CPU ou GPU em diferentes nós de computação. O MaxFrame oferece agendamento híbrido e computação de recursos CU e GU. Em uma UDF do MaxFrame, solicite recursos de GU Quota usando tags de recurso para tarefas de computação de alto desempenho (HPC).

Exemplos de casos de uso

• Extração e codificação de frames de imagem ou vídeo

• Processamento complexo de dados

Tutoriais

• Antes de usar recursos de computação de IA do maxcompute, adquira uma GU Quota do maxcompute. Para mais informações, consulte Purchase and use MaxCompute AI compute resources.

• Using MaxFrame GU resources

Descrição do recurso

O MaxFrame AI Function é uma solução ponta a ponta na plataforma Alibaba Cloud maxcompute para cenários de inferência offline de LLM. Seus principais recursos incluem:

• Integração perfeita entre processamento de dados e capacidades de IA

  • Permite interação direta com LLMs, como o Qwen3-4B, por meio de DataFrames do MaxFrame.

  • Oferece as APIs generate e task para equilibrar flexibilidade e facilidade de uso.

• Agendamento de recursos GPU (GU)

  • Solicite recursos GPU usando gu_quota_name para acomodar modelos de diferentes tamanhos. Por exemplo, um modelo 4B requer 2 GUs.

• Chamadas gerenciadas de LLM

  • Biblioteca de modelos integrada, como Qwen3-4B-Instruct-2507-FP8, com suporte para ajuste de parâmetros como temperature e max_tokens.

  • Oferece agendamento concorrente em larga escala para otimizar o desempenho da inferência em lote.

Exemplos de casos de uso

• Perguntas e respostas de conhecimento

  • Descrição do cenário: Responde a perguntas em áreas como ciências naturais, história e tecnologia. Aceita vários idiomas e raciocínio complexo.

  • Aplicações típicas:

    • Computação científica: "What is the average distance between the Earth and the Sun?"

    • Eventos históricos: "In what year did the American Revolutionary War begin?"

    • Princípios técnicos: "What is the core mechanism of the Transformer model?"

• Tradução de texto

  • Descrição do cenário: Traduz texto entre idiomas. Oferece tradução chinês-inglês e lida com terminologia de áreas profissionais.

  • Aplicações típicas:

    • Chinês para inglês: "How to relieve a headache?" → "How to relieve a headache?"

    • Tradução de textos jurídicos/médicos: "The patient needs to take one aspirin tablet daily."

• Extração de dados estruturados

  • Descrição do cenário: Extrai entidades-chave, propriedades ou relacionamentos de texto não estruturado.

  • Aplicações típicas:

    • Extração de entidades:

      • Entrada: "The iPhone 15 Pro is the latest flagship phone released by Apple."

      • Saída: {"product": "iPhone 15 Pro", "brand": "Apple", "type": "flagship phone"}

    • Análise de currículos:

      • Entrada: "Zhang San, 5 years of Java development experience, skilled in the Spring Boot framework."

      • Saída: {"name": "Zhang San", "skills": ["Java", "Spring Boot"], "experience": 5}

  Tutoriais

  • Best practices for developing with AI Function on GU

  Melhores práticas para montagem e uso do OSS

  Para melhorar o desempenho, combine este recurso com apply_chunk para implementar leitura paralela.

  Descrição do recurso

  Em cenários de análise de dados, é comum precisar usar jobs do MaxFrame com armazenamento de objetos persistente, como o OSS. Por exemplo:

  • Carregar dados brutos do OSS para limpeza ou processamento.

  • Gravar resultados intermediários no OSS para consumo por tarefas downstream.

  • Compartilhar recursos estáticos, como arquivos de modelos treinados e arquivos de configuração.

  Métodos tradicionais de leitura e gravação, como pd.read_csv("oss://..."), são ineficientes em ambientes distribuídos devido aos limites de desempenho do sdk e à sobrecarga de rede. A montagem no nível do sistema de arquivos (FS Mount) permite acessar arquivos do OSS no maxcompute como se fossem arquivos de disco local, o que aumenta consideravelmente a eficiência do desenvolvimento.

  Exemplos de casos de uso

  • Monte o diretório do bucket OSS oss://maxframe-datasets/images/ no caminho local do maxcompute /data/imgs para processamento subsequente.

  Tutoriais

  • Best practices for mounting and using OSS