MaxCompute:Notas de versão

Descrição

A partir do SDK do MaxFrame 2.6, o comportamento do DataFrameGroupBy.mf.apply_chunk muda. Esta atualização simplifica o parâmetro de índice e unifica o comportamento entre os mecanismos DPE e MaxCompute SQL. O novo comportamento é controlado pelo parâmetro prepend_index_group_keys, cujo valor padrão é False para manter a compatibilidade com versões anteriores, mas passará a ser True em uma versão futura.

• Antes do SDK do MaxFrame 2.6

  O DataFrameGroupBy.mf.apply_chunk do MaxFrame exigia que você especifique o formato completo do Index do DataFrame de saída no parâmetro index. Por exemplo:

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  # In SDK 2.5 and earlier, you must specify all output fields. Here, year is the group key specified in groupby.
  expect_index = pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      index=expect_index,
      output_type="dataframe",
      skip_infer=True
  )

  Além disso, devido a um problema de implementação, as colunas recebidas pelas funções do usuário no mecanismo DPE do MaxFrame incluíam as chaves de grupo, enquanto as do mecanismo MaxCompute SQL não.

• SDK do MaxFrame 2.6 e versões posteriores

  O exemplo acima fica da seguinte forma:

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      skip_infer=True,
      prepend_index_group_keys=True,
  )

  Definir prepend_index_group_keys como True ativa o novo comportamento. Com esse comportamento, o DataFrame de entrada passado para as funções do usuário nos mecanismos DPE e MaxCompute SQL não inclui mais as chaves de grupo por padrão. Além disso, o parâmetro index passado para apply_chunk agora representa apenas o tipo de Index da saída da função do usuário, e não o Index do objeto de saída do apply_chunk. A relação com o Index final depende dos parâmetros da função groupby, conforme a tabela abaixo:

  Parâmetro	group_keys=True (padrão)	group_keys=False
  as_index=True (padrão)	Adiciona as colunas de grupo de entrada como Index antes do Index do usuário	Não adiciona nenhuma coluna como Index
  as_index=False	Adiciona o ID do grupo como Index antes do Index do usuário (apenas DPE)

Guia de migração:

Adicione prepend_index_group_keys=True às chamadas groupby.mf.apply_chunk e faça as seguintes alterações:

1. Se especificar o parâmetro index, remova as chaves de grupo dele. Por exemplo, altere pd.MultiIndex.from_tuples([(0, 0)], names=["year", None]) para pd.Index([0]). Se a função do usuário não alterar o tipo de Index, remova totalmente o parâmetro index.

2. Se usar groupby.mf.apply_chunk no mecanismo DPE do MaxFrame, verifique a função do usuário. Se a função referenciar colunas de grupo ou não as filtrar na saída, inclua explicitamente as colunas de grupo após o groupby para evitar que sejam excluídas da entrada da função. Por exemplo, altere df.groupby("col").mf.apply_chunk(func) para df.groupby("col")[list(df.dtypes.index)].mf.apply_chunk(func).

Descrição

O MaxFrame Coding Skill foi lançado oficialmente e capacita agentes de IA a desenvolver jobs do MaxFrame de forma inteligente. Esse conjunto de habilidades oferece suporte ao gerenciamento de sessões do MaxFrame, à recomendação de operadores, à geração de código e à depuração interativa. Isso ajuda os desenvolvedores a criar pipelines de processamento de dados em grande escala no MaxFrame com mais eficiência.

Os agentes de IA podem orquestrar automaticamente jobs de ponta a ponta, desde a leitura e o processamento de dados até a gravação dos resultados. Em combinação com os mecanismos de execução adiada e limpeza de recursos do MaxFrame, o Coding Skill garante a estabilidade do job e a otimização de desempenho. Ao descrever os requisitos em linguagem natural, você gera código executável. Isso reduz significativamente a barreira para o processamento distribuído de dados e proporciona uma experiência de desenvolvimento de Data + AI perfeita.

Para obter mais informações, consulte MaxFrame Coding Skill.

Descrição

• Adição de suporte aos modelos comerciais do Alibaba Cloud Model Studio (qwen3-max e text-embedding-v4).

• Introdução do faturamento baseado em tokens (pagamento conforme o uso), o que reduz ainda mais o custo e a barreira para inferência de modelos offline em grande escala.

Não é necessário gerencie a implantação nem a manutenção do modelo. Basta chamar os recursos de modelo do Model Studio pelas interfaces do AI Function para execute inferência em lote sobre dados em grande escala. Em combinação com os recursos de processamento de dados distribuídos do MaxFrame, isso permite o desenvolvimento de Data+AI de ponta a ponta.

Para obter mais informações, consulte MaxFrame AI Function.

Descrição

Para atender à crescente demanda por processamento de dados multimodais, o MaxFrame introduz um novo módulo de operadores para essa finalidade. Esta versão adiciona operadores integrados de processamento de imagens com suporte ao processamento distribuído de dados de imagem em grande escala.

• image.decode para decodificar dados de imagem;

• image.width, image.height, image.size, image.mode e image.format para extrair propriedades da imagem;

• Decodificação de imagem de ponta a ponta, extração de propriedades, filtragem por tamanho, redimensionamento, recorte e conversão de formato.

Não é necessário configure um service separado de processamento de imagens. É possível limpar e pré-processar dados de imagem de forma eficiente diretamente nos DataFrames do MaxFrame.

Descrição

O MaxFrame introduz o Local Debug Mode. Anteriormente, a depuração de funções como apply() e apply_chunk() exigia o envio de código para um cluster remoto, e cada alteração no código exigia um novo envio.

Com o Local Debug Mode:

• É possível executar funções UDF do MaxFrame diretamente em um ambiente Python local.

• Há suporte para depuração com breakpoints na IDE, e o modo funciona totalmente offline.

• O mesmo código é executado perfeitamente tanto na depuração local quanto nos ambientes de produção do cluster, sem necessidade de modificações.

Para obter mais informações, consulte MaxFrame local debug mode.

Descrição

O MaxFrame agora oferece suporte a imagens personalizadas no DPE (Distributed Python Engine), o que permite o uso de dependências e ambientes de execução específicos.

especifique um nome de imagem pelas opções de configuração, por exemplo: {"odps.session.image": "maxframe_image_v1"}, para carregar um ambiente de execução com dependências pré-instaladas no ambiente de computação distribuída do MaxFrame. Isso elimina a necessidade de instale dependências a cada execução de tarefa e melhora significativamente a eficiência e a flexibilidade do desenvolvimento.

Para obter mais informações, consulte Custom images.

Descrição

O MaxFrame aprimora o recurso de montagem de dados do OSS com suporte à montagem de vários buckets do OSS e à configuração de prefixos de caminho. O decorador @with_fs_mount agora permite montar vários buckets do OSS ou diferentes prefixos de caminho do mesmo bucket simultaneamente, o que proporciona uma adaptação flexível a estruturas complexas de organização de dados. Além disso, o novo parâmetro cache_memory_limit permite configure o limite de cache de memória para pontos de montagem. Isso controla efetivamente o uso de recursos e melhora o desempenho e a estabilidade ao ler arquivos em grande escala.

Para obter mais informações, consulte OSS mount feature (Invitational Preview).

Descrição

O mecanismo DPE do MaxFrame adiciona a configuração de lista de permissões de rede para controlar as permissões de acesso durante a execução de UDFs do MaxFrame.

Opções de configuração:

• substep.public_network_whitelist: Lista de permissões de acesso à rede pública. Permite o acesso a service externos de rede pública, como APIs e service de modelo.

• substep.internal_network_whitelist: Lista de permissões de acesso à rede interna. Permite o acesso a service de rede interna da Alibaba Cloud, como endpoints internos do OSS.

Para obter mais informações, consulte MaxFrame flag configuration guide.