MaxCompute:PyODPS

Os cenários de aplicação do PyODPS incluem:

• Guia de início rápido do DataFrame.

• Leitura de dados de tabela particionada com PyODPS.

• Passagem de parâmetros no PyODPS.

• Referência a pacotes de terceiros em um nó PyODPS.

• Consulta de partição de nível 1 com PyODPS.

• Consultas condicionais no PyODPS.

• Operações de sequência e execução no PyODPS.

Use o PyODPS em ambientes locais, no DataWorks ou nos PAI Notebooks.

• Ambiente local: instale e use o PyODPS em sua máquina. Para instruções detalhadas, consulte Uso do PyODPS em ambiente local.

• DataWorks: os nós PyODPS no DataWorks já vêm com o pacote PyODPS pré-instalado. Desenvolva e execute periodicamente tarefas PyODPS diretamente nesses nós. Para orientações, consulte Uso do PyODPS no DataWorks.

• PAI Notebooks: o ambiente Python do PAI também suporta a instalação e execução do PyODPS. As imagens integradas do PAI já incluem o PyODPS pronto para uso, inclusive em componentes Python personalizados no PAI-Designer. A utilização nos PAI Notebooks segue essencialmente o padrão geral. Consulte Visão geral das operações básicas e DataFrame (não recomendado).

O PyODPS, como SDK, executa em diversos clientes, incluindo PCs, nós PyODPS de desenvolvimento de dados no DataWorks ou ambientes de execução dos PAI Notebooks. O PyODPS oferece várias operações práticas para trazer dados ao ambiente local, como downloads via tunnel, operações execute e to_pandas. Por isso, muitos usuários iniciantes tentam puxar os dados para a máquina local, processá-los e depois fazer o upload de volta ao MaxCompute. Na maioria dos casos, essa abordagem é altamente ineficiente, pois elimina completamente a vantagem da capacidade de processamento paralelo em larga escala do MaxCompute.

A seguir, apresentamos um exemplo de segmentação de texto para comparar o código das duas abordagens.

• Cenário de exemplo

  Um usuário precisa analisar strings de log geradas diariamente para extrair informações específicas. Existe uma tabela com apenas uma coluna do tipo string. Com a biblioteca jieba, é possível segmentar frases em chinês, identificar palavras-chave desejadas e armazená-las em uma tabela de informações.

• Exemplo de código ineficiente

  import jieba
  t = o.get_table('word_split')
  out = []
  with t.open_reader() as reader:
      for r in reader:
          words = list(jieba.cut(r[0]))
          #
          # 处理逻辑，产生出 processed_data
          #
          out.append(processed_data)
  out_t = o.get_table('words')
  with out_t.open_writer() as writer:
      writer.write(out)

  Mentalidade de processamento de dados em máquina única: leitura linha a linha, processamento individual e gravação sequencial na tabela de destino. Durante todo o fluxo, o download e o upload de dados consomem muito tempo. Além disso, a máquina que executa o script precisa de grande quantidade de memória para lidar com todos os dados. Usuários de nós DataWorks, em particular, enfrentam alto risco de erros OOM por ultrapassarem o limite de memória alocado por padrão.

• Exemplo de código eficiente

  from odps.df import output
  out_table = o.get_table('words')
  df = o.get_table('word_split').to_df()
  
  # 假定需要返回的字段及类型如下
  out_names = ["word", "count"]
  out_types = ["string", "int"]
  
  @output(out_names, out_types)
  def handle(row):
      import jieba
      words = list(jieba.cut(row[0]))
      #
      # 处理逻辑，产生出 processed_data
      #
      yield processed_data
  df.apply(handle, axis=1).persist(out_table.name)

  Implementação de execução distribuída utilizando apply:

  • Toda a lógica complexa reside na função handle. Essa função é serializada automaticamente e enviada ao servidor para uso como UDF, sendo executada remotamente. Como a execução no servidor também processa cada linha individualmente, não há diferença lógica. A vantagem é que, ao enviar o programa para execução no MaxCompute, várias máquinas processam os dados simultaneamente, economizando tempo significativo.

  • A chamada à interface persist grava os dados gerados diretamente em outra tabela do MaxCompute. Tanto a produção quanto o consumo dos dados ocorrem inteiramente dentro do cluster MaxCompute, poupando rede e memória locais.

  • Este exemplo também utiliza pacotes de terceiros. O MaxCompute permite o uso desses pacotes em funções personalizadas (como jieba no exemplo). Portanto, não se preocupe com custos de refatoração: aproveite a capacidade de computação em larga escala do MaxCompute sem precisar alterar a lógica principal do código.