MaxCompute:Referenciar um pacote de terceiros em um nó PyODPS

Pré-requisitos

Antes de começar, verifique se você tem:

• MaxCompute ativado

• DataWorks ativado

Escolha um método

Selecione o método adequado ao seu cenário:

Carregar um pacote de terceiros

Antes de referenciar um pacote de terceiros, carregue-o no MaxCompute como recurso de arquivo compactado. Use um dos métodos a seguir:

• Carregamento via código. Substitua packages.tar.gz pelo caminho e nome do seu arquivo de pacote.

  import os
  from odps import ODPS
  
  # Load credentials from environment variables.
  # Avoid hardcoding your AccessKey ID or AccessKey secret in code.
  o = ODPS(
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
      project='<your-default-project>',
      endpoint='<your-end-point>',
  )
  o.create_resource("test_packed.tar.gz", "archive", fileobj=open("packages.tar.gz", "rb"))

• Carregamento via DataWorks. Consulte Etapa 1: Criar um recurso ou fazer upload de um recurso existente.

Referenciar um pacote de terceiros em uma UDF Python

Para usar um pacote de terceiros em uma função definida pelo usuário (UDF) Python, modifique a classe da UDF:

1. Adicione o caminho do pacote ao sys.path no método __init__.

2. Insira a instrução de importação no corpo da função (na função evaluate ou no método process).

Referenciar um pacote de terceiros no PyODPS DataFrame

Passe o parâmetro libraries para o método execute ou persist. O exemplo a seguir usa o método map. O procedimento é o mesmo para os métodos apply e map_reduce.

1. Empacote o SciPy.

   pyodps-pack -o scipy-bundle.tar.gz scipy

2. Execute o código a seguir para aplicar o pacote a uma operação de DataFrame. Este exemplo calcula psi(col1) em uma tabela chamada test_float_col, que possui uma única coluna do tipo FLOAT.

   import os
   from odps import ODPS, options
   
   def my_psi(v):
       from scipy.special import psi
   
       return float(psi(v))
   
   # Skip this setting if isolation is already enabled for your project.
   options.sql.settings = {"odps.isolation.session.enable": True}
   
   # Load credentials from environment variables.
   # Avoid hardcoding your AccessKey ID or AccessKey secret in code.
   o = ODPS(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='<your-default-project>',
       endpoint='<your-end-point>',
   )
   df = o.get_table("test_float_col").to_df()
   
   # Execute and return the result.
   df.col1.map(my_psi).execute(libraries=["scipy-bundle.tar.gz"])
   
   # Save the result to another table.
   df.col1.map(my_psi).persist("result_table", libraries=["scipy-bundle.tar.gz"])

   Os dados de entrada têm o seguinte formato:

      col1
   0  3.75
   1  2.51

3. (Opcional) Para usar o mesmo pacote em todas as operações de DataFrame na sessão, defina o parâmetro global.

   from odps import options
   options.df.libraries = ["scipy-bundle.tar.gz"]

Referenciar um pacote de terceiros no DataWorks

Um nó PyODPS do DataWorks fornece pacotes de terceiros integrados. Para usar um pacote não nativo, chame o método load_resource_package. Para mais detalhes, consulte Usar um pacote de terceiros.

Carregar e referenciar manualmente um pacote de terceiros

Siga estas instruções apenas para projetos existentes que já usam dependências WHL carregadas manualmente ou para ambientes com uma versão antiga do MaxCompute sem suporte a pacotes binários. Para novos projetos, use pyodps-pack .

Este exemplo usa python-dateutil no método map.

1. Baixe o python-dateutil e suas dependências para um diretório local. Execute este comando no Linux para garantir a compatibilidade dos pacotes com o sistema operacional Linux.

   pip download python-dateutil -d /to/path/

   Dois pacotes são baixados: six-1.10.0-py2.py3-none-any.whl e python_dateutil-2.5.3-py2.py3-none-any.whl.

2. Carregue os pacotes no MaxCompute.

   • Método 1: Usar código.

     # Make sure the file name extensions are valid.
     odps.create_resource('six.whl', 'file', file_obj=open('six-1.10.0-py2.py3-none-any.whl', 'rb'))
     odps.create_resource('python_dateutil.whl', 'file', file_obj=open('python_dateutil-2.5.3-py2.py3-none-any.whl', 'rb'))

   • Método 2: Usar DataWorks. Consulte Etapa 1: Criar um recurso ou fazer upload de um recurso existente.

3. Referencie os pacotes no código. Este exemplo analisa strings de data de uma coluna de DataFrame.

   • Definir bibliotecas globalmente:

     from odps import options
     
     def get_year(t):
         from dateutil.parser import parse
         return parse(t).strftime('%Y')
     
     options.df.libraries = ['six.whl', 'python_dateutil.whl']
     df.datestr.map(get_year).execute()

     Saída:

        datestr
     0     2016
     1     2015

   • Passar bibliotecas por chamada:

     def get_year(t):
         from dateutil.parser import parse
         return parse(t).strftime('%Y')
     
     df.datestr.map(get_year).execute(libraries=['six.whl', 'python_dateutil.whl'])

     Saída:

        datestr
     0     2016
     1     2015

# Binary packages must be uploaded as archive resources.
# Rename the .whl file to .zip before uploading.
odps.create_resource('scipy.zip', 'archive', file_obj=open('scipy-0.19.0-cp27-cp27m-manylinux1_x86_64.whl', 'rb'))

# Skip this setting if isolation is already enabled for your project.
options.sql.settings = { 'odps.isolation.session.enable': True }

def my_psi(value):
    # Place the import statement inside the function to avoid runtime errors
    # caused by structural differences in binary packages across operating systems.
    from scipy.special import psi
    return float(psi(value))

df.float_col.map(my_psi).execute(libraries=['scipy.zip'])

python setup.py bdist_wheel