MaxCompute:Uso do PyODPS no DataWorks

Em um nó PyODPS, o DataWorks fornece uma variável global, odps ou o, como ponto de entrada do MaxCompute. Não é necessário defini-la manualmente.

# Check whether the pyodps_iris table exists.
print(o.exist_table('pyodps_iris'))

O código retorna True, indicando que a tabela pyodps_iris existe.

• Execute instruções SQL em um nó PyODPS usando métodos como execute_sql() ou run_sql(). Esses métodos suportam principalmente instruções de Linguagem de Definição de Dados (DDL) e Linguagem de Manipulação de Dados (DML).

  Nota

  Os métodos execute_sql() e run_sql() não suportam todas as instruções SQL. Para instruções que não sejam DDL ou DML, utilize outros métodos. Por exemplo, use o método run_security_query para executar instruções GRANT ou REVOKE, e use o método run_xflow ou execute_xflow para executar comandos de API.

• Para ler resultados de execução SQL em um nó PyODPS, utilize open_reader().

Para mais informações sobre operações relacionadas a SQL em um nó PyODPS, consulte SQL.

Por motivos de compatibilidade histórica, o Instance Tunnel não vem ativado por padrão no DataWorks. Como resultado, instance.open_reader usa a interface Result por padrão, limitada a 10.000 registros e com problemas conhecidos em tipos de dados complexos. Se seu projeto não possuir um mecanismo de proteção de dados e você precisar iterar sobre todos os dados ou ler tipos complexos como Array, ative o Instance Tunnel e desative o limit.

• Desativar o limit em tempo de execução

  Utilize a seguinte instrução para ativar o Instance Tunnel globalmente e remover a restrição do limit.

  options.tunnel.use_instance_tunnel = True
  options.tunnel.limit_instance_tunnel = False  # Disable the limit to read all data.
  with instance.open_reader() as reader:
      # You can read all data through Instance Tunnel.
      # You can use reader.count to get the record count.

• Desativar o limit apenas para o Reader atual

  Adicione tunnel=True ao open_reader para ativar o instance tunnel apenas na chamada atual do open_reader. Adicione limit=False para desativar a restrição do limit nessa chamada específica.

  with instance.open_reader(tunnel=True, limit=False) as reader:
      # This open_reader call uses the Instance Tunnel interface and can read all data.

Para mais informações sobre o Instance Tunnel e limites de leitura de dados, consulte Ler resultados de execução SQL.

Em um nó PyODPS, os parâmetros de agendamento permitem obter valores como a data de negócios de uma execução de tarefa. Embora a definição e o uso dos parâmetros de agendamento sejam iguais aos dos nós SQL, a forma de referenciá-los no código é diferente.

• Os nós SQL utilizam uma string como ${param_name} diretamente no código.

• Em vez de substituir strings para ${param_name}, o DataWorks adiciona um dicionário global chamado args antes da execução do nó. Obtenha o valor de um parâmetro de agendamento acessando esse dicionário, por exemplo, args[param_name].

Por exemplo, se você definir o parâmetro de agendamento ds=${yyyymmdd} no painel Basic properties > Parameters, recupere esse parâmetro no código da seguinte forma:

• Obtenha o valor do parâmetro ds.

  print('ds=' + args['ds'])
  # Returns the time of ds, for example, ds=20161116

• Obtenha dados de uma tabela em uma partição chamada ds=${yyyymmdd}.

  o.get_table('table_name').get_partition('ds=' + args['ds'])
  # Obtain data from the ds partition of the table_name table.

Para definir parâmetros de tempo de execução para uma tarefa, utilize o parâmetro hints, que aceita um dict.

o.execute_sql('select * from pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

Também é possível definir sql.settings globalmente. Uma vez configuradas, essas definições são aplicadas automaticamente a cada execução.

from odps import options
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('select * from pyodps_iris')  # Hints are added based on the global configuration.

Os nós do DataWorks vêm pré-instalados com os seguintes pacotes de terceiros.

Caso precise de um pacote não pré-instalado, utilize o método load_resource_package para carregar um pacote de terceiros a partir de um recurso do MaxCompute. Primeiro, crie um arquivo de pacote com pyodps-pack e, em seguida, use load_resource_package para carregá-lo antes de importar seu conteúdo. Para mais informações sobre pyodps-pack, consulte Criar um pacote de terceiros para PyODPS e Usar um pacote de terceiros no PyODPS.

Exemplo:

1. Utilize o seguinte comando para empacotar o ipaddress.

   pyodps-pack -o ipaddress-bundle.tar.gz ipaddress

2. Após fazer upload e enviar ipaddress-bundle.tar.gz como recurso, utilize o pacote ipaddress em um nó PyODPS 3 da seguinte maneira:

   load_resource_package("ipaddress-bundle.tar.gz")
   import ipaddress

O DataWorks limita o tamanho total dos pacotes baixados a 100 MB. Para excluir pacotes pré-instalados do seu bundle, utilize o parâmetro --exclude do pyodps-pack. Por exemplo, o comando abaixo exclui numpy e pandas.

pyodps-pack -o bundle.tar.gz --exclude numpy --exclude pandas <YOUR_PACKAGE>

Procedimento

1. Conceda ao outro usuário as permissões necessárias no projeto. Para mais informações, consulte Apêndice: Conceder permissões a outra conta.

2. No nó PyODPS, utilize o método as_account para trocar de conta e criar um novo objeto de ponto de entrada.

   import os
   # Make sure the ALIBABA_CLOUD_ACCESS_KEY_ID environment variable is set to your AccessKey ID,
   # and the ALIBABA_CLOUD_ACCESS_KEY_SECRET environment variable is set to your AccessKey Secret.
   # We recommend that you do not use the AccessKey ID and AccessKey Secret strings directly.
   new_odps = o.as_account(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
   )

3. Verifique se a conta foi trocada.

   Consulte as informações do usuário atual adicionando a seguinte instrução. Se a saída mostrar o UID do outro usuário, a troca de conta foi bem-sucedida.

   print(new_odps.get_project().current_user)

   Nota

   new_odps representa o objeto de ponto de entrada para a nova conta.

Exemplo

1. Crie uma tabela e importe dados.

   1. Baixe o conjunto de dados Iris iris.data e renomeie-o para iris.csv.

   2. Crie uma tabela chamada pyodps_iris e faça upload do conjunto de dados iris.csv. Para instruções, consulte Criar uma tabela e fazer upload de dados.

      Abaixo está a instrução de criação da tabela.

      CREATE TABLE if not exists pyodps_iris
      (
      sepallength  DOUBLE comment 'sepal length (cm)',
      sepalwidth   DOUBLE comment 'sepal width (cm)',
      petallength  DOUBLE comment 'petal length (cm)',
      petalwidth   DOUBLE comment 'petal width (cm)',
      name         STRING comment 'species'
      );

2. Crie um nó ODPS SQL para conceder as permissões necessárias. Para mais informações, consulte Apêndice: Conceder permissões a outra conta.

3. Crie um nó PyODPS para trocar de conta. O código abaixo serve como exemplo. Para mais informações, consulte Desenvolver uma tarefa PyODPS 3.

   from odps import ODPS
   import os
   import sys
   # Make sure the ALIBABA_CLOUD_ACCESS_KEY_ID environment variable is set to the user's AccessKey ID,
   # and the ALIBABA_CLOUD_ACCESS_KEY_SECRET environment variable is set to the user's AccessKey Secret.
   # We recommend that you do not use the AccessKey ID and AccessKey Secret strings directly.
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID'] = '<AccessKey ID>'
   os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET'] = '<AccessKey Secret>'
   od = o.as_account(os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'), 
            os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET')
           )
   iris = DataFrame(od.get_table('pyodps_iris'))
   # Print the output by using a conditional statement.
   with od.execute_sql('select * from pyodps_iris WHERE sepallength > 5 ').open_reader() as reader4:
       print(reader4.raw)
       for record in reader4:
           print(record["sepallength"],record["sepalwidth"],record["petallength"],record["petalwidth"],record["name"])
   # Print the UID of the current user.
   print(od.get_project().current_user)

4. Execute o código e visualize o resultado.

   Executing user script with PyODPS 0.11.4.post0
   "sepallength","sepalwidth","petallength","petalwidth","name"
   5.4,3.9,1.7,0.4,"Iris-setosa"
   5.4,3.7,1.5,0.2,"Iris-setosa"
   5.8,4.0,1.2,0.2,"Iris-setosa"
   5.7,4.4,1.5,0.4,"Iris-setosa"
   5.4,3.9,1.3,0.4,"Iris-setosa"
   5.1,3.5,1.4,0.3,"Iris-setosa"
   5.7,3.8,1.7,0.3,"Iris-setosa"
   5.1,3.8,1.5,0.3,"Iris-setosa"
   5.4,3.4,1.7,0.2,"Iris-setosa"
   5.1,3.7,1.5,0.4,"Iris-setosa"
   5.1,3.3,1.7,0.5,"Iris-setosa"
   5.2,3.5,1.5,0.2,"Iris-setosa"
   5.2,3.4,1.4,0.2,"Iris-setosa"
   5.4,3.4,1.5,0.4,"Iris-setosa"
   5.2,4.1,1.5,0.1,"Iris-setosa"
   5.5,4.2,1.4,0.2,"Iris-setosa"
   5.5,3.5,1.3,0.2,"Iris-setosa"
   5.1,3.4,1.5,0.2,"Iris-setosa"
   5.1,3.8,1.9,0.4,"Iris-setosa"
   5.1,3.8,1.6,0.2,"Iris-setosa"
   5.3,3.7,1.5,0.2,"Iris-setosa"
   7.0,3.2,4.7,1.4,"Iris-versicolor"
   6.4,3.2,4.5,1.5,"Iris-versicolor"
   6.9,3.1,4.9,1.5,"Iris-versicolor"
   5.5,2.3,4.0,1.3,"Iris-versicolor"
   6.5,2.8,4.6,1.5,"Iris-versicolor"
   5.7,2.8,4.5,1.3,"Iris-versicolor"
   6.3,3.3,4.7,1.6,"Iris-versicolor"
   6.6,2.9,4.6,1.3,"Iris-versicolor"
   5.2,2.7,3.9,1.4,"Iris-versicolor"
   5.9,3.0,4.2,1.5,"Iris-versicolor"
   6.0,2.2,4.0,1.0,"Iris-versicolor"
   6.1,2.9,4.7,1.4,"Iris-versicolor"
   5.6,2.9,3.6,1.3,"Iris-versicolor"
   6.7,3.1,4.4,1.4,"Iris-versicolor"
   5.6,3.0,4.5,1.5,"Iris-versicolor"
   5.8,2.7,4.1,1.0,"Iris-versicolor"
   6.2,2.2,4.5,1.5,"Iris-versicolor"
   5.6,2.5,3.9,1.1,"Iris-versicolor"
   5.9,3.2,4.8,1.8,"Iris-versicolor"
   6.1,2.8,4.0,1.3,"Iris-versicolor"
   6.3,2.5,4.9,1.5,"Iris-versicolor"
   6.1,2.8,4.7,1.2,"Iris-versicolor"
   6.4,2.9,4.3,1.3,"Iris-versicolor"
   6.6,3.0,4.4,1.4,"Iris-versicolor"
   6.8,2.8,4.8,1.4,"Iris-versicolor"
   6.7,3.0,5.0,1.7,"Iris-versicolor"
   6.0,2.9,4.5,1.5,"Iris-versicolor"
   5.7,2.6,3.5,1.0,"Iris-versicolor"
   5.5,2.4,3.8,1.1,"Iris-versicolor"
   5.5,2.4,3.7,1.0,"Iris-versicolor"
   5.8,2.7,3.9,1.2,"Iris-versicolor"
   6.0,2.7,5.1,1.6,"Iris-versicolor"
   5.4,3.0,4.5,1.5,"Iris-versicolor"
   6.0,3.4,4.5,1.6,"Iris-versicolor"
   6.7,3.1,4.7,1.5,"Iris-versicolor"
   6.3,2.3,4.4,1.3,"Iris-versicolor"
   5.6,3.0,4.1,1.3,"Iris-versicolor"
   5.5,2.5,4.0,1.3,"Iris-versicolor"
   5.5,2.6,4.4,1.2,"Iris-versicolor"
   6.1,3.0,4.6,1.4,"Iris-versicolor"
   5.8,2.6,4.0,1.2,"Iris-versicolor"
   5.6,2.7,4.2,1.3,"Iris-versicolor"
   5.7,3.0,4.2,1.2,"Iris-versicolor"
   5.7,2.9,4.2,1.3,"Iris-versicolor"
   6.2,2.9,4.3,1.3,"Iris-versicolor"
   5.1,2.5,3.0,1.1,"Iris-versicolor"
   5.7,2.8,4.1,1.3,"Iris-versicolor"
   6.3,3.3,6.0,2.5,"Iris-virginica"
   5.8,2.7,5.1,1.9,"Iris-virginica"
   7.1,3.0,5.9,2.1,"Iris-virginica"
   6.3,2.9,5.6,1.8,"Iris-virginica"
   6.5,3.0,5.8,2.2,"Iris-virginica"
   7.6,3.0,6.6,2.1,"Iris-virginica"
   7.3,2.9,6.3,1.8,"Iris-virginica"
   6.7,2.5,5.8,1.8,"Iris-virginica"
   7.2,3.6,6.1,2.5,"Iris-virginica"
   6.5,3.2,5.1,2.0,"Iris-virginica"
   6.4,2.7,5.3,1.9,"Iris-virginica"
   6.8,3.0,5.5,2.1,"Iris-virginica"
   5.7,2.5,5.0,2.0,"Iris-virginica"
   5.8,2.8,5.1,2.4,"Iris-virginica"
   6.4,3.2,5.3,2.3,"Iris-virginica"
   6.5,3.0,5.5,1.8,"Iris-virginica"
   7.7,3.8,6.7,2.2,"Iris-virginica"
   7.7,2.6,6.9,2.3,"Iris-virginica"
   6.0,2.2,5.0,1.5,"Iris-virginica"
   6.9,3.2,5.7,2.3,"Iris-virginica"
   5.6,2.8,4.9,2.0,"Iris-virginica"
   7.7,2.8,6.7,2.0,"Iris-virginica"
   6.3,2.7,4.9,1.8,"Iris-virginica"
   6.7,3.3,5.7,2.1,"Iris-virginica"
   7.2,3.2,6.0,1.8,"Iris-virginica"
   6.2,2.8,4.8,1.8,"Iris-virginica"
   6.1,3.0,4.9,1.8,"Iris-virginica"
   6.4,2.8,5.6,2.1,"Iris-virginica"
   7.2,3.0,5.8,1.6,"Iris-virginica"
   7.4,2.8,6.1,1.9,"Iris-virginica"
   7.9,3.8,6.4,2.0,"Iris-virginica"
   6.4,2.8,5.6,2.2,"Iris-virginica"
   6.3,2.8,5.1,1.5,"Iris-virginica"
   6.1,2.6,5.6,1.4,"Iris-virginica"
   7.7,3.0,6.1,2.3,"Iris-virginica"
   6.3,3.4,5.6,2.4,"Iris-virginica"
   6.4,3.1,5.5,1.8,"Iris-virginica"
   6.0,3.0,4.8,1.8,"Iris-virginica"
   6.9,3.1,5.4,2.1,"Iris-virginica"
   6.7,3.1,5.6,2.4,"Iris-virginica"
   6.9,3.1,5.1,2.3,"Iris-virginica"
   5.8,2.7,5.1,1.9,"Iris-virginica"
   6.8,3.2,5.9,2.3,"Iris-virginica"
   6.7,3.3,5.7,2.5,"Iris-virginica"
   6.7,3.0,5.2,2.3,"Iris-virginica"
   6.3,2.5,5.0,1.9,"Iris-virginica"
   6.5,3.0,5.2,2.0,"Iris-virginica"
   6.2,3.4,5.4,2.3,"Iris-virginica"
   5.9,3.0,5.1,1.8,"Iris-virginica"
   <User 139xxxxxxxxxxxxx>

# -*- dump_traceback: true -*-

-- Add another Alibaba Cloud account user at the project level.
add user ALIYUN$<account_name>;
-- Grant the CreateInstance permission on the project.
grant CreateInstance on project <project_name> to USER ALIYUN$<account_name>;
-- Grant the Describe and Select permissions on the table.
grant Describe, Select on table <table_name> to USER ALIYUN$<account_name>;
-- View the authorization results.
show grants for ALIYUN$<account_name>;

Authorization Type: ACL
[user/ALIYUN$:xxx.com]
A    projects/mc_xxx : CreateInstance
A    projects/mc_xxx/tables/pyodps_xxx : Describe | Select