Read and write MaxCompute tables with PyODPS - Platform For AI: Central de Documentação do Alibaba Cloud

Use o PyODPS em instâncias DSW para ler e gravar dados em tabelas do MaxCompute usando SQL.

Pré-requisitos

Antes de começar, verifique se os seguintes requisitos foram atendidos:

O MaxCompute está ativado. Para mais informações, consulte Activate MaxCompute.
Sua conta tem as permissões necessárias para projetos do MaxCompute. Contas Alibaba Cloud não exigem autorização adicional. Para usuários RAM, siga estas etapas para conceder permissões.
Etapas
1. Faça login no MaxCompute console com sua conta Alibaba Cloud e selecione uma região no canto superior esquerdo.
2. No painel de navegação à esquerda, escolha Workspace > Projects.
3. Na página Projects, localize o projeto desejado e clique em Gerencie na coluna Actions.
4. Na aba Role Permissions, localize role_project_dev, clique em Gerencie Members e adicione o usuário RAM.
Para mais informações sobre gerenciamento de permissões do MaxCompute, consulte Manage user permissions in the console.
O Python 3,6 ou posterior está instalado.

Procedimento

Use o PyODPS para interagir com dados no MaxCompute ou no Machine Learning Designer. Para mais detalhes, consulte a documentação do PyODPS.

Instale o PyODPS.
No terminal do DSW, execute o seguinte comando:
```
pip install pyodps
```
Execute o comando abaixo para verificar a instalação. Se não houver saída nem erros, a instalação foi bem-sucedida.
```
# On Windows, use python -c "from odps import ODPS"
python3 -c "from odps import ODPS"
```
Para instalar pacotes em uma versão do Python diferente da padrão, execute o comando correspondente ao ambiente Python específico.
```
/home/tops/bin/python3.7 -m pip install setuptools>=3.0
# Example: /home/tops/bin/python3.7 is the installation path.
```
Use SQL para ler dados do MaxCompute.
```
import numpy as np
import pandas as pd
import os

from odps import ODPS
from odps.df import DataFrame

# Establish connection.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Read data from MaxCompute.
sql = '''
SELECT
    *
FROM
    your-default-project.<table>
LIMIT 100
;
'''
query_job = o.execute_sql(sql)
result = query_job.open_reader(tunnel=True)

# Set n_process > 1 to enable multithreading for faster data reading.
df = result.to_pandas(n_process=1)
```
Parâmetros de configuração:
- ALIBABA_CLOUD_ACCESS_KEY_ID e ALIBABA_CLOUD_ACCESS_KEY_SECRET: AccessKey ID e AccessKey Secret da sua conta Alibaba Cloud. Defina-os como variáveis de ambiente para evitar vazamento de credenciais.
  - Obtenha um par de AccessKey. Consulte Create an AccessKey.
  - Configure as variáveis de ambiente. Consulte Configure environment variables.
  - your-default-project e your-end-point: Substitua pelo nome do seu projeto padrão e pelo endpoint. Para endpoints regionais, consulte Endpoints.
Para outras operações do PyODPS em tabelas do MaxCompute, como gravação de dados, consulte table.