O PyODPS é o SDK Python para o MaxCompute. Ele permite desenvolver tarefas no MaxCompute, analisar dados e gerenciar recursos diretamente em Python.
PyODPS
O PyODPS oferece uma API DataFrame e métodos para gerenciar objetos do MaxCompute. Há suporte para Python 2 (versão 2,6 e posteriores) e Python 3.
Consulte os recursos abaixo para saber mais sobre o PyODPS:
Documentação do PyODPS: Documentação do PyODPS.
Instalação do PyODPS: Guia de instalação do PyODPS.
Desenvolvimento com PyODPS: Guia de desenvolvimento do PyODPS.
Inicialize o cliente
Antes de usar o PyODPS, inicialize um objeto de cliente do MaxCompute com as credenciais da sua conta Alibaba Cloud:
import os
from odps import ODPS
# Make sure that the ALIBABA_CLOUD_ACCESS_KEY_ID and ALIBABA_CLOUD_ACCESS_KEY_SECRET
# environment variables are set to your AccessKey ID and AccessKey Secret.
o = ODPS(
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
project='your-default-project',
endpoint='your-end-point',
)Parâmetros:
ALIBABA_CLOUD_ACCESS_KEY_ID e ALIBABA_CLOUD_ACCESS_KEY_SECRET: Defina essas variáveis de ambiente com um AccessKey ID e um AccessKey Secret que tenham a permissão necessária para operar objetos no projeto MaxCompute de destino. Obtenha essas credenciais na página AccessKey Management.
-
your-default-project: Nome do seu projeto MaxCompute.
Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo. Em seguida, no painel de navegação à esquerda, escolha .
your-end-point: O endpoint correspondente à região do projeto.
Métodos
Principais métodos do PyODPS para operações no MaxCompute:
Tipo de objeto | Método | Descrição |
project | get_project(project_name) | Recupera um projeto do MaxCompute. |
exist_project(project_name) | Verifica se um projeto do MaxCompute existe. | |
table | list_tables() | Lista todas as tabelas em um projeto do MaxCompute. |
exist_table(table_name) | Verifica se uma tabela existe. | |
get_table(table_name, project=project_name) | Recupera uma tabela. Há suporte para acesso entre projetos. | |
create_table() | Cria uma tabela. | |
read_table() | Lê dados de uma tabela. | |
write_table() | Grava dados em uma tabela. | |
delete_table() | Exclui uma tabela. | |
table partition | exist_partition() | Verifica se uma partição de tabela existe. |
get_partition() | Recupera uma partição de tabela. | |
create_partition() | Cria uma partição de tabela. | |
delete_partition() | Exclui uma partição de tabela. | |
SQL statement | execute_sql()/run_sql() | Executa uma instrução SQL. |
open_reader() | Lê o resultado da execução. | |
instance | list_instances() | Lista todas as instâncias em um projeto do MaxCompute. |
exist_instance() | Verifica se uma instância existe. | |
get_instance() | Recupera uma instância. | |
stop_instance() | Interrompe uma instância em execução. | |
resource | create_resource() | Cria um recurso. |
open_resource() | Abre um recurso para leitura. | |
get_resource() | Recupera um recurso. | |
list_resources() | Lista todos os recursos do projeto. | |
exist_resource() | Verifica se um recurso existe. | |
delete_resource() | Exclui um recurso. | |
function | create_function() | Cria uma função. |
delete_function() | Exclui uma função. | |
data tunnel | create_upload_session() | Cria uma sessão de upload de dados. |
create_download_session() | Cria uma sessão de download de dados. |
Os métodos create_table(), read_table(), write_table() e delete_table() exigem parâmetros. Para detalhes de uso, consulte Exemplos do SDK Python: Tabela.