O MaxCompute oferece imagens integradas com pacotes Python pré-instalados para análise de dados, computação científica e machine learning, incluindo NumPy, pandas, scikit-learn e XGBoost. Referencie essas imagens diretamente nos jobs em vez de gerenciar dependências manualmente.
Imagens disponíveis
Todas as imagens integradas incluem os pacotes base da imagem common: NumPy, pandas, cloudpickle 2.2.1, pickle 5.0.12, requests 2.31.0 e setuptools 68.0.0.
|
Nome da imagem |
Categoria |
Biblioteca principal |
Versão do Python |
Finalidade |
|
|
Base |
NumPy 1.21.6, pandas 1.3.5 |
Python 3.7 |
Processamento geral de dados |
|
|
Base |
NumPy 1.26.4, pandas 2.2.2 |
Python 3.11 |
Processamento geral de dados |
|
|
SO base |
Ubuntu 20.04 |
Python 3.7, Python 3.11 |
Desenvolvimento de UDF e integração com MaxFrame para melhorar a portabilidade entre plataformas e o desempenho de execução |
|
|
Computação científica |
SciPy 1.7.3 |
Python 3.7 |
Análise estatística e álgebra linear |
|
|
Computação científica |
SciPy 1.13.0 |
Python 3.11 |
Análise estatística e álgebra linear |
|
|
Modelagem estatística |
statsmodels 0.13.5 |
Python 3.7 |
Modelagem estatística e econometria |
|
|
Modelagem estatística |
statsmodels 0.14.1 |
Python 3.11 |
Modelagem estatística e econometria |
|
|
Machine learning |
scikit-learn 1.0.2 |
Python 3.7 |
Classificação, regressão e clustering |
|
|
Machine learning |
scikit-learn 1.4.2 |
Python 3.11 |
Classificação, regressão e clustering |
|
|
Machine learning |
XGBoost 1.6.2 |
Python 3.7 |
Gradient boosting distribuído |
|
|
Machine learning |
XGBoost 2.0.3 |
Python 3.11 |
Gradient boosting distribuído |
|
|
Machine learning |
PyTorch 1.13.1 |
Python 3.7 |
Processamento de linguagem natural (NLP) |
|
|
Machine learning |
PyTorch 2.3.0 |
Python 3.11 |
Processamento de linguagem natural (NLP) |
|
|
Machine learning |
TensorFlow 2.11.0 |
Python 3.7 |
Programação de diversos algoritmos de machine learning |
|
|
Machine learning |
TensorFlow 2.16.1 |
Python 3.11 |
Programação de diversos algoritmos de machine learning |
Sinalizadores de versão do Python: Use cp37 para Python 3.7 e cp311 para Python 3.11 ao definir sinalizadores de sessão.
Uso de imagens integradas
As imagens integradas são compatíveis com o desenvolvimento de funções definidas pelo usuário (UDF) do MaxCompute SQL, PyODPS e MaxFrame.
Especifique apenas uma imagem por job para evitar conflitos de dependência.
Em jobs de UDF SQL
Defina a imagem e a versão do Python no nível da sessão SQL antes de chamar a UDF:
-- For Python 3.11, replace cp37 with cp311
set odps.sql.python.version=cp37;
set odps.session.image = <image_name>;Substitua <image_name> pelo nome da imagem conforme a tabela acima (por exemplo, sklearn).
No PyODPS
Atualize o PyODPS para a versão V0.11.5 ou posterior antes de usar imagens.
Passe o nome da imagem para o parâmetro image do método execute ou persist:
image='<image_name>'Para um exemplo completo, consulte Uso de imagens no desenvolvimento com PyODPS.
No MaxFrame
Configure a imagem em config.options.sql.settings antes de enviar o job:
config.options.sql.settings = {
"odps.session.image": "<image_name>"
}Visualização de imagens integradas no console
Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.console do MaxCompute
No painel de navegação à esquerda, escolha Manage Configurations > Images.
Na página Images, clique na aba Built-in Images para visualizar todas as imagens integradas disponíveis e as respectivas informações de versão.