MaxCompute提供豐富的內建鏡像,如資料分析、科學計算、機器學習(如Pandas、Numpy、Scikit-learn、Xgboost)等,方便您在後續開發中直接引用,從而簡化開發流程。本文為您介紹如何查看及使用內建鏡像。
查看內建鏡像
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇 。
在镜像管理詳情頁,選擇内置镜像頁簽。
可以查看當前MaxCompute內建的鏡像列表及相關版本資訊。
內建鏡像說明
功能分類 | 鏡像名稱 | 內建三方包及版本資訊 | 程式設計語言及版本 | 說明 |
基礎鏡像 | common | numpy==1.21.6 pandas==1.3.5 | Python 3.7 | 基礎鏡像,包含Pandas、NumPy等基礎第三方包。 |
numpy==1.26.4 pandas==2.2.2 | Python 3.11 | |||
基礎鏡像 | ubuntu | ubuntu==20.04 | Python 3.7 Python 3.11 | 基礎作業系統鏡像,支援無縫應用於自訂函數(UDF)開發及MaxFrame框架組成,顯著提升跨平台代碼移植效率與執行效能。 |
科學計算 | scipy | scipy==1.7.3 | Python 3.7 | 科學計算庫,提供了眾多進階科學計算功能,包括統計分析、線性代數等。 |
scipy==1.13.0 | Python 3.11 | |||
統計建模 | statsmodels | statsmodels==0.13.5 | Python 3.7 | 統計建模 |
statsmodels==0.14.1 | Python 3.11 | 統計建模和經濟計量學庫。 | ||
機器學習 | sklearn | scikit-learn==1.0.2 | Python 3.7 | 提供分類,迴歸及聚類等機器學習演算法。 |
scikit-learn==1.4.2 | Python 3.11 | |||
xgboost | xgboost==1.6.2 | Python 3.7 | 分布式梯度增強庫。 | |
xgboost==2.0.3 | Python 3.11 | |||
pytorch | torch==1.13.1 | Python 3.7 | 自然語言處理。 | |
torch==2.3.0 | Python 3.11 | |||
tensorflow | tensorflow==2.11.0 | Python 3.7 | 應用於各類機器學習演算法的編程實現。 | |
tensorflow==2.16.1 | Python 3.11 |
所有內建鏡像均攜帶基礎鏡像中的numpy、pandas等開發包,除此之外,上述內建鏡像還內建常用的基礎開發包,包括cloudpickle 2.2.1、pickle 5.0.12、requests 2.31.0及setuptools 68.0.0。
使用內建鏡像
在MaxCompute SQL UDF、PyODPS或MaxFrame開發中使用內建鏡像。
每個開發作業僅可指定一個鏡像,否則會造成鏡像衝突問題。
調用UDF時,支援在SQL會話(Session)層級使用Flag指定所依賴的鏡像,需同時指定Python版本,命令如下:
-- 若Python版本為3.11時, 設定為set odps.sql.python.version=cp311; set odps.sql.python.version=cp37; set odps.session.image = <鏡像名稱>;PyODPS開發中,支援使用execute或persist方法的image參數指定已有鏡像,具體樣本請參見在PyODPS開發中使用鏡像。命令如下:
image='<鏡像名稱>'說明若需要在PyODPS中引用鏡像開發,請升級PyODPS至V0.11.5或以上版本。
MaxFrame開發中,支援在當前作業開發中指定已有鏡像,相關參數如下:
config.options.sql.settings = { "odps.session.image": "<鏡像名稱>" }