MaxCompute：DataWorks Notebook使用協助

使用自訂配置

1. 啟動時設定SparkConf，例如設定Livy最長空閑時間（config表示和Livy相關的參數）和開啟Schema級文法開關（spark_conf表示和Spark相關的參數），其餘參數同理。

   %%maxcompute_spark
   {
     "config": {
       # cpu 和 memory 預設為1核4G
       "cpu": 1,
       "memory": "4096M",
       "livy.server.max.idle.time": "10m"
     },
     "quota": "XXX",
     "spark_conf": {
       "spark.sql.catalog.odps.enableNamespaceSchema": "true"
     }
   }

2. 如果需要修改配置，只需重新執行上述代碼即可。但是重啟Spark Session會丟失之前的工作階段狀態。

使用OSS儲存

配置OSS訪問參數：

%%maxcompute_spark
{
  "spark_conf": {
    "spark.hadoop.odps.cupid.trusted.services.access.list": "<bucket-name>.<oss-endpoint>",
    "spark.hadoop.fs.oss.accessKeyId": "***",
    "spark.hadoop.fs.oss.accessKeySecret": "***",
    "spark.hadoop.fs.oss.endpoint": "<oss-endpoint>"
  }
}

使用第三方Python包

1. 打包依賴：推薦使用pyodps-pack，強烈建議指定Python版本為3.11，因為Livy Spark Session預設使用Python 3.11，保持一致可避免相容性問題。參考PySpark Python版本和依賴。

   # 安裝pyodps
   pip install pyodps
   
   # 準備requirements.txt，然後打包
   pyodps-pack -r requirements.txt --python-version=3.11 -o <package-name>

2. 上傳包到MaxCompute Project：

   -- 在odpscmd中執行
   ADD archive /path/to/<package-name> -f;

3. 配置Spark使用該包：

   說明

   • 如果有多個cupid.resources用逗號（","）隔開，該參數具體效果請參考資料互連配置。

   • 如果有多個PYTHONPATH路徑用冒號（":"）隔開。當前樣本中PYTHONPATH帶packages子目錄是因為pyodps-pack打包會自動包含該子目錄，如果是其他方式打包請明確目錄結構再填寫PYTHONPATH。關於PYTHONPATH更多詳情請參考引用使用者自訂的python包。

   %%maxcompute_spark
   {
     "spark_conf": {
       "spark.hadoop.odps.cupid.resources": "<your_project>.<package-name>",
       "spark.executorEnv.PYTHONPATH": "./<your_project>.<package-name>/packages",
       "spark.yarn.appMasterEnv.PYTHONPATH": "./<your_project>.<package-name>/packages"
     }
   }

使用JAR或其他資源套件

1. 上傳資源（以tar.gz為例）：add archive /path/to/<package-name> -f;

2. 配置Spark載入資源，多個資源用英文逗號(",")分隔：

   %%maxcompute_spark
   {
     "spark_conf": {
       "spark.hadoop.odps.cupid.resources": "<your_project>.<package-name>"
     }
   }

可與Python包配置合并使用，都填寫在spark_conf參數中。

進階配置

%%maxcompute_spark
{
  "spark_conf": {
    "spark.hadoop.odps.spark.alinux3.enabled": "false"
  }
}

%%spark

import matplotlib.pyplot as plt
import io, base64, json
import matplotlib
# 非必須
matplotlib.use('Agg')

# 必須在此處先建立figure（關鍵步驟）
fig = plt.figure()

# 樣本繪圖
x = [1, 2, 3, 4]
y = [20, 22, 19, 23]

plt.plot(x, y, marker='o', linestyle='--', color='b')
plt.title("Temperature Change Over Time")
plt.xlabel("Time")
plt.ylabel("Temperature")

# 渲染映像到Notebook（Livy魔法命令）
%matplot plt

Livy相關配置

以下列出可以控制的Livy參數：