Data Management：使用Notebook開發

Ipython kernel（核心）

使用pip安裝擴充包、支援公網訪問，與開源Jupyter Notebook的使用方式基本一致。

• 在Notebook使用Spark文法查詢表資料。文法樣本如下：

  • 文法一：

    df = spark.sql("select * from customer limit 10").show();

  • 文法二：

    %%spark_sql 
    select * from customer limit 10;

  • 文法三：

    在Cell中選擇SQL > Spark SQL，再輸入相關SQL。

    

    CREATE TABLE IF NOT EXISTS 'default'.'select_2' AS SELECT 2;

    說明

    Spark SQL Cell 預設分頁展示的行數上限為3000行。如需調整顯示的行數，請修改環境變數DMS_SPARK_SQL_DEFAULT_LIMIT，在Cell中輸入如下代碼：

    os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';

• 在Notebook的工具列地區，將儲存格屬性從Code切換至SQL。

  SQL Cells使用文法與邏輯數倉基本相同，支援跨庫查詢、即時分析，許可權要求與DMS細粒度的許可權要求一致。

• 在SQLCell和PythonCell中引用變數（引用格式為${變數名稱}）、自訂變數名稱、查看變數類型。如下為您介紹如何在Notebook中輸入變數、輸出變數、引用變數。

  • 輸入變數並引用變數

    Ipython中的變數，可通過${var}（var為Ipython內的變數名），引用到SQL中使用。

    

  • 輸出變數

    可在Ipython中直接使用變數名稱（在結果集左下角），變數類型為pandas.core.frame.DataFrame。如需自訂變數名稱，請單擊變數名稱即可修改。

    

• 查詢的SQL結果集一鍵可視化，支援表格和圖表兩種展示形式。

  

PySpark kernel（核心）

預設支援AnalyticDB Spark，也可支援開源Spark。

spark magic通過%%help magic可以快捷列出支援的命令列表。

檔案的上傳與下載

使用ossutil上傳、下載所需要的資料集。配置ossutil的操作，請參見配置ossutil。