Data Management:ノートブックを使用した開発

IPython カーネル

オープンソースの Jupyter Notebook とほぼ同じように機能します。pip を使用して拡張パッケージをインストールし、インターネットにアクセスできます。

• Spark 構文を使用して、ノートブック内のテーブルデータをクエリします。構文の例を次に示します。

  • 構文 1：

    df = spark.sql("select * from customer limit 10").show();

  • 構文 2：

    %%spark_sql 
    select * from customer limit 10;

  • 構文 3：

    セルで、[SQL] > [Spark SQL] を選択し、SQL ステートメントを入力します。

    CREATE TABLE IF NOT EXISTS `default`.`select_2` AS SELECT 2;

    説明

    デフォルトでは、Spark SQL セルは最大 3,000 行を表示します。この制限を変更するには、セルに次のコードを入力して DMS_SPARK_SQL_DEFAULT_LIMIT 環境変数を変更します：

    os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';

• ノートブックのツールバーで、セルのタイプを [Code] から [SQL] に切り替えます。

  SQL セルで使用される構文は、論理データウェアハウスの構文とほぼ同じです。クロスデータベースクエリとリアルタイム分析をサポートしています。権限要件は、DMS のきめ細かい権限と一致しています。

• SQL セルと Python セルで、${variable_name} 形式を使用して変数を参照し、変数名をカスタマイズし、変数の型を表示できます。次のセクションでは、ノートブックで変数を定義、出力、参照する方法について説明します。

  • 変数の定義と参照

    IPython の変数は、${var} という形式で SQL 内から参照できます。var は IPython の変数名です。

    target_table = 'archieve_partitions'
    SELECT
        *
    FROM
        `datafactory`.`${target_table}`;

  • 変数の出力

    IPython セルでは、変数名を直接使用できます。変数名は結果セットの左下隅に表示されます。変数のタイプは pandas.core.frame.DataFrame です。変数の名前を変更するには、変数名をクリックして新しい名前を入力します。

• SQL の結果セットは、ワンクリックで可視化できます。テーブル表示とグラフ表示の両方がサポートされています。

  グラフ表示では、左側のペインが設定パネルです。 [Chart type] (折れ線グラフなど)、[X-axis] と [Y-axis] のフィールド、[grouping]、[filter] 条件を設定できます。パネルの上部には [Try another] ボタンと [Download image] ボタンがあります。

PySpark カーネル

デフォルトで AnalyticDB Spark がサポートされています。オープンソースの Spark もサポートされています。

Spark Magic の %%help マジックコマンドを使用すると、サポートされているコマンドをすばやく一覧表示できます。

ファイルのアップロードとダウンロード

ossutil を使用して、必要なデータセットをアップロードおよびダウンロードします。ossutil の設定方法については、「ossutil の設定」をご参照ください。