Data Management:Notebook を使用したデータのクエリと分析

IPython カーネル

pip を使用して拡張パッケージをインストールします。インターネット経由でこのカーネルを使用する Notebook にアクセスし、基本的にオープンソースの Jupyter Notebook を使用するのと同じ方法で Notebook を使用できます。

• Spark 構文を使用して、Notebook 内のテーブルデータをクエリできます。サンプルコード:

  • 構文 1:

    df = spark.sql("select * from customer limit 10").show();

  • 構文 2:

    %%spark_sql 
    select * from customer limit 10;

  • 構文 3:

    セルで、[SQL] > [spark SQL] を選択し、SQL 文を入力します。

    

    CREATE TABLE IF NOT EXISTS 'default'.'select_2' AS SELECT 2;

    説明

    デフォルトでは、Spark SQL セルはページに最大 3,000 行を表示します。表示される行数を調整するには、セルに次のコードを入力して、環境変数 DMS_SPARK_SQL_DEFAULT_LIMIT を変更します。

    os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';

• Notebook のツールバーで、セルの属性をコードから SQL に変更できます。

  SQL セルは、論理データウェアハウスと同じ構文を使用します。 SQL セルでデータベースを横断してデータをクエリし、リアルタイムでデータを分析できます。必要な権限は、DMS の詳細な権限と同じです。

• SQL セルと Python セルでは、${変数名} の形式で変数を参照し、変数名をカスタマイズし、変数の型を表示できます。次のセクションでは、Notebook で変数を参照および生成する方法について説明します。

  • 変数を参照する

    ${IPython 変数名} 形式で SQL 文内の IPython 変数を参照できます。

    

  • 変数を生成する

    SQL セルの結果セットを IPython の変数として直接参照できます。変数名は結果セットの左下隅に表示され、変数の型は pandas.core.frame.DataFrame です。変数名をクリックして名前をカスタマイズできます。

    

• アイコンをクリックすることで、SQL クエリの結果セットをテーブルまたはチャートで視覚化できます。

PySpark カーネル

デフォルトでは、DMS Jupyter Notebook は AnalyticDB Spark を使用します。 Notebook でオープンソースの Spark を使用することもできます。

Spark Magic を使用すると、マジックコマンド %%help を実行して、サポートされているコマンドを表示できます。

ファイルのアップロードとダウンロード

ossutil を使用してデータセットをアップロードおよびダウンロードできます。詳細については、「ossutil の構成」をご参照ください。