E-MapReduce:MaxCompute への読み書き

[セッション] ページに移動します。

1. EMR コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

3. [Spark] ページで、対象のワークスペースの名前をクリックします。

4. EMR Serverless Spark ページで、左側のナビゲーションウィンドウの Sessions をクリックします。

SQL Session タブで、Create SQL Session をクリックします。

[Create SQL Session] ページで、次のパラメーターを設定し、Create をクリックします。

spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                   https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

ノートブックセッションページに移動します。

1. EMR コンソール にログインします。

2. 左側のナビゲーションウィンドウで、EMR Serverless > スパーク を選択します。

3. Spark ページで、対象のワークスペース名をクリックします。

4. EMR Serverless Spark ページで、左側のナビゲーションウィンドウから Sessions を選択します。

5. Notebook Session タブをクリックします。

Create Notebook Session をクリックします。

[Create Notebook Session] ページで、次のパラメーターを設定し、Create をクリックします。

spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                    https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

EMR Serverless Spark ページで、左側メニューにある Development をクリックします。

[開発] タブで、 アイコンをクリックします。

Spark SQL ジョブを作成します。

1. 表示されたダイアログボックスで、mc_load_task などの名前を入力し、タイプとして [SparkSQL] を選択して、OK をクリックします。

2. 次のコードを新しい Spark SQL タブ (mc_load_task) にコピーします。

   CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
   INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);
   SELECT * FROM odps.default.mc_table;

3. [Database] ドロップダウンリストからデータベースを選択します。次に、[Compute] ドロップダウンリストから、「手順1：MaxCompute セッションの作成」で作成した SQL セッション (mc_sql_compute) を選択します。

4. Run をクリックして Spark SQL ジョブを実行します。

   クエリが正常に実行されると、クエリ結果が Execution Results タブに表示されます。

   [Result #3] には、[name] と [num] の 2 つの列を持つ結果テーブルが表示されます。テーブルには、'Alice' の値が 100、'Bob' の値が 200 と表示されます。

MaxCompute コンソールで作成されたテーブルを確認します。

1. MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。

2. プロジェクト管理 ページで、作成したプロジェクトを見つけ、[操作] 列の 管理 をクリックします。

3. [Tables] タブをクリックします。

   MaxCompute コンソールで mc_table という名前の新しいテーブルを確認できます。

EMR Serverless Spark ページで、左側メニューにある Development をクリックします。

[開発] タブで、 アイコンをクリックします。

ノートブックを作成します。

1. 表示されたダイアログボックスで、mc_load_task などの名前を入力します。タイプに[Interactive Development] > [Notebook] を選択し、OK をクリックします。

2. セッションドロップダウンリストから、「手順1：MaxCompute セッションの作成」で作成した実行中のノートブックセッション (mc_notebook_compute) を選択します。

3. コードを記述して実行します。

   1. Python セルに、次のコマンドを入力してテーブルを作成します。

      spark.sql("""
      CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
      """)
      

   2. 新しい Python セルに、次のコマンドを入力してデータを挿入します。

      spark.sql("INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);")

   3. 新しい Python セルに、次のコマンドを入力してデータをクエリします。

      spark.sql("SELECT * FROM odps.default.mc_table;").show()

      クエリが正常に実行されると、クエリ結果が Execution Results に表示されます。

      +-----+---+
      | name|num|
      +-----+---+
      |Alice|100|
      |  Bob|200|
      +-----+---+

MaxCompute コンソールで作成されたテーブルを確認します。

1. MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。

2. プロジェクト管理 ページで、作成したプロジェクトを見つけ、[操作] 列の 管理 をクリックします。

3. [Tables] タブをクリックします。

   MaxCompute コンソールで mc_table という名前の新しいテーブルを確認できます。