E-MapReduce:MaxCompute へのデータの読み書き

セッションページに移動します。

1. EMR コンソールにログインします。

2. 左側のナビゲーションウィンドウで、EMR Serverless > Spark を選択します。

3. Spark ページで、管理するワークスペースの名前をクリックします。

4. EMR Serverless Spark ページの左側のナビゲーションウィンドウで、オペレーションセンター > セッション を選択します。

SQL Session タブで、Create SQL Session をクリックします。

[SQL セッションの作成] ページで、パラメーターを設定し、Create をクリックします。

spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                   https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

[Notebook セッション] タブに移動します。

1. EMR コンソールにログインします。

2. 左側のナビゲーションウィンドウで、EMR Serverless > Spark を選択します。

3. Spark ページで、目的のワークスペースを見つけ、ワークスペースの名前をクリックします。

4. EMR Serverless Spark ページの左側のナビゲーションウィンドウで、オペレーションセンター > セッション を選択します。

5. [Notebook セッション] タブをクリックします。

Create Notebook Session ボタンをクリックします。

[Notebook セッションの作成] ページで、パラメーターを設定し、Create ボタンをクリックします。

spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                    https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

EMR Serverless Spark ページで、左側のナビゲーションウィンドウの Data Development をクリックします。

[開発] タブで、 アイコンをクリックします。

SparkSQL ジョブを作成します。

1. 表示されるダイアログボックスで、mc_load_task などの名前を入力します。[タイプ] はデフォルトの SparkSQL のままにして、OK をクリックします。

2. 新しい SparkSQL ジョブ (mc_load_task) のタブに次のコードをコピーします。

   CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
   
   INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);
   
   SELECT * FROM odps.default.mc_table;

3. データベースのドロップダウンリストからデータベースを選択します。コンピューティングのドロップダウンリストから、ステップ 1：MaxCompute に接続するためのセッションの作成 で作成した SQL セッション (mc_sql_compute など) を選択します。

4. Run をクリックして SparkSQL ジョブを実行します。

   ジョブが正常に実行されると、Execution Results タブに結果が表示されます。

   

MaxCompute コンソールで作成されたテーブルを表示します。

1. MaxCompute コンソールにログインします。左上隅でリージョンを選択します。

2. プロジェクト管理 ページで、作成したプロジェクトを見つけ、[操作] 列の 管理 をクリックします。

3. [テーブル] タブをクリックします。

   MaxCompute コンソールに mc_table という名前の新しいテーブルが表示されます。

   

EMR Serverless Spark ページで、左側のナビゲーションウィンドウの Data Development をクリックします。

[開発] タブで、 アイコンをクリックします。

Notebook を作成します。

1. 表示されるダイアログボックスで、mc_load_task などの名前を入力し、[タイプ] で インタラクティブ開発 > Notebook を選択して、OK をクリックします。

2. セッションのドロップダウンリストから、ステップ 1：MaxCompute に接続するためのセッションの作成 で作成した実行中の Notebook セッション (mc_notebook_compute など) を選択します。

3. コードを記述して実行します。

   1. Python セルに、次のコマンドを入力してテーブルを作成します。

      spark.sql("""
      CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
      """)
      

   2. 新しい Python セルに、次のコマンドを入力してデータを挿入します。

      spark.sql("INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);")

   3. 新しい Python セルに、次のコマンドを入力してデータをクエリします。

      spark.sql("SELECT * FROM odps.default.mc_table;").show()

      クエリが正常に実行されると、Execution Results タブに結果が表示されます。

      

MaxCompute コンソールで作成されたテーブルを表示します。

1. MaxCompute コンソールにログインします。左上隅でリージョンを選択します。

2. プロジェクト管理 ページで、作成したプロジェクトを見つけ、[操作] 列の 管理 をクリックします。

3. [テーブル] タブをクリックします。

   MaxCompute コンソールに mc_table という名前の新しいテーブルが表示されます。