All Products
Search

This Product

    E-MapReduce:Baca dari dan tulis ke MaxCompute

    Document Center

    E-MapReduce:Baca dari dan tulis ke MaxCompute

    Last Updated:Jun 22, 2026

    EMR Serverless Spark menyediakan konektor sumber data MaxCompute bawaan berbasis Spark DataSource V2. Anda dapat menghubungkan ke MaxCompute dengan menambahkan konfigurasi yang diperlukan selama pengembangan. Topik ini menjelaskan cara membaca data dari dan menulis data ke MaxCompute menggunakan EMR Serverless Spark.

    Informasi latar belakang

    MaxCompute (sebelumnya dikenal sebagai ODPS) adalah solusi gudang data berskala eksabita yang cepat dan sepenuhnya dikelola. Solusi ini dirancang untuk menyimpan dan memproses data terstruktur secara batch serta menyediakan layanan analitik dan pemodelan skala besar. Untuk informasi selengkapnya tentang MaxCompute, lihat Apa itu MaxCompute?.

    Prasyarat

    • Anda telah membuat workspace di EMR Serverless Spark.

    • Anda telah membuat project MaxCompute dan mengaktifkan Open Storage untuk project tersebut.

      Contoh dalam topik ini menggunakan metode penagihan pay-as-you-go untuk Open Storage.

    Batasan

    • Topik ini hanya berlaku untuk versi engine berikut:

      • esr-4.x: esr-4.6.0 dan yang lebih baru

      • esr-3.x: esr-3.5.0 dan yang lebih baru

      • esr-2.x: esr-2.9.0 dan yang lebih baru

    • Operasi dalam topik ini mengharuskan Anda mengaktifkan fitur Open Storage untuk MaxCompute. Untuk informasi selengkapnya, lihat Open Storage.

    • Titik akhir (endpoint) MaxCompute yang Anda gunakan harus mendukung Storage API. Jika tidak, alihkan ke endpoint yang didukung. Untuk informasi selengkapnya, lihat Sumber daya transmisi data.

    Catatan

    Saat Anda menggunakan Open Storage (pay-as-you-go), transfer data yang melebihi 1 TB akan ditagih berdasarkan ukuran data logis.

    Prosedur

    Langkah 1: Buat session MaxCompute

    Anda dapat membuat session SQL atau session Notebook untuk menghubungkan ke MaxCompute. Untuk informasi selengkapnya tentang session, lihat Manajemen session.

    SQL session

    1. Buka halaman Sessions.

      1. Masuk ke Konsol EMR.

      2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

      3. Pada halaman Spark, klik nama workspace yang dituju.

      4. Pada halaman EMR Serverless Spark, klik Sessions pada panel navigasi kiri.

    2. Pada tab SQL Session, klik Create SQL Session.

    3. Pada halaman Create SQL Session, konfigurasikan parameter berikut lalu klik Create.

      Parameter

      Deskripsi

      Name

      Masukkan nama kustom untuk session SQL. Contohnya, mc_sql_compute.

      Spark Configuration

      Masukkan parameter konfigurasi Spark untuk menghubungkan ke MaxCompute.

      Penting

      Jika Anda perlu mengakses project MaxCompute yang menggunakan model tiga level, Anda juga harus mengatur parameter spark.sql.catalog.odps.enableNamespaceSchema menjadi true dalam konfigurasi Spark. Untuk informasi selengkapnya tentang parameter, lihat Spark Connector. Untuk informasi selengkapnya tentang skema, lihat Operasi skema.

      spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                   https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

      Ganti placeholder berikut dengan nilai aktual Anda:

      • <project_name>: nama project MaxCompute Anda.

      • https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api: titik akhir layanan MaxCompute Anda. Untuk informasi selengkapnya, lihat Endpoints.

      • <accessId>: ID AccessKey Akun Alibaba Cloud yang digunakan untuk mengakses MaxCompute.

      • <accessKey>: Secret AccessKey Akun Alibaba Cloud yang digunakan untuk mengakses MaxCompute.

    Notebook session

    1. Buka halaman Notebook Sessions.

      1. Masuk ke Konsol EMR.

      2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

      3. Pada halaman Spark, klik nama workspace yang dituju.

      4. Pada halaman EMR Serverless Spark, pilih Sessions pada panel navigasi kiri.

      5. Klik tab Notebook Session.

    2. Klik Create Notebook Session.

    3. Pada halaman Create Notebook Session, konfigurasikan parameter berikut lalu klik Create.

      Parameter

      Deskripsi

      Name

      Masukkan nama kustom untuk session notebook. Contohnya, mc_notebook_compute.

      Spark Configuration

      Masukkan parameter konfigurasi Spark untuk menghubungkan ke MaxCompute.

      Penting

      Jika Anda perlu mengakses project MaxCompute yang menggunakan model tiga level, Anda juga harus mengatur parameter spark.sql.catalog.odps.enableNamespaceSchema menjadi true dalam konfigurasi Spark. Untuk informasi selengkapnya tentang parameter, lihat Spark Connector. Untuk informasi selengkapnya tentang skema, lihat Operasi skema.

      spark.sql.catalog.odps                        org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog
spark.sql.extensions                          org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions
spark.sql.sources.partitionOverwriteMode      dynamic
spark.hadoop.odps.tunnel.quota.name           pay-as-you-go
spark.hadoop.odps.project.name                <project_name>
spark.hadoop.odps.end.point                    https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api
spark.hadoop.odps.access.id                   <accessId>
spark.hadoop.odps.access.key                  <accessKey>

      Ganti placeholder berikut dengan nilai aktual Anda:

      • <project_name>: nama project MaxCompute Anda.

      • https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api: titik akhir layanan MaxCompute Anda. Untuk informasi selengkapnya, lihat Endpoints.

      • <accessId>: ID AccessKey Akun Alibaba Cloud yang digunakan untuk mengakses MaxCompute.

      • <accessKey>: Secret AccessKey Akun Alibaba Cloud yang digunakan untuk mengakses MaxCompute.

    Langkah 2: Kueri dan tulis data MaxCompute

    Spark SQL

    1. Pada panel navigasi kiri halaman EMR Serverless Spark, klik Development.

    2. Pada tab Development, klik ikon image.

    3. Buat job Spark SQL.

      1. Pada kotak dialog yang muncul, masukkan nama seperti mc_load_task, pilih SparkSQL sebagai tipe, lalu klik OK.

      2. Salin kode berikut ke tab Spark SQL baru (mc_load_task).

        CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);
SELECT * FROM odps.default.mc_table;

      3. Pilih database dari daftar drop-down Database. Lalu, dari daftar drop-down Compute, pilih session SQL yang telah Anda buat di Langkah 1: Buat session MaxCompute (mc_sql_compute).

      4. Klik Run untuk menjalankan job Spark SQL.

        Setelah kueri berhasil dieksekusi, hasil kueri akan ditampilkan pada tab Execution Results.

        Result #3 menampilkan tabel hasil dengan dua kolom, name dan num. Tabel tersebut menunjukkan bahwa nilai untuk 'Alice' adalah 100 dan nilai untuk 'Bob' adalah 200.

    4. Lihat tabel yang dibuat di konsol MaxCompute.

      1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

      2. Pada halaman Projects, temukan project yang telah Anda buat lalu klik Manage pada kolom Actions.

      3. Klik tab Tables.

        Anda dapat melihat tabel baru bernama mc_table di konsol MaxCompute.

    Notebook

    1. Pada panel navigasi kiri halaman EMR Serverless Spark, klik Development.

    2. Pada tab Development, klik ikon image.

    3. Buat notebook.

      1. Pada kotak dialog yang muncul, masukkan nama seperti mc_load_task. Untuk tipe, pilih Interactive Development > Notebook, lalu klik OK.

      2. Dari daftar drop-down session, pilih session notebook yang sedang berjalan yang telah Anda buat di Langkah 1: Buat session MaxCompute (mc_notebook_compute).

      3. Tulis dan jalankan kode.

        1. Pada sel Python, masukkan perintah berikut untuk membuat tabel.

          spark.sql("""
CREATE TABLE odps.default.mc_table (name STRING, num BIGINT);
""")

        2. Pada sel Python baru, masukkan perintah berikut untuk memasukkan data.

          spark.sql("INSERT INTO odps.default.mc_table (name, num) VALUES ('Alice', 100),('Bob', 200);")

        3. Pada sel Python baru, masukkan perintah berikut untuk mengkueri data.

          spark.sql("SELECT * FROM odps.default.mc_table;").show()

          Setelah kueri berhasil dieksekusi, hasil kueri akan ditampilkan di Execution Results.

          +-----+---+
| name|num|
+-----+---+
|Alice|100|
|  Bob|200|
+-----+---+

    4. Lihat tabel yang dibuat di konsol MaxCompute.

      1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

      2. Pada halaman Projects, temukan project yang telah Anda buat lalu klik Manage pada kolom Actions.

      3. Klik tab Tables.

        Anda dapat melihat tabel baru bernama mc_table di konsol MaxCompute.

    FAQ

    Mengapa saya menerima error "Access Denied" saat mengkueri tabel MaxCompute?

    • Gejala: Saat Anda mengkueri tabel MaxCompute, pesan error berikut dikembalikan.

      Access Denied - Not allowed to use storage api service on current endpoint

    • Penyebab: Error ini menunjukkan bahwa pengguna saat ini tidak memiliki otorisasi untuk menggunakan layanan MaxCompute Storage API, atau endpoint yang ditentukan tidak mendukung Storage API.

    • Solusi:

      • Periksa apakah fitur Open Storage telah diaktifkan.

        Di Konsol MaxCompute, buka Tenants > Tenant Property untuk memeriksa statusnya. Jika fitur belum diaktifkan, lihat Gunakan Open Storage untuk mengaktifkannya dan menyelesaikan konfigurasi.

      • Periksa apakah endpoint saat ini mendukung Storage API. Jika tidak, alihkan ke endpoint yang didukung. Untuk informasi selengkapnya, lihat Wilayah yang didukung.

    Topik terkait

    Topik ini menggunakan contoh Spark SQL dan notebook. Untuk mempelajari metode lain membaca dari dan menulis ke MaxCompute, lihat Kembangkan task batch atau streaming.