All Products
Search

This Product

    DataWorks:Pengembangan dan eksekusi data

    Document Center

    DataWorks:Pengembangan dan eksekusi data

    Last Updated:Jun 21, 2026

    Topik ini menjelaskan pertanyaan umum mengenai pengembangan data.

    Bagaimana cara memanggil paket pihak ketiga di PyODPS?

    Gunakan grup sumber daya eksklusif untuk penjadwalan. Untuk detailnya, lihat Memanggil paket pihak ketiga di node PyODPS.

    Bagaimana cara mengontrol apakah hasil kueri dapat diunduh setelah mengkueri data tabel?

    Untuk mengunduh data di DataWorks, Anda harus terlebih dahulu mengaktifkan fitur unduh. Jika opsi unduh tidak muncul, berarti ruang kerja Anda belum mengaktifkan fitur tersebut. Hubungi administrator Akun Alibaba Cloud atau ruang kerja Anda untuk mengaktifkannya di Pengelolaan Ruang Kerja. Di Konsol DataWorks, klik Workspace Configuration di panel navigasi sebelah kiri. Di bagian Security Settings, alihkan sakelar Download SELECT results untuk mengizinkan atau memblokir pengunduhan hasil kueri. Saat sakelar berwarna biru (diaktifkan), Anda dapat mengunduh hasil kueri SELECT.

    Setelah menjalankan kueri, opsi unduh akan muncul di pojok kanan bawah hasil. Klik tombol Download di bilah alat di bagian bawah halaman hasil untuk mengunduh data.

    Karena keterbatasan engine, antarmuka DataWorks hanya mengizinkan pengunduhan hingga 10.000 baris.

    Bagaimana cara mengunduh lebih dari 10.000 baris data tabel?

    Gunakan MaxCompute Tunnel. Untuk detailnya, lihat Mengekspor volume data besar menggunakan SQLTask dan Tunnel.

    Mengapa pembuatan tabel visual di DataWorks gagal untuk EMR dengan error "call emr exception"?

    • Penyebab kemungkinan: Grup keamanan kluster ECS yang menjalankan EMR tidak memiliki aturan yang diperlukan. Saat mendaftarkan kluster EMR, tambahkan kebijakan grup keamanan berikut untuk menghindari error ini.

      Grup keamanan kluster ECS yang menjalankan EMR tidak memiliki aturan yang diperlukan. Saat mendaftarkan kluster EMR, tambahkan kebijakan grup keamanan berikut untuk menghindari error ini.

      • Kebijakan Otorisasi: Izinkan

      • Jenis protokol: Custom TCP

      • Rentang port: 8898/8898

      • Obyek otorisasi: 100.104.0.0/16

    • Resolusi: Periksa konfigurasi grup keamanan kluster ECS yang menjalankan EMR dan tambahkan kebijakan di atas.

    Bagaimana cara menggunakan resource dalam sebuah node?

    Klik kanan node resource target dan pilih Insert Resource Path.

    ##@resource_reference{"pyodps_packagetest.py"}
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath('pyodps_packagetest.py'))) # Tambahkan resource ke workspace
import pyodps_packagetest # Referensikan resource
pyodps_packagetest.printname() # Panggil metode

    Bagaimana cara mengunduh resource yang diunggah ke DataWorks?

    Klik kanan node resource target dan pilih View Historical Versions. Di kotak dialog Version Information, tabel riwayat versi mencakup kolom versi, pengirim, waktu pengiriman, jenis perubahan, status, keterangan, dan aksi. Di kolom Actions, klik Code untuk melihat konten resource pada versi tersebut, atau klik Roll Back untuk mengembalikan resource ke versi tersebut. Gunakan tombol Compare di bagian bawah dialog untuk membandingkan versi.

    Bagaimana cara mengunggah resource yang berukuran lebih dari 30 MB?

    Unggah resource yang berukuran lebih dari 30 MB menggunakan perintah Tunnel. Setelah diunggah, tambahkan sebagai resource MaxCompute di DataWorks untuk penggunaan lebih lanjut. Untuk detailnya, lihat Bagaimana cara menggunakan resource yang diunggah melalui odpscmd di DataWorks?.

    Bagaimana cara menggunakan resource yang diunggah melalui odpscmd di DataWorks?

    Untuk menggunakan resource yang diunggah melalui odpscmd di DataWorks, tambahkan di bawah MaxCompute Resources di DataStudio. Di panel navigasi sebelah kiri DataStudio, klik MaxCompute Resources. Panel utama menampilkan semua resource MaxCompute di ruang kerja saat ini, termasuk yang diunggah melalui odpscmd. Pilih resource target dan klik Add to Data Development di panel detail sebelah kanan untuk menyertakannya dalam alur kerja pengembangan data Anda.

    Bagaimana cara mengunggah file JAR yang dikembangkan secara lokal di DataWorks dan mengeksekusinya?

    Unggah file JAR Anda sebagai resource di antarmuka pengembangan data. Untuk menggunakannya di sebuah node, klik kanan node resource dan pilih Insert Resource Path (ini akan menambahkan baris komentar di bagian atas node). Kemudian, eksekusi JAR langsung berdasarkan nama resourcenya. Di DataStudio, perluas node Resources di pohon file sebelah kiri, klik kanan, dan pilih New > JAR untuk membuat resource JAR. Di panel Upload Resource sebelah kanan, klik ikon unggah dan pilih file JAR lokal Anda (misalnya, ip2region.jar). Centang kotak centang Upload as ODPS Resource untuk menyinkronkan resource ke MaxCompute (ODPS). Setelah mengklik Upload, kirim dan terbitkan resource tersebut. Jika tidak, Anda akan mendapatkan error resource not found saat runtime.

    Contoh: Di node Shell, gunakan ##@resource_reference{"test.jar"} java -jar test.jar.

    Bagaimana cara menggunakan resource tabel MaxCompute di DataWorks?

    DataWorks tidak mendukung pengunggahan resource tabel MaxCompute melalui antarmuka grafis. Lihat contoh MaxCompute UDF: Referensi resource tabel untuk cara mereferensikan resource tabel. Untuk menggunakan resource tabel MaxCompute di DataWorks, ikuti langkah-langkah berikut:

    1. Di MaxCompute, tambahkan tabel sebagai resource tabel menggunakan pernyataan SQL berikut. Untuk informasi lebih lanjut, lihat Add Resource.

      add table <table_name> [partition (<spec>)] [as <alias>] [comment '<comment>'][-f];

    2. Di DataStudio, buat resource Python bernama get_cache_table.py untuk melakukan traversal dan mengakses resource tabel yang ditambahkan di MaxCompute. Untuk kode Python-nya, lihat Develop code.

    1. Di halaman Pengembangan Data DataWorks, buat fungsi baru. Dalam contoh ini, fungsi tersebut diberi nama table_udf.

      Isi bidang-bidang berikut:

      • Class Name: get_cache_table.DistCacheTableExample

      • Resources: Pilih file Python get_cache_table.py dari dropdown. Tambahkan resource tabel dalam mode Script Mode.

    2. Setelah mendaftarkan fungsi, ikuti contoh penggunaan untuk menyiapkan data uji dan memanggil fungsi yang telah didaftarkan.

    Saat mengirimkan task di DataWorks, saya menerima error "No default or available resource group is configured." Bagaimana cara mengonfigurasi resource group?

    Untuk mengatasi hal ini, buka bagian Scheduling Settings di sisi kanan halaman pengeditan node. Temukan Resource Group for Scheduling dan pilih resource group yang diinginkan dari dropdown. Jika tidak ada resource group yang sesuai, ikat resource group ke ruang kerja Anda sebagai berikut.

    1. Login ke Konsol Manajemen DataWorks. Setelah mengganti wilayah, klik Resource Group di panel navigasi sebelah kiri untuk membuka Resource Groups.

    2. Di halaman Daftar Resource Group, temukan resource group yang telah Anda buat dan klik Associate Workspace di kolom Actions.

    3. Di halaman Associate Workspace, temukan ruang kerja DataWorks Anda dan klik Associate di kolom Actions.

    Setelah menyelesaikan langkah-langkah ini, kembali ke halaman pengeditan node. Di Scheduling Settings di sisi kanan, pilih resource group penjadwalan yang diinginkan dari dropdown.

    Apakah resource Python dapat memanggil resource Python lainnya?

    Selama dua resource berada dalam ruang kerja yang sama, resource Python dapat memanggil resource Python lainnya.

    Apakah PyODPS mendukung pemanggilan user-defined function untuk menggunakan paket pihak ketiga?

    Jika Anda tidak ingin menggunakan fungsi test melalui metode map dari DataFrame, PyODPS juga mendukung pemanggilan langsung user-defined function untuk mengimpor paket pihak ketiga. Untuk informasi lebih lanjut, lihat Menggunakan paket pihak ketiga di PyODPS.

    Saat memanggil file Pickle di PyODPS 3, saya mendapatkan error: _pickle.UnpicklingError: invalid load key, '\xef

    Jika kode Anda berisi karakter khusus, kompres menjadi file ZIP sebelum diunggah. Kemudian, dekompres dan gunakan dalam kode Anda.

    Bagaimana cara menghapus resource MaxCompute?

    Setelah membuat resource, Anda dapat menghapusnya sebagai berikut. Di mode dasar, klik kanan resource dan hapus langsung. Di mode standar, hapus resource di lingkungan pengembangan terlebih dahulu, lalu hapus di lingkungan produksi. Contoh berikut menunjukkan cara menghapus resource di produksi.

    Catatan

    Di mode standar, lingkungan pengembangan dan produksi terpisah. Menghapus resource di DataStudio hanya menghapusnya dari lingkungan pengembangan. Untuk menghapusnya dari produksi, Anda harus menerbitkan operasi penghapusan tersebut.

    1. Hapus resource di lingkungan pengembangan. Di bawah workflow terkait, buka MaxCompute > Resource. Klik kanan resource yang akan dihapus dan klik Delete. Di dialog konfirmasi, klik Confirm.

    2. Hapus resource dari lingkungan produksi. Operasi penghapusan membuat catatan penerapan tertunda di antarmuka penerapan, dan resource dihapus dari lingkungan produksi hanya setelah catatan tersebut diterapkan. Anda dapat mengklik DataStudio di pojok kanan atas halaman DataStudio, memfilter jenis perubahan ke Unpublish, menemukan paket penerapan yang membatalkan penerbitan resource seperti dijelaskan pada langkah sebelumnya, mengklik Actions, lalu mengklik Deploy. Di halaman pop-up, klik Deploy. Setelah menyelesaikan penerapan, resource tersebut dihapus dari lingkungan produksi.

    Setelah mengaktifkan Kerberos di kluster EMR, mengapa saya mendapatkan error "DlfMetaStoreClientFactory not found" saat menjalankan spark-submit dalam mode YARN-Cluster di node EMR Spark?DlfMetaStoreClientFactory not found?

    • Detail error: Class com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory not found?

    • Penyebab: Setelah mengaktifkan Kerberos di kluster EMR, classpath Driver dalam mode YARN-Cluster tidak secara otomatis menyertakan file JAR dari direktori tertentu, sehingga task Spark gagal. Untuk detailnya, lihat FAQ EMR on ECS.

    • Solusi: Tentukan secara manual paket terkait DLF sebagai berikut:

      • Setelah mengaktifkan Kerberos di kluster EMR, saat mengirimkan task dalam mode YARN-Cluster menggunakan spark-submit, tambahkan parameter --jars. Sertakan semua file JAR dari direktori /opt/apps/METASTORE/metastore-current/hive2 bersama dengan dependensi aplikasi Anda.

        Untuk mode YARN-Cluster di EMR Spark, tentukan secara manual paket terkait DLF seperti yang ditunjukkan di bawah ini.

        Penting

        Di mode YARN-Cluster, semua dependensi dalam parameter --jars harus dipisahkan dengan koma. Jalur direktori tidak didukung.

        spark-submit --deploy-mode cluster --class org.apache.spark.examples.SparkPi --master yarn  --jars /opt/apps/METASTORE/metastore-current/hive2/aliyun-java-sdk-dlf-shaded-0.2.9.jar,/opt/apps/METASTORE/metastore-current/hive2/metastore-client-common-0.2.22.jar,/opt/apps/METASTORE/metastore-current/hive2/metastore-client-hive2-0.2.22.jar,/opt/apps/METASTORE/metastore-current/hive2/metastore-client-hive-common-0.2.22.jar,/opt/apps/METASTORE/metastore-current/hive2/shims-package-0.2.22.jar /opt/apps/SPARK3/spark3-current/examples/jars/spark-examples_2.12-3.4.2.jar

      • Saat menentukan secara manual paket terkait DLF, konfigurasikan Informasi AccessKey dengan izin untuk mengakses DLF dan OSS. Jika tidak, Anda mungkin mengalami error otentikasi STS, seperti salah satu berikut:

        • Process Output>>> java.io.IOException: Response{protocol=http/1.1, code=403, message=Forbidden, url=http://xxx.xxx.xxx.xxx/latest/meta-data/Ram/security-credentials/}

        • at com.aliyun.datalake.metastore.common.STSHelper.getEMRSTSToken(STSHelper.java:82)

        Di tingkat task, tambahkan parameter berikut di Konfigurasi Lanjutan di sisi kanan node (untuk menerapkan secara global, konfigurasikan ini sebagai parameter global Spark di pengaturan layanan kluster):
"spark.hadoop.dlf.catalog.akMode":"MANUAL",
"spark.hadoop.dlf.catalog.accessKeyId":"xxxxxxx",
"spark.hadoop.dlf.catalog.accessKeySecret":"xxxxxxxxx"

    Bagaimana cara memulihkan node yang telah dihapus?

    Setelah menghapus node, pulihkan dari Keranjang daur ulang. Di DataStudio, klik Recycle Bin di panel navigasi sebelah kiri. Di daftar node yang dihapus, klik kanan node target dan pilih Restore.

    Bagaimana cara melihat versi sebuah node?

    Buka antarmuka konfigurasi node untuk melihat versinya.

    Penting

    Versi hanya dihasilkan setelah pengiriman.

    Di sisi kanan antarmuka konfigurasi node, klik tab Versions untuk melihat daftar versi, yang mencakup ID file, nomor versi, pengirim, dan waktu pengiriman. Di kolom Actions, klik Code untuk melihat kode pada versi tertentu, atau klik Roll Back untuk mengembalikan ke versi tersebut. Pilih dua versi apa pun dan klik tombol Compare di bagian bawah untuk melihat perbedaannya.

    Bagaimana cara mengkloning workflow?

    Gunakan fitur grup node. Untuk detailnya, lihat Menggunakan grup node.

    Bagaimana cara mengekspor kode node dari ruang kerja?

    Gunakan fitur Migration Assistant. Untuk detailnya, lihat Migration Assistant.

    Bagaimana cara memeriksa status pengiriman node workflow?

    Jika Anda ingin melihat status pengiriman node bisnis, Anda dapat memilih DataStudio > Workflow, perluas daftar Business Process yang sesuai, dan lihat status semua node dalam proses bisnis saat ini. Jika ikon icon muncul di sebelah kiri nama node, artinya node tersebut telah dikirim. Jika ikon icon tidak muncul di sebelah kiri nama node, artinya node tersebut belum dikirim.

    Ketika sebuah workflow berisi beberapa node, apakah saya dapat mengonfigurasi informasi penjadwalannya secara batch?

    DataWorks tidak mendukung pengonfigurasian informasi penjadwalan di tingkat workflow. Anda tidak dapat mengonfigurasi informasi penjadwalan node dalam sebuah workflow secara batch. Anda harus mengonfigurasi setiap node secara individual. Misalnya, jika sebuah workflow berisi 20 node, Anda harus mengatur informasi penjadwalan untuk setiap node secara terpisah.

    Jika sebuah node dihapus, apakah instans-nya terpengaruh?

    Sistem penjadwalan menghasilkan satu atau beberapa instans setiap hari berdasarkan atribut waktu task. Jika Anda menghapus task setelah task tersebut berjalan selama beberapa waktu, instans yang sudah ada tetap ada. Jika sebuah instans dipicu setelah task dihapus, instans tersebut gagal karena kode tidak lagi tersedia.

    Setelah memodifikasi task node dan menerbitkannya ke lingkungan produksi, apakah ini akan menimpa node sebelumnya yang bermasalah di produksi?

    Tidak. Instans node sebelumnya tidak ditimpa. Instans yang belum dijalankan menggunakan kode terbaru. Jika parameter penjadwalan berubah, Anda harus membuat ulang instans untuk menjalankannya.

    Bagaimana cara memvisualisasikan tabel yang baru dibuat?

    Anda dapat membuat tabel di Pengembangan Data, Manajemen Tabel, atau dalam kontainer tabel di workflow. Di DataStudio, klik Table Management di panel navigasi sebelah kiri. Klik ikon New Table di bilah alat atas. Di panel detail sebelah kanan, konfigurasikan nama tabel, instans engine MaxCompute, dan sumber tabel. Bagian Properti Dasar mencakup nama dalam bahasa Tionghoa, kategori tingkat satu, kategori tingkat dua, dan deskripsi. Di Desain Model Fisik, atur jenis partisi, siklus hidup, level, klasifikasi fisik, dan jenis tabel (tabel internal/tabel eksternal). Di bagian atas panel, gunakan tombol seperti DDL Mode, Load from Development Environment, Submit to Development Environment, Load from Production Environment, dan Submit to Production Environment. Klik kanan tabel di direktori tabel untuk melakukan aksi seperti Rename Table, Import Data, atau Delete Table.

    Bagaimana cara menambahkan field ke tabel produksi?

    Akun Alibaba Cloud dapat menambahkan field ke tabel produksi di halaman Table Management dan mengirimkan perubahan tersebut ke produksi.

    Pengguna RAM harus memiliki peran O&M atau administrator proyek untuk menambahkan field ke tabel produksi di halaman Table Management dan mengirimkan perubahan tersebut ke produksi.

    Bagaimana cara menghapus tabel?

    Untuk menghapus tabel pengembangan, lakukan di antarmuka pengembangan data.

    Untuk menghapus tabel produksi:

    • Hapus dari My Data di Data Map.

    • Buat node ODPS SQL, masukkan dan jalankan pernyataan DROP. Untuk detail pembuatan node ODPS SQL, lihat Mengembangkan task ODPS SQL. Untuk sintaksis DROP, lihat Operasi tabel.

    Di halaman My Data, pilih tabel target dan klik Delete di kolom Actions untuk menghapus satu tabel. Untuk menghapus beberapa tabel, pilih semuanya dan klik Batch Delete di bagian bawah halaman.

    Bagaimana cara mengunggah data lokal ke tabel MaxCompute?

    Di DataStudio, gunakan fitur impor tabel untuk mengunggah data lokal. Klik ikon Import di bilah alat untuk membuka dialog Data Import Wizard. Konfigurasikan parameter berikut: Atur Select Data Import Method ke Upload Local File, File Format ke CSV, klik Browse... untuk memilih file CSV lokal Anda (hanya file .csv yang didukung), Select Separator ke Comma, Source Character Set ke GBK, Import Starting Row ke 1, dan centang First Row as Header.

    Pembuatan tabel gagal di kluster EMR, dan antarmuka menampilkan: call emr exception?

    • Grup keamanan kluster ECS yang menjalankan EMR tidak memiliki aturan yang diperlukan. Saat mendaftarkan kluster EMR, tambahkan kebijakan grup keamanan berikut untuk menghindari error ini.

      • Kebijakan otorisasi: Allow

      • Jenis protokol: Custom TCP

      • Rentang port: 8898/8898

      • Obyek otorisasi: 100.104.0.0/16

    • Solusi:

      Periksa konfigurasi grup keamanan kluster ECS yang menjalankan EMR dan tambahkan kebijakan di atas.

    Bagaimana cara mengakses data lingkungan produksi dari lingkungan pengembangan?

    Di mode standar, kueri data produksi menggunakan project_name.table_name.

    Jika Anda meningkatkan dari mode dasar ke mode standar, minta izin peran produsen sebelum mengkueri data produksi dengan project_name.table_name. Untuk detail permintaan izin, lihat Meminta izin tabel.

    Bagaimana cara memperoleh log eksekusi historis di antarmuka pengembangan data?

    Di antarmuka pengembangan data, temukan modul Runtime Logs di sidebar sebelah kiri untuk melihat log eksekusi historis.

    Berapa lama riwayat eksekusi pengembangan data disimpan?

    Secara default, riwayat eksekusi di antarmuka pengembangan data disimpan selama 3 hari.

    Catatan

    Untuk periode retensi log dan instans di pusat O&M produksi, lihat Berapa lama log dan instans disimpan?.

    Bagaimana cara memodifikasi properti node, resource, fungsi, dan objek lainnya secara batch?

    Di antarmuka DataStudio, klik Batch Operation di bilah alat sebelah kiri. Anda dapat memodifikasi node, resource, dan fungsi secara batch. Setelah melakukan perubahan, kirimkan secara massal dan terbitkan di antarmuka rilis task untuk menerapkan perubahan ke produksi.

    Di antarmuka operasi batch, pilih node target. Bilah aksi di bagian bawah menyediakan tombol Submit, Change Owner, dan Change Engine Instance. Klik More untuk mengakses aksi tambahan: Change Scheduling Resource Group, Change Rerun Properties, Change Scheduling Type, Change Scheduling Cycle, Change Timeout Period, dan Delete. Klik Operation History di pojok kanan atas untuk melihat operasi batch sebelumnya.

    Bagaimana cara memodifikasi secara batch resource group penjadwalan yang digunakan oleh node di bawah workflow pada halaman pengembangan data?

    Di DataStudio, buka tab Orkestrasi Resource Group workflow. Di sini, Anda dapat memodifikasi secara batch resource group penjadwalan untuk semua node dalam workflow. Setelah melakukan perubahan, klik Submit untuk mengirimkannya secara massal, lalu terbitkan di antarmuka rilis task untuk menerapkan perubahan ke produksi. Di tab Orkestrasi Resource Group, gunakan pohon navigasi di sebelah kiri untuk memfilter node berdasarkan jenis (Data Integration, MaxCompute, Hologres, dll.). Bagian kanan atas menampilkan area konfigurasi untuk Shared Resource Groups for Scheduling dan Exclusive Resource Groups. Di bawahnya, daftar node memungkinkan Anda memfilter berdasarkan nama node, jenis node, jenis engine, instans engine, atau pemilik. Pilih node yang akan dimodifikasi dan klik Switch Resource Group di bagian bawah untuk menerapkan perubahan.

    Saat menghubungkan Power BI ke MaxCompute, saya mengalami error. Bagaimana cara mengatasinya?

    MaxCompute tidak mendukung koneksi Power BI. Kami menyarankan menggunakan Hologres sebagai gantinya. Untuk detailnya, lihat Endpoints.

    Pemanggilan OpenAPI gagal dengan access is forbidden. Please first activate DataWorks Enterprise Edition or Flagship Edition

    OpenAPI memerlukan DataWorks Edisi Perusahaan. Untuk detailnya, lihat Ikhtisar DataWorks OpenAPI.

    Bagaimana cara memperoleh contoh penggunaan Python SDK?

    Di halaman API terkait, klik Debug untuk melihat contoh Python SDK.

    Task saya berjalan tanpa ID instans. Bagaimana cara menonaktifkan mode akselerasi ODPS?

    Untuk mendapatkan ID instans, nonaktifkan mode akselerasi.

    Catatan

    DataWorks hanya mendukung pengunduhan 10.000 baris. Untuk lebih banyak, gunakan Tunnel, yang memerlukan ID instans.

    Task submitted successfully
Task running...
Task running...
Task running...
Task running...
Congratulations! Your task was selected to run in MaxCompute Query Acceleration mode
SQL executed successfully in MaxCompute Query Acceleration mode
SQL: SELECT a.real_name...

    Saat menjalankan task, tambahkan set odps.mcqa.disable=true; di editor node ODPS SQL (eksekusi bersama dengan pernyataan SELECT Anda).

    Error: [202:ERROR_GROUP_NOT_ENABLE]:group is not available

    Saat eksekusi task, Anda mendapatkan error: Job Submit Failed! submit job failed directly! Caused by: execute task failed, exception: [202:ERROR_GROUP_NOT_ENABLE]:group is not available.

    Penyebab kemungkinan: Resource group yang diikat tidak tersedia.

    Solusi: Masuk ke Konsol DataWorks, lalu klik Resource Groups di panel navigasi sebelah kiri. Temukan kelompok sumber daya Anda dan periksa apakah statusnya (Status) adalah Running. Jika tidak, mulai ulang kelompok sumber daya tersebut atau gunakan kelompok sumber daya lain yang tersedia.