DataWorks:Unggah data

Catatan

• Jika operasi Anda melibatkan transfer data lintas batas (misalnya, mentransfer data dari Tiongkok daratan ke lokasi di luar Tiongkok daratan atau antar negara atau wilayah berbeda), Anda harus terlebih dahulu membaca dan memahami pernyataan kepatuhan terkait. Jika tidak, unggahan dapat gagal dan Anda dapat menghadapi tanggung jawab hukum.

• Sebelum mengunggah data, kami menyarankan menggunakan header dalam bahasa Inggris pada file sumber Anda. Header dalam bahasa Tionghoa dapat menyebabkan kegagalan parsing dan berpotensi mengakibatkan kegagalan unggahan.

Batasan

• Batasan kelompok sumber daya: Fitur Unggah Data mengharuskan Anda menentukan resource group for scheduling dan resource group for Data Integration.

  • Fitur ini hanya mendukung serverless resource group (direkomendasikan), exclusive resource group for scheduling, dan exclusive resource group for Data Integration. Anda harus mengonfigurasi resource group for scheduling dan resource group for Data Integration untuk mesin terkait di Data Analysis > More > System Management.

  • Kelompok sumber daya yang dipilih harus dikaitkan dengan ruang kerja DataWorks yang berisi tabel tujuan. Anda juga harus memastikan konektivitas jaringan antara kelompok sumber daya yang dipilih dan sumber data yang digunakan untuk tugas unggah.

    Catatan

    • Untuk mengonfigurasi resource group untuk mesin di Data Analysis, lihat System management.

    • Untuk menetapkan konektivitas jaringan antara sumber data dan resource group, lihat Network connectivity solutions.

    • Untuk mengaitkan exclusive resource group dengan ruang kerja yang ditentukan, lihat Use exclusive resource groups for scheduling dan Use an exclusive resource group for Data Integration.

• Izin yang diperlukan untuk unggah data:

  • Tabel MaxCompute (tabel ODPS): Anda hanya perlu menjadi pemilik tabel. Anda tidak memerlukan peran developer, analyst, atau operator di ruang kerja DataWorks.

  • Tabel non-MaxCompute (seperti Hologres, EMR Hive, dan StarRocks): Selain menjadi pemilik tabel, Anda harus memiliki peran yang ditetapkan di ruang kerja DataWorks.

    • Tabel di lingkungan pengembangan: Anda harus memiliki peran developer.

    • Tabel di lingkungan produksi: Anda harus memiliki peran operator.

• Batasan jenis tabel: Anda dapat mengunggah data ke tabel internal. Untuk EMR Hive, tabel eksternal juga didukung. Untuk StarRocks, hanya tabel dalam default catalog yang didukung.

Penagihan

Unggah data dikenai biaya sebagai berikut:

• Biaya transfer data.

• Jika tabel baru dibuat, biaya komputasi dan penyimpanan akan dikenakan.

Semua biaya dikenakan oleh mesin. Untuk informasi lebih lanjut, lihat MaxCompute billing, Hologres billing, E-MapReduce billing, dan EMR Serverless StarRocks billing.

Buka halaman Unggah Data

1. Masuk ke DataWorks console. Di wilayah target, klik Data Integration > Data Upload and Download di panel navigasi sebelah kiri. Klik Go to Data Upload and Download.

2. Klik ikon di panel navigasi sebelah kiri untuk membuka halaman Upload Data.

3. Klik Upload Data dan ikuti petunjuk di layar untuk mengunggah data.

Pilih data untuk diunggah

Anda dapat mengunggah data dari file lokal, spreadsheet, OSS, dan file HTTP. Pilih sumber data sesuai kebutuhan bisnis Anda.

Saat mengunggah file, tentukan apakah akan melewati data kotor sesuai kebutuhan.

• Yes: Jika data kotor terdeteksi, sistem secara otomatis melewatinya dan melanjutkan unggahan.

• No: Jika data kotor terdeteksi, sistem tidak melewatinya dan unggahan terhenti.

Konfigurasi tabel tujuan

Di bagian Configure Destination Table, pilih Compute Engine untuk unggahan data dan konfigurasikan parameter terkait berdasarkan mesin yang dipilih.

Saat mengonfigurasi tabel tujuan, pastikan Anda membedakan antara PROD (lingkungan produksi) dan DEV (lingkungan pengembangan) saat memilih sumber data. Jika Anda memilih lingkungan yang salah, data akan diunggah ke lingkungan yang tidak dimaksudkan.

Pratinjau data yang akan diunggah

Setelah mengonfigurasi tabel tujuan, Anda dapat menyesuaikan encoding file dan pemetaan kolom berdasarkan pratinjau data.

Saat ini, hanya 20 baris data pertama yang dapat dipratinjau.

• File Encoding Format: Jika data mengandung karakter acak (garbled), Anda dapat mengganti format encoding. Format encoding berikut didukung: UTF-8, GB18030, Big5, UTF-16LE, dan UTF-16BE.

• Pratinjau data dan konfigurasi kolom tabel tujuan:

  • Unggah data ke tabel yang sudah ada: Anda harus mengonfigurasi pemetaan antara kolom di file sumber dan kolom di tabel tujuan. Data hanya dapat diunggah setelah pemetaan dikonfigurasi. Metode pemetaan meliputi Mapping by Column Name dan Mapping by Order. Setelah pemetaan dikonfigurasi, Anda juga dapat menyesuaikan nama kolom di tabel tujuan.

    Catatan

    • Jika data yang akan diunggah tidak memiliki pemetaan ke kolom tabel tujuan, data tersebut akan diberi warna abu-abu dan tidak akan diunggah.

    • Pemetaan ganda antara data yang akan diunggah dan kolom tabel tujuan tidak diperbolehkan.

    • Nama kolom dan tipe kolom tidak boleh kosong. Jika kosong, data tidak dapat diunggah.

  • Unggah data ke tabel baru: Anda dapat menggunakan Intelligent Field Generation untuk mengisi informasi kolom secara otomatis, atau memodifikasi informasi kolom secara manual.

    Catatan

    • Nama kolom dan tipe kolom tidak boleh kosong. Jika kosong, data tidak dapat diunggah.

    • Mesin EMR Hive, Hologres, dan StarRocks tidak mendukung pembuatan tabel baru selama unggahan data.

• Ignore First Row: Menentukan apakah baris pertama data file (biasanya nama kolom) akan diunggah ke tabel tujuan.

  • Selected: Jika baris pertama berisi nama kolom, baris tersebut tidak diunggah ke tabel tujuan.

  • Cleared: Jika baris pertama berisi data, baris tersebut diunggah ke tabel tujuan.

Unggah data

Setelah mempratinjau data, klik tombol Upload Data di pojok kiri bawah untuk mengunggah data.

Selama proses unggah, Anda dapat melihat log tugas untuk melacak progres. Setelah unggahan berhasil atau gagal, Anda juga dapat melihat log untuk memverifikasi hasil atau melakukan troubleshooting.

Langkah selanjutnya

Setelah unggahan selesai, klik ikon di panel navigasi sebelah kiri untuk membuka halaman Upload Data. Temukan tugas unggah data yang telah dibuat dan lakukan operasi berikut sesuai kebutuhan:

• Lihat log: Lihat log tugas selama unggahan atau setelah unggahan berhasil atau gagal.

• Lanjutkan unggahan: Klik Resume di kolom Operation untuk mengunggah data lagi.

• Kueri data: Klik Query Data di kolom Operation untuk mengkueri dan menganalisis data.

• Lihat detail unggahan: Klik Table Name target untuk membuka Data Map dan melihat informasi detail tentang tabel tujuan. Untuk informasi lebih lanjut, lihat Metadata retrieval.

Lampiran: Pernyataan kepatuhan untuk unggah data lintas batas

Jika operasi Anda melibatkan transfer data lintas batas (misalnya, mentransfer data dari Tiongkok daratan ke lokasi di luar Tiongkok daratan, atau antar negara atau wilayah berbeda), Anda harus terlebih dahulu membaca dan memahami pernyataan kepatuhan terkait. Jika tidak, unggahan dapat gagal dan Anda dapat menghadapi tanggung jawab hukum.

Operasi lintas batas akan mentransfer data bisnis cloud Anda ke wilayah yang Anda pilih atau wilayah tempat produk tersebut dideploy. Anda harus memastikan bahwa operasi tersebut memenuhi persyaratan berikut:

• Anda memiliki izin untuk memproses data bisnis cloud terkait.

• Anda telah menerapkan teknologi dan kebijakan perlindungan keamanan data yang memadai.

• Transfer data mematuhi persyaratan hukum dan peraturan yang berlaku. Misalnya, data yang ditransfer tidak mengandung konten apa pun yang dibatasi, dilarang untuk ditransfer, atau dilarang untuk diungkapkan berdasarkan hukum yang berlaku.

Alibaba Cloud mengingatkan Anda bahwa jika operasi unggah data Anda berpotensi mengakibatkan transfer data lintas batas, konsultasikan dengan tenaga profesional hukum atau kepatuhan sebelum melakukan operasi tersebut untuk memastikan bahwa transfer data lintas batas mematuhi hukum, peraturan, dan kebijakan pengawasan yang berlaku (misalnya, memperoleh otorisasi yang sah dari subjek data, menandatangani dan mengajukan klausa kontrak terkait, serta menyelesaikan penilaian keamanan dan kewajiban hukum lainnya).

Jika Anda melakukan operasi lintas batas tanpa mematuhi pernyataan kepatuhan ini, Anda akan menanggung konsekuensi hukum yang sesuai. Anda juga bertanggung jawab atas kerugian apa pun yang dialami oleh Alibaba Cloud dan afiliasinya.

Referensi

• Data Studio juga mendukung pengunggahan file CSV atau teks lokal ke tabel MaxCompute. Untuk informasi lebih lanjut, lihat Upload data.

• Untuk operasi tambahan pada tabel MaxCompute, lihat Create and use MaxCompute tables.

• Untuk operasi tambahan pada tabel Hologres, lihat Create a Hologres table.

• Untuk operasi tambahan pada tabel EMR, lihat Create an EMR table.

FAQ

1. Masalah konfigurasi resource group.

   Pesan error: Sumber file atau mesin tujuan saat ini memerlukan resource group untuk unggah data. Hubungi administrator ruang kerja untuk mengonfigurasi resource group.

   Solusi: Untuk mengonfigurasi resource group untuk mesin di Data Analysis, lihat System management.

2. Masalah asosiasi resource group.

   Pesan error: Resource group yang dikonfigurasi untuk unggah data global di ruang kerja Anda tidak dikaitkan dengan ruang kerja tempat tabel target berada. Hubungi administrator ruang kerja untuk mengaitkannya.

   Solusi: Anda dapat mengaitkan resource group sebagai resource group ruang kerja yang dikonfigurasi di system management.