DataWorks:Unggah data

Catatan

• Jika operasi Anda melibatkan transfer data lintas batas (misalnya, mentransfer data dari Tiongkok daratan ke lokasi di luar Tiongkok daratan atau antar negara atau wilayah berbeda), Anda harus terlebih dahulu membaca dan memahami pernyataan kepatuhan terkait. Jika tidak, unggahan dapat gagal dan Anda berpotensi menghadapi tanggung jawab hukum.

• Sebelum mengunggah data, kami menyarankan menggunakan header berbahasa Inggris dalam file sumber Anda. Header berbahasa Tionghoa dapat menyebabkan kegagalan parsing dan berpotensi membuat unggahan gagal.

Batasan

• Batasan kelompok sumber daya: Fitur Unggah Data mengharuskan Anda menentukan resource group for scheduling dan resource group for Data Integration.

  • Fitur ini hanya mendukung serverless resource group (disarankan), exclusive resource group for scheduling, dan exclusive resource group for Data Integration. Anda harus mengonfigurasi resource group for scheduling dan resource group for Data Integration untuk engine terkait di Data Analysis > More > System Management.

  • Kelompok sumber daya yang dipilih harus dikaitkan dengan ruang kerja DataWorks yang berisi tabel tujuan. Anda juga harus memastikan konektivitas jaringan antara kelompok sumber daya yang dipilih dan sumber data yang digunakan untuk tugas unggah.

    Catatan

    • Untuk mengonfigurasi resource group untuk suatu engine di Data Analysis, lihat System management.

    • Untuk menetapkan konektivitas jaringan antara sumber data dan kelompok sumber daya, lihat Network connectivity solutions.

    • Untuk mengaitkan exclusive resource group dengan ruang kerja yang ditentukan, lihat Use exclusive resource groups for scheduling dan Use an exclusive resource group for Data Integration.

• Izin yang diperlukan untuk unggah data:

  • Tabel MaxCompute (tabel ODPS): Anda hanya perlu menjadi pemilik tabel. Anda tidak memerlukan peran developer, analyst, atau operator di ruang kerja DataWorks.

  • Tabel non-MaxCompute (seperti Hologres, EMR Hive, dan StarRocks): Selain menjadi pemilik tabel, Anda harus memiliki peran yang ditetapkan di ruang kerja DataWorks.

    • Tabel di lingkungan pengembangan: Anda harus memiliki peran developer.

    • Tabel di lingkungan produksi: Anda harus memiliki peran operator.

• Batasan jenis tabel: Anda hanya dapat mengunggah data ke tabel internal atau tabel di bawah default catalog (berlaku untuk StarRocks).

Penagihan

Unggah data dikenai biaya sebagai berikut:

• Biaya transfer data.

• Jika tabel baru dibuat, biaya komputasi dan penyimpanan akan dikenakan.

Semua biaya dikenakan oleh engine. Untuk informasi lebih lanjut, lihat MaxCompute billing, Hologres billing, E-MapReduce billing, dan EMR Serverless StarRocks billing.

Buka halaman Unggah Data

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Integration > Data Upload and Download di panel navigasi kiri. Klik Go to Data Upload and Download.

2. Klik ikon di panel navigasi kiri untuk membuka halaman Upload Data.

3. Klik Upload Data dan ikuti petunjuk di layar untuk mengunggah data.

Pilih data untuk diunggah

Anda dapat mengunggah data dari file lokal, spreadsheet, OSS, dan file HTTP. Pilih sumber data sesuai kebutuhan bisnis Anda.

Saat mengunggah file, tentukan apakah akan melewati data kotor sesuai kebutuhan.

• Yes: Jika data kotor terdeteksi, sistem secara otomatis melewatinya dan melanjutkan unggahan.

• No: Jika data kotor terdeteksi, sistem tidak melewatinya dan unggahan terhenti.

Konfigurasi tabel tujuan

Di bagian Configure Destination Table, pilih Compute Engine untuk unggahan data dan konfigurasikan parameter terkait berdasarkan engine yang dipilih.

Saat mengonfigurasi tabel tujuan, pastikan Anda membedakan antara PROD (lingkungan produksi) dan DEV (lingkungan pengembangan) saat memilih sumber data. Jika Anda memilih lingkungan yang salah, data akan diunggah ke lingkungan yang tidak dimaksudkan.

Pratinjau data yang akan diunggah

Setelah mengonfigurasi tabel tujuan, Anda dapat menyesuaikan encoding file dan pemetaan kolom berdasarkan pratinjau data.

Saat ini, hanya 20 baris data pertama yang dapat dipratinjau.

• File Encoding Format: Jika data berisi karakter acak (garbled), Anda dapat mengganti format encoding. Format encoding yang didukung: UTF-8, GB18030, Big5, UTF-16LE, dan UTF-16BE.

• Pratinjau data dan konfigurasi kolom tabel tujuan:

  • Unggah data ke tabel yang sudah ada: Anda harus mengonfigurasi pemetaan antara kolom di file sumber dan kolom di tabel tujuan. Data hanya dapat diunggah setelah pemetaan dikonfigurasi. Metode pemetaan mencakup Mapping by Column Name dan Mapping by Order. Setelah pemetaan dikonfigurasi, Anda juga dapat menyesuaikan nama kolom di tabel tujuan.

    Catatan

    • Jika data yang akan diunggah tidak memiliki pemetaan ke kolom tabel tujuan, data tersebut akan diberi warna abu-abu dan tidak akan diunggah.

    • Pemetaan ganda antara data yang akan diunggah dan kolom tabel tujuan tidak diizinkan.

    • Nama kolom dan tipe kolom tidak boleh kosong. Jika kosong, data tidak dapat diunggah.

  • Unggah data ke tabel baru: Anda dapat menggunakan Intelligent Field Generation untuk mengisi informasi kolom secara otomatis, atau memodifikasi informasi kolom secara manual.

    Catatan

    • Nama kolom dan tipe kolom tidak boleh kosong. Jika kosong, data tidak dapat diunggah.

    • Engine EMR Hive, Hologres, dan StarRocks tidak mendukung pembuatan tabel baru selama unggahan data.

• Ignore First Row: Menentukan apakah baris pertama data file (biasanya nama kolom) diunggah ke tabel tujuan.

  • Selected: Jika baris pertama berisi nama kolom, baris tersebut tidak diunggah ke tabel tujuan.

  • Cleared: Jika baris pertama berisi data, baris tersebut diunggah ke tabel tujuan.

Unggah data

Setelah mempratinjau data, klik tombol Upload Data di pojok kiri bawah untuk mengunggah data.

Langkah berikutnya

Setelah data diunggah, klik ikon di panel navigasi kiri untuk membuka halaman Upload Data. Temukan tugas unggah data yang telah dibuat dan lakukan operasi berikut sesuai kebutuhan:

• Lanjutkan unggah: Klik Resume di kolom Operation untuk mengunggah data lagi.

• Kueri data: Klik Query Data di kolom Operation untuk mengkueri dan menganalisis data.

• Lihat detail unggahan: Klik Table Name target untuk membuka Data Map dan melihat informasi detail tentang tabel tujuan. Untuk informasi lebih lanjut, lihat Metadata retrieval.

Lampiran: Pernyataan kepatuhan untuk unggah data lintas batas

Jika operasi Anda melibatkan transfer data lintas batas (misalnya, mentransfer data dari Tiongkok daratan ke lokasi di luar Tiongkok daratan, atau antar negara atau wilayah berbeda), Anda harus terlebih dahulu membaca dan memahami pernyataan kepatuhan terkait. Jika tidak, unggahan dapat gagal dan Anda berpotensi menghadapi tanggung jawab hukum.

Operasi lintas batas akan mentransfer data bisnis cloud Anda ke wilayah yang Anda pilih atau wilayah tempat produk ditempatkan. Anda harus memastikan bahwa operasi tersebut memenuhi persyaratan berikut:

• Anda memiliki izin untuk memproses data bisnis cloud terkait.

• Anda telah menerapkan teknologi dan kebijakan perlindungan keamanan data yang memadai.

• Transfer data mematuhi persyaratan hukum dan peraturan yang berlaku. Misalnya, data yang ditransfer tidak mengandung konten yang dibatasi, dilarang untuk ditransfer, atau dilarang untuk diungkapkan berdasarkan hukum yang berlaku.

Alibaba Cloud mengingatkan Anda bahwa jika operasi unggah data Anda berpotensi mengakibatkan transfer data lintas batas, konsultasikan dengan tenaga profesional hukum atau kepatuhan sebelum melakukan operasi tersebut untuk memastikan transfer data lintas batas mematuhi hukum, peraturan, dan kebijakan pengawasan yang berlaku (misalnya, memperoleh otorisasi sah dari subjek data, menandatangani dan mengajukan klausa kontrak terkait, serta menyelesaikan penilaian keamanan dan kewajiban hukum lainnya).

Jika Anda melakukan operasi lintas batas tanpa mematuhi pernyataan kepatuhan ini, Anda akan menanggung konsekuensi hukum yang bersangkutan. Anda juga bertanggung jawab atas kerugian apa pun yang dialami oleh Alibaba Cloud dan afiliasinya.

Referensi

• Data Studio juga mendukung pengunggahan file CSV atau teks lokal ke tabel MaxCompute. Untuk informasi lebih lanjut, lihat Upload data.

• Untuk operasi tambahan pada tabel MaxCompute, lihat Manage MaxCompute tables.

• Untuk operasi tambahan pada tabel Hologres, lihat Create a Hologres table.

• Untuk operasi tambahan pada tabel EMR, lihat Create an EMR table.

FAQ

1. Masalah konfigurasi resource group.

   Error message: Sumber file atau engine tujuan saat ini memerlukan resource group untuk unggah data. Hubungi administrator ruang kerja untuk mengonfigurasi resource group.

   Solution: Untuk mengonfigurasi resource group untuk suatu engine di Data Analysis, lihat System management.

2. Masalah asosiasi resource group.

   Error message: Resource group yang dikonfigurasi untuk unggah data global di ruang kerja Anda tidak dikaitkan dengan ruang kerja tempat tabel target berada. Hubungi administrator ruang kerja untuk mengaitkannya.

   Solution: Anda dapat mengaitkan resource group sebagai resource group ruang kerja yang dikonfigurasi di system management.