Unggah data

Fitur unggah data DataWorks memungkinkan Anda mengunggah data dari file lokal, buku kerja DataAnalysis, file Object Storage Service (OSS), dan file HTTP ke mesin seperti MaxCompute, EMR Hive, Hologres, dan StarRocks untuk dianalisis dan dikelola. Fitur ini menyediakan layanan transmisi data yang praktis guna membantu Anda memanfaatkan data demi mendorong bisnis secara cepat. Topik ini menjelaskan cara menggunakan fitur unggah data.

Perhatian

Jika Anda melakukan unggah data lintas batas negara—misalnya, mentransfer data dari Tiongkok Daratan ke luar Tiongkok Daratan atau antar negara atau wilayah berbeda—baca terlebih dahulu pernyataan kepatuhan terkait. Jika tidak, unggah data dapat gagal dan Anda akan bertanggung jawab secara hukum.
Sebelum mengunggah data, atur header tabel dalam bahasa Inggris. Jika header tabel dalam bahasa Tionghoa, penguraian dapat gagal dan menyebabkan kesalahan unggah.

Batasan

Batasan kelompok sumber daya: Fitur unggah data mengharuskan Anda menentukan kelompok sumber daya penjadwalan dan kelompok sumber daya Integrasi Data.
- Hanya kelompok sumber daya Serverless (disarankan), grup sumber daya eksklusif untuk penjadwalan, dan grup sumber daya eksklusif untuk Integrasi Data yang didukung. Anda harus mengonfigurasi kelompok sumber daya penjadwalan dan kelompok sumber daya Integrasi Data untuk mesin yang sesuai di DataAnalysis > More > System Administration.
- Kelompok sumber daya yang dipilih harus disambungkan ke ruang kerja DataWorks tempat tabel tujuan berada. Pastikan sumber data yang digunakan oleh tugas unggah data dapat terhubung ke kelompok sumber daya yang dipilih melalui jaringan.
  Catatan
  - Untuk mengonfigurasi kelompok sumber daya untuk mesin di DataAnalysis, lihat Administrasi sistem.
  - Untuk membuat koneksi jaringan antara sumber data dan kelompok sumber daya, lihat Solusi koneksi jaringan.
  - Untuk menyambungkan grup sumber daya eksklusif ke ruang kerja, lihat Menggunakan grup sumber daya eksklusif untuk penjadwalan dan Menggunakan grup sumber daya eksklusif untuk Integrasi Data.
Batasan tabel: Anda hanya dapat mengunggah data ke tabel yang Anda miliki. Hal ini berlaku dalam skenario berikut:
- Halaman detail tabel di Peta Data menunjukkan bahwa Anda adalah Table Owner. Untuk informasi selengkapnya tentang cara melihat detail tabel, lihat Melihat detail tabel.
- Tabel tersebut adalah tabel baru yang Anda buat saat mengunggah data menggunakan fitur unggah data.

Penagihan

Unggah data menimbulkan biaya berikut:

Biaya transmisi data.
Jika Anda membuat tabel baru, biaya komputasi dan penyimpanan akan dikenakan.

Biaya tersebut dikenakan oleh mesin yang bersangkutan. Untuk rincian biaya spesifik, lihat dokumentasi penagihan mesin yang sesuai: Penagihan MaxCompute, Penagihan Hologres, Penagihan E-MapReduce, dan Penagihan produk EMR Serverless StarRocks.

Buka halaman unggah data

Buka Unggah dan Unduh Data.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Upload and Download. Di halaman yang muncul, klik Go to Data Upload and Download.
Di panel navigasi sebelah kiri, klik ikon untuk membuka halaman Data Upload.
Klik Data Upload dan ikuti petunjuk di layar untuk mengunggah data.

Pilih data file yang akan diunggah

Anda dapat mengunggah data dari file lokal, buku kerja, OSS, dan file HTTP. Pilih sumber data sesuai kebutuhan.

Catatan

Saat mengunggah file, tentukan apakah akan memfilter data kotor sesuai kebutuhan.

Ya: Jika ditemukan data kotor, platform secara otomatis mengabaikannya dan melanjutkan unggah data.
Tidak: Jika ditemukan data kotor, platform tidak mengabaikannya, sehingga unggah data terganggu.

File lokal

Jika data yang ingin Anda unggah berada dalam file lokal, pilih metode ini.

Atur Data Source menjadi Local File.
Specify Data To Upload: Seret file lokal Anda ke area Select File.
Catatan
- Format file yang didukung adalah CSV, XLS, XLSX, dan JSON. Ukuran maksimum file adalah 5 GB untuk file CSV dan 100 MB untuk format file lainnya.
- Secara default, lembar pertama file diunggah. Untuk mengunggah beberapa lembar dari satu file, Anda harus membuat tabel untuk setiap lembar dan menjadikannya lembar pertama file tersebut.
- Mengunggah file dalam format SQL tidak didukung.

Buku kerja

Jika data yang ingin Anda unggah berada dalam buku kerja DataAnalysis DataWorks, pilih metode ini.

Atur Data Source menjadi Workbook.
Specify Data To Upload:
1. Dari daftar tarik-turun di samping Select File, pilih file buku kerja yang akan diunggah.
2. Jika buku kerja belum ada, klik tombol New di sampingnya untuk membuatnya. Anda juga dapat membuka modul DataAnalysis untuk membuat buku kerja dan mengimpor data.

OSS

Jika data yang ingin Anda unggah berada di OSS, pilih metode ini.

Prasyarat:

Anda telah membuat bucket OSS dan menyimpan data yang akan diunggah di dalamnya. Anda kemudian dapat mengunggah data dari OSS ke sumber data yang sesuai.
Untuk menghindari masalah izin, gunakan Resource Access Management (RAM) untuk memberikan izin kepada akun Alibaba Cloud yang Anda gunakan agar dapat mengakses bucket tujuan sebelum mengunggah data.

Langkah-langkah:

Atur Data Source menjadi Object Storage OSS.
Specify The Data To Upload:
1. Dari daftar tarik-turun Select Bucket, pilih bucket OSS tujuan yang menyimpan data yang akan diunggah.
  Catatan
  Anda hanya dapat mengunggah data dari bucket yang berada di wilayah yang sama dengan ruang kerja DataWorks saat ini.
2. Di area Select File, pilih data file yang ingin Anda unggah.
  Catatan
  Hanya file dalam format CSV, XLS, XLSX, dan JSON yang didukung.

File HTTP

Jika data yang ingin Anda unggah berada dalam file HTTP, pilih metode ini.

Atur Data Source menjadi HTTP File.

Specify Data To Upload:

Parameter	Deskripsi konfigurasi
File Address	Alamat tempat data file disimpan. Catatan Alamat file dalam format HTTP dan HTTPS didukung.
File Type	Jenis file dideteksi secara otomatis berdasarkan file yang Anda unggah. File dalam format `CSV`, `XLS`, dan `XLSX` didukung. Ukuran maksimum file `CSV` adalah 5 GB. Ukuran maksimum file lainnya adalah 50 MB.
Request Method	GET, POST, dan PUT didukung. Menggunakan GET untuk mendapatkan data disarankan. Namun, metode spesifik tergantung pada metode permintaan yang diizinkan yang telah Anda definisikan.
Advanced Parameters	Anda juga dapat mengatur Request Header dan Request Body di bagian Advanced Parameters sesuai kebutuhan.

Atur tabel tujuan

Di bagian Set Destination Table, pilih Destination Engine untuk unggah data dan konfigurasikan parameter terkait untuk mesin yang dipilih.

Penting

Saat mengatur tabel tujuan, bedakan antara lingkungan produksi (PROD) dan pengembangan (DEV) saat memilih sumber data. Jika Anda memilih lingkungan yang salah, data akan diunggah ke lingkungan lainnya.

MaxCompute

Untuk mengunggah data ke tabel MaxCompute, konfigurasikan parameter berikut.

Parameter		Deskripsi konfigurasi
Nama proyek MaxCompute		Pilih sumber data MaxCompute yang disambungkan ke wilayah saat ini. Jika sumber data yang ingin Anda gunakan tidak ditemukan, Anda dapat menyambungkan sumber daya komputasi MaxCompute ke ruang kerja saat ini untuk menghasilkan sumber data dengan nama yang sama.
Tabel tujuan		Pilih Existing Table atau New Table.
Destination Table > Existing Table	Pilih tabel tujuan	Tabel tempat data disimpan. Anda dapat mencari tabel berdasarkan kata kunci. Catatan Anda hanya dapat mengunggah data ke tabel yang Anda miliki. Untuk informasi selengkapnya, lihat Batasan.
Destination Table > Existing Table	Mode unggah	Pilih metode untuk menambahkan data ke tabel tujuan. Overwrite: Menghapus data di tabel tujuan lalu mengimpor semua data ke bidang yang dipetakan sesuai di tabel tujuan. Append: Menambahkan data ke bidang yang dipetakan sesuai di tabel tujuan.
Destination Table > New Table	Nama tabel	Masukkan nama kustom untuk tabel baru. Catatan Saat tabel baru dibuat untuk mesin MaxCompute, informasi akun MaxCompute yang dikonfigurasi untuk sumber daya komputasi DataWorks digunakan. Tabel tersebut kemudian dibuat di proyek MaxCompute yang sesuai.
	Jenis tabel	Pilih Non-partitioned Table atau Partitioned Table sesuai kebutuhan. Jika Anda memilih Tabel Partisi, tentukan bidang partisi beserta nilainya.
	Siklus hidup	Tentukan siklus hidup tabel. Setelah tabel kedaluwarsa, tabel tersebut mungkin tidak tersedia lagi. Untuk informasi selengkapnya tentang siklus hidup tabel, lihat Siklus hidup dan Aksi siklus hidup.

EMR HIVE

Untuk mengunggah data ke tabel EMR HIVE, konfigurasikan parameter berikut.

Parameter	Deskripsi konfigurasi
Sumber data	Pilih sumber data EMR Hive (mode instans Alibaba Cloud) yang disambungkan ke ruang kerja di wilayah saat ini.
Tabel tujuan	Anda hanya dapat mengunggah data ke Existing Table.
Pilih tabel tujuan	Tabel tempat data disimpan. Anda dapat mencari tabel berdasarkan kata kunci. Catatan Jika tabel tujuan tidak ada, ikuti petunjuk di layar untuk membuka Manajemen Tabel di Data Studio untuk membuat tabel. Anda hanya dapat mengunggah data ke tabel yang Anda miliki. Untuk informasi selengkapnya, lihat Batasan.
Mode unggah	Pilih metode untuk menambahkan data ke tabel tujuan. Overwrite: Menghapus data di tabel tujuan lalu mengimpor semua data ke bidang yang dipetakan sesuai di tabel tujuan. Append: Menambahkan data ke bidang yang dipetakan sesuai di tabel tujuan.

Hologres

Untuk mengunggah data ke tabel Hologres, konfigurasikan parameter berikut.

Parameter	Deskripsi konfigurasi
Sumber data	Pilih sumber data Hologres yang disambungkan ke ruang kerja di wilayah saat ini. Jika sumber data yang ingin Anda gunakan tidak ditemukan, Anda dapat menyambungkan sumber daya komputasi Hologres ke ruang kerja saat ini untuk menghasilkan sumber data dengan nama yang sama.
Tabel tujuan	Anda hanya dapat mengunggah data ke Existing Table.
Pilih tabel tujuan	Tabel tempat data disimpan. Anda dapat mencari tabel berdasarkan kata kunci. Catatan Jika tabel tujuan tidak ada, ikuti petunjuk di layar untuk membuka konsol Hologres guna membuat tabel. Anda hanya dapat mengunggah data ke tabel yang Anda miliki. Untuk informasi selengkapnya, lihat Batasan.
Mode unggah	Pilih metode untuk menambahkan data ke tabel tujuan. Overwrite: Menghapus data di tabel tujuan lalu mengimpor semua data ke bidang yang dipetakan sesuai di tabel tujuan. Append: Menambahkan data ke bidang yang dipetakan sesuai di tabel tujuan.
Kebijakan konflik kunci utama	Jika unggah data menyebabkan konflik kunci utama di tabel tujuan, Anda dapat menerapkan salah satu kebijakan berikut. Ignore: Data yang diunggah diabaikan. Data di tabel tujuan tidak diperbarui. Update (replace): Data yang diunggah sepenuhnya menimpa data lama di tabel tujuan. Bidang yang tidak dipetakan dipaksakan menjadi NULL. Update (update): Data yang diunggah menimpa data lama di tabel tujuan, tetapi hanya untuk bidang yang dipetakan.

StarRocks

Untuk mengunggah data ke tabel StarRocks, konfigurasikan parameter berikut.

Parameter	Deskripsi konfigurasi
Sumber data	Pilih sumber data StarRocks yang disambungkan ke ruang kerja di wilayah saat ini.
Tabel tujuan	Anda hanya dapat mengunggah data ke Existing Table.
Pilih tabel tujuan	Tabel tempat data disimpan. Anda dapat mencari tabel berdasarkan kata kunci. Catatan Jika tabel tujuan tidak ada, ikuti petunjuk di layar untuk membuka halaman instans EMR Serverless StarRocks guna membuat tabel. Anda hanya dapat mengunggah data ke tabel yang Anda miliki. Untuk informasi selengkapnya, lihat Batasan.
Mode unggah	Pilih metode untuk menambahkan data ke tabel tujuan. Overwrite: Menghapus data di tabel tujuan lalu mengimpor semua data ke bidang yang dipetakan sesuai di tabel tujuan. Append: Menambahkan data ke bidang yang dipetakan sesuai di tabel tujuan.
Parameter lanjutan	Anda dapat mengonfigurasi parameter permintaan Stream Load.

Pratinjau data yang akan diunggah

Setelah mengatur tabel tujuan, Anda dapat menyesuaikan encoding file dan pemetaan data berdasarkan pratinjau data.

Catatan

Anda hanya dapat mempratinjau 20 baris data pertama.

File Encoding: Jika data mengandung teks acak, Anda dapat mengganti format encoding. Format UTF-8, GB18030, Big5, UTF-16LE, dan UTF-16BE didukung.
Pratinjau data dan atur bidang tabel tujuan:
- Unggah data ke tabel yang ada: Anda harus mengonfigurasi pemetaan antara kolom dalam file sumber dan bidang di tabel tujuan. Setelah pemetaan dikonfigurasi, data dapat diunggah. Anda dapat memilih Map By Column Name atau Map By Position. Setelah pemetaan selesai, Anda juga dapat menyesuaikan nama bidang di tabel tujuan.
  Catatan
  - Jika kolom dalam data sumber tidak dipetakan ke bidang di tabel tujuan, data dalam kolom tersebut akan diberi warna abu-abu dan tidak diunggah.
  - Kolom dalam data sumber tidak dapat dipetakan ke beberapa bidang di tabel tujuan.
  - Nama bidang dan jenis bidang tidak boleh kosong. Jika kosong, data tidak dapat diunggah.
- Unggah data ke tabel baru: Anda dapat menggunakan Smart Field Generation untuk mengisi informasi bidang secara otomatis, atau Anda dapat memodifikasi informasi bidang secara manual.
  Catatan
  - Nama bidang dan jenis bidang tidak boleh kosong. Jika kosong, data tidak dapat diunggah.
  - Mesin EMR Hive, Hologres, dan StarRocks tidak mendukung pembuatan tabel baru selama unggah data.
Ignore First Row: Tentukan apakah akan mengunggah baris pertama data file, yang biasanya merupakan nama kolom, ke tabel tujuan.
- Dipilih: Jika baris pertama file berisi nama kolom, baris tersebut tidak diunggah ke tabel tujuan.
- Tidak dipilih: Jika baris pertama file berisi data, baris tersebut diunggah ke tabel tujuan.

Setelah mempratinjau data, klik tombol Data Upload di pojok kiri bawah untuk mengunggah data.

Langkah selanjutnya

Setelah data diunggah, Anda dapat mengklik ikon di panel navigasi sebelah kiri untuk membuka halaman Data Upload. Temukan tugas unggah data yang telah Anda buat dan lakukan operasi berikut sesuai kebutuhan:

Lanjutkan unggah: Di kolom Actions, klik Continue Upload untuk mengunggah data lagi.
Kueri data: Di kolom Actions, klik Query Data untuk mengkueri dan menganalisis data.
Lihat detail data unggah: Klik Table Name tujuan untuk membuka Peta Data dan melihat informasi detail tabel tujuan. Untuk informasi selengkapnya, lihat Kueri dan manajemen data umum.

Lampiran: Pernyataan kepatuhan untuk unggah data lintas batas negara

Penting

Jika Anda melakukan unggah data lintas batas negara—misalnya, mentransfer data dari Tiongkok Daratan ke luar Tiongkok Daratan atau antar negara atau wilayah berbeda—baca pernyataan kepatuhan terkait terlebih dahulu. Jika tidak, unggah data dapat gagal dan Anda akan bertanggung jawab secara hukum.

Operasi data lintas batas negara akan menyebabkan data bisnis Anda di cloud ditransfer ke wilayah atau area penerapan produk yang Anda pilih. Anda harus memastikan bahwa operasi tersebut mematuhi persyaratan berikut:

Anda memiliki hak untuk memproses data bisnis terkait di cloud.
Anda telah menerapkan teknologi dan kebijakan perlindungan keamanan data yang memadai.
Transfer data mematuhi persyaratan hukum dan peraturan terkait. Misalnya, data yang ditransfer tidak mengandung konten apa pun yang dibatasi atau dilarang untuk ditransfer atau diungkapkan oleh hukum yang berlaku.

Alibaba Cloud mengingatkan Anda bahwa jika operasi unggah data Anda dapat menyebabkan transfer data lintas batas negara, Anda harus berkonsultasi dengan tenaga profesional hukum atau kepatuhan sebelum melakukan operasi tersebut. Pastikan transfer data lintas batas negara mematuhi persyaratan hukum, peraturan, dan kebijakan pengawasan yang berlaku. Misalnya, Anda harus memperoleh otorisasi yang sah dari subjek informasi pribadi, menyelesaikan penandatanganan dan pengarsipan klausa kontrak terkait, serta menyelesaikan penilaian keamanan dan kewajiban hukum lainnya.

Jika Anda melakukan operasi data lintas batas negara tanpa mematuhi pernyataan ini, Anda akan menanggung konsekuensi hukum yang sesuai. Anda juga bertanggung jawab atas kerugian apa pun yang dialami oleh Alibaba Cloud dan afiliasinya.

Referensi

DataStudio juga mendukung pengunggahan data dari file CSV atau teks lokal ke tabel MaxCompute. Untuk informasi selengkapnya, lihat Unggah data.
Untuk informasi selengkapnya tentang operasi pada tabel MaxCompute, lihat Membuat dan menggunakan tabel MaxCompute.
Untuk informasi selengkapnya tentang operasi pada tabel Hologres, lihat Membuat tabel Hologres.
Untuk informasi selengkapnya tentang operasi pada tabel EMR, lihat Membuat tabel EMR.

FAQ

Masalah konfigurasi kelompok sumber daya.
Pesan kesalahan: Sumber file atau mesin tujuan saat ini memerlukan konfigurasi kelompok sumber daya untuk unggah data. Hubungi administrator ruang kerja untuk mengonfigurasi kelompok sumber daya.
Solusi: Untuk mengonfigurasi kelompok sumber daya untuk mesin di DataAnalysis, lihat Administrasi sistem.
Masalah penyambungan kelompok sumber daya.
Pesan kesalahan: Kelompok sumber daya unggah data global yang dikonfigurasi untuk ruang kerja Anda saat ini tidak disambungkan ke ruang kerja tempat tabel unggah berada. Hubungi administrator ruang kerja untuk menyambungkannya.
Solusi: Anda dapat menyambungkan kelompok sumber daya yang Anda atur di Administrasi Sistem ke ruang kerja.