Konsol MaxCompute menyediakan fitur Data Upload untuk mengunggah data secara offline (non-real-time) dari file lokal atau Alibaba Cloud OSS ke MaxCompute. Fitur ini memungkinkan Anda menganalisis, memproses, dan mengelola data dalam lingkungan MaxCompute.
Batasan
Anda hanya dapat mengunggah data dari file lokal atau Alibaba Cloud OSS.
File lokal: Anda dapat mengunggah data dari file CSV atau XLSX.
Format CSV: Ukuran file maksimum adalah 5 GB.
Format XLSX: Ukuran file maksimum adalah 100 MB.
Alibaba Cloud OSS: Anda hanya dapat mengunggah data dari file CSV dengan ukuran maksimum 5 GB. Bucket sumber harus berada di wilayah yang sama dengan proyek MaxCompute Anda.
Anda tidak dapat mengunggah data ke tabel (baik yang sudah ada maupun baru) yang memiliki skema kustom. Untuk informasi selengkapnya tentang skema kustom, lihat Schema operations.
Prasyarat
Anda telah membuat proyek MaxCompute untuk menyimpan data yang diunggah dan memiliki izin yang diperlukan, seperti:
Izin menulis pada tabel tersebut jika mengunggah data ke tabel yang sudah ada.
Untuk mengunggah data ke tabel baru, Anda memerlukan izin membuat tabel di Proyek.
Untuk informasi selengkapnya tentang cara membuat proyek MaxCompute, lihat Project management. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Permissions overview.
Jika Anda mengunggah data dari Alibaba Cloud OSS, persyaratan berikut berlaku:
Anda telah mengaktifkan Alibaba Cloud OSS, membuat bucket, dan mengunggah data Anda ke bucket tersebut. Untuk informasi selengkapnya, lihat Create buckets dan Upload files.
Akun Alibaba Cloud yang digunakan untuk pengunggahan memiliki izin yang diperlukan untuk mengakses bucket tujuan. Untuk informasi selengkapnya, lihat Overview of permissions and access control.
Prosedur
-
Masuk ke konsol MaxCompute dan pilih wilayah di pojok kiri atas.
-
Di panel navigasi sebelah kiri, pilih Data Transfer > Data Upload. Halaman Data Upload akan muncul.
-
Di halaman Data Upload, konfigurasikan parameter sesuai penjelasan dalam Tabel 1. Parameter unggah data.
Tabel 1. Parameter unggah data
Bagian
Parameter
Deskripsi
Sumber data
Local file
Unggah data dari file di mesin lokal Anda.
Anda dapat mengunggah satu file CSV atau XLSX dalam satu waktu.
File CSV: Ukuran file maksimum adalah 5 GB. Data harus dipisahkan dengan koma (,).
File XLSX: Ukuran file maksimum adalah 100 MB. Secara default, hanya data dari sheet pertama yang diunggah. Data di sheet lainnya diabaikan.
Alibaba Cloud OSS
Unggah data dari file CSV yang disimpan di bucket Alibaba Cloud OSS.
Anda hanya dapat memilih file CSV di bucket yang berada di wilayah saat ini. Ukuran file maksimum untuk satu kali unggah adalah 5 GB. Jika tidak tersedia bucket yang dapat diakses, Anda harus membuatnya terlebih dahulu. Untuk informasi selengkapnya, lihat Create buckets.
CatatanJika data Anda melebihi 5 GB, pecah menjadi file-file yang lebih kecil sebelum diunggah. Jika tidak, proses unggah akan gagal.
Tentukan data yang akan diunggah
Select bucket
Jika Anda mengatur Data Source ke Alibaba Cloud OSS, pilih path bucket OSS tempat file sumber Anda berada.
Select file
Pilih file sumber CSV atau XLSX.
Remove dirty data
Menentukan apakah akan memfilter data kotor selama proses unggah. Data kotor mengacu pada catatan di mana tipe data tidak sesuai dengan tipe data kolom yang bersesuaian di tabel MaxCompute tujuan.
CatatanContohnya, suatu catatan dianggap sebagai data kotor jika kolom sumber berisi string yang mengandung huruf, tetapi kolom tabel tujuan yang bersesuaian bertipe BIGINT. Jika Anda memilih untuk menghapus data kotor, catatan tersebut tidak akan diunggah.
Yes: Menghapus catatan yang memiliki ketidaksesuaian tipe data.
No: Mengunggah semua data dari file. Ketidaksesuaian tipe data dapat menyebabkan proses unggah gagal.
Konfigurasi tabel tujuan
MaxCompute project name
Proyek MaxCompute tujuan.
Destination table
Pilih apakah akan mengunggah data ke tabel yang sudah ada atau tabel baru.
Tabel 2. Parameter untuk tabel yang sudah ada
Parameter
Deskripsi
Select destination table
Pilih tabel MaxCompute tujuan dari daftar drop-down atau cari berdasarkan kata kunci.
Upload method
Menentukan cara menambahkan data ke tabel tujuan berdasarkan pemetaan kolom yang dikonfigurasi.
Clear Table Data First: Menghapus semua data yang ada di tabel tujuan, lalu memasukkan data baru.
Append: Menambahkan data baru ke tabel tujuan sambil mempertahankan data yang sudah ada.
CatatanUntuk informasi tentang cara mengonfigurasi pemetaan kolom, lihat Langkah 4.
Tabel 3. Parameter untuk tabel baru
Parameter
Deskripsi
Table name
Tentukan nama untuk tabel baru.
Table type
Pilih non-partitioned table atau Partitioned Table. Jika Anda memilih tabel partisi, Anda harus menentukan satu atau beberapa kolom kunci partisi beserta nilainya.
lifecycle
Menentukan siklus hidup tabel dalam satuan hari. Tabel akan dihapus secara otomatis setelah periode ini berakhir. Untuk informasi selengkapnya, lihat Lifecycle dan Lifecycle operations.
-
Pratinjau data sumber dan konfigurasikan pemetaan kolom.
Setelah memilih file sumber dan tabel tujuan, pratinjau data serta konfigurasikan pemetaan kolom. Data tidak dapat diunggah hingga pemetaan dikonfigurasi dengan benar.
CatatanAnda hanya dapat melihat pratinjau 20 baris data pertama.
Bagian
Parameter
Deskripsi
Upload file data preview
file encoding
Jika muncul karakter acak dalam pratinjau, ganti ke encoding yang berbeda. Encoding yang didukung adalah UTF-8, GB18030, dan Big5.
Map by column name
Memetakan kolom sumber ke kolom tujuan berdasarkan kesesuaian nama kolom.
Map by order
Memetakan kolom sumber ke kolom tujuan berdasarkan urutan kolom dalam file.
Ignore first row
Menentukan apakah baris pertama file sumber—yang biasanya berisi header kolom—akan diabaikan.
Dipilih: Baris pertama tidak diunggah.
Tidak dipilih: Baris pertama diunggah sebagai catatan data.
Klik Upload data untuk memulai proses unggah.
PentingJika kolom sumber tidak dipetakan ke kolom tujuan, datanya akan tampak abu-abu dalam pratinjau dan tidak diunggah.
Setiap kolom sumber hanya dapat dipetakan ke satu kolom tujuan. Pemetaan ganda tidak diizinkan.
Saat membuat tabel baru, Anda harus menentukan nama dan tipe data untuk setiap kolom.
Menampilkan catatan unggah
Proses unggah mungkin memerlukan waktu untuk dataset besar. Anda dapat meninggalkan halaman tersebut dan memeriksa status unggah dengan mengklik Data Upload di pojok kanan atas halaman View Upload Records.
Mengklik View Upload Records juga menampilkan catatan yang dihasilkan oleh operasi Data Upload di DataWorks.
Langkah selanjutnya
Setelah data berhasil diunggah, Anda dapat menggunakan tool koneksi untuk melakukan kueri terhadap data di tabel MaxCompute tujuan.