Unggah data log lokal menggunakan Tunnel - MaxCompute

Tunnel adalah alat baris perintah untuk memuat volume data besar ke dalam tabel MaxCompute secara massal. Alat ini dirancang untuk skenario komputasi offline. Tutorial ini memandu Anda membuat tabel tujuan dan mengunggah file log CSV lokal menggunakan client odpscmd.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menginstal dan mengonfigurasi client odpscmd. Untuk informasi lebih lanjut, lihat Instal dan konfigurasi client MaxCompute.
Memiliki file log lokal yang siap diunggah. Tutorial ini menggunakan loghub.csv sebagai contoh file data.

Langkah 1: Buat tabel tujuan

Pada client odpscmd, jalankan perintah berikut untuk membuat tabel bernama loghub.

Perintah pertama mengaktifkan tipe data MaxCompute V2.0. Kirim perintah tersebut bersamaan dengan pernyataan CREATE TABLE dalam sesi yang sama.

set odps.sql.type.system.odps2=true;
-- Buat tabel bernama loghub.
CREATE TABLE loghub
(
  client_ip    STRING,
  receive_time STRING,
  topic        STRING,
  id           STRING,
  name         VARCHAR(32),
  salenum      STRING
);

Langkah 2: Unggah data log

Jalankan perintah berikut untuk mengunggah file log ke tabel loghub. Sesuaikan path file sesuai sistem operasi Anda.

Windows

Tunnel u D:\loghub.csv loghub;

Linux atau macOS

Tunnel u /path/to/loghub.csv loghub;

Parameter	Deskripsi
`D:\loghub.csv` atau `/path/to/loghub.csv`	Path ke file data log lokal
`loghub`	Nama tabel MaxCompute tujuan

Wildcard dan ekspresi reguler tidak didukung untuk unggahan berbasis Tunnel. Tentukan path file secara eksplisit.

Langkah 3: Verifikasi unggahan

Jalankan kueri berikut untuk memeriksa apakah data telah dimuat ke dalam tabel:

SELECT * FROM loghub;

Jika unggahan berhasil, kueri akan mengembalikan baris-baris yang diunggah seperti yang ditunjukkan di bawah ini.

Jika kueri tidak mengembalikan baris apa pun atau muncul error, periksa hal-hal berikut:

Path file pada Langkah 2 sesuai dengan lokasi sebenarnya file CSV Anda.
Skema tabel sesuai dengan kolom dalam file CSV Anda.
Client odpscmd terhubung ke Proyek MaxCompute yang benar.

Langkah selanjutnya

Untuk referensi lengkap perintah Tunnel, termasuk fitur-fitur dan cara menggunakan perintah Tunnel untuk mengunggah atau mengunduh data, lihat Catatan penggunaan Tunnel.