Tunnel adalah alat baris perintah untuk memuat volume data besar ke dalam tabel MaxCompute secara massal. Alat ini dirancang untuk skenario komputasi offline. Tutorial ini memandu Anda membuat tabel tujuan dan mengunggah file log CSV lokal menggunakan client odpscmd.
Prasyarat
Sebelum memulai, pastikan Anda telah:
-
Menginstal dan mengonfigurasi client odpscmd. Untuk informasi lebih lanjut, lihat Install and configure the MaxCompute client.
-
Memiliki file log lokal yang siap diunggah. Tutorial ini menggunakan loghub.csv sebagai contoh file data.
Langkah 1: Buat tabel tujuan
Di client odpscmd, jalankan perintah berikut untuk membuat tabel bernama loghub.
Perintah pertama mengaktifkan tipe data MaxCompute V2.0. Kirim perintah tersebut bersamaan dengan pernyataan CREATE TABLE dalam sesi yang sama.
set odps.sql.type.system.odps2=true;
-- Create a table named loghub.
CREATE TABLE loghub
(
client_ip STRING,
receive_time STRING,
topic STRING,
id STRING,
name VARCHAR(32),
salenum STRING
);Langkah 2: Unggah data log
Jalankan perintah berikut untuk mengunggah file log ke tabel loghub. Sesuaikan path file sesuai sistem operasi Anda.
Windows
Tunnel u D:\loghub.csv loghub;Linux atau macOS
Tunnel u /path/to/loghub.csv loghub;| Parameter | Description |
|---|---|
D:\loghub.csv atau /path/to/loghub.csv |
Path ke file data log lokal |
loghub |
Nama tabel MaxCompute tujuan |
Wildcard dan ekspresi reguler tidak didukung untuk unggahan berbasis Tunnel. Tentukan path file secara eksplisit.
Langkah 3: Verifikasi unggahan
Jalankan kueri berikut untuk memeriksa apakah data telah dimuat ke dalam tabel:
SELECT * FROM loghub;Jika unggahan berhasil, kueri akan mengembalikan baris-baris yang diunggah seperti ditunjukkan di bawah ini.
xxx >SELECT * FROM loghub;
ID = 20191224054915??erwinv21
Job Queueing...
Summary:
+--------------+--------------+-------+------+---------+----------+
| client_ip | receive_time | topic | id | name | salenum |
+--------------+--------------+-------+------+---------+----------+
| 47.95.63.148 | 1572925369 | NULL | 62 | ????13 | 2000 |
| 47.95.63.148 | 1572925369 | NULL | 61 | ????12 | 606 |
| 47.95.63.148 | 1572925369 | NULL | 60 | ????11 | 909 |
| 47.95.63.148 | 1572925369 | NULL | 32 | ????3 | 2000 |
| 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 606 |
| 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 909 |
| 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 3000 |
| 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 1000 |
| 47.95.63.148 | 1572925369 | NULL | 20 | ??????? | 21 |
| 47.95.63.148 | 1572925369 | NULL | 6 | ???? | 40 |
| 47.95.63.148 | 1572925369 | NULL | 5 | ???? | 20 |
| 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 260 |
| 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 200 |
| 47.95.63.148 | 1572925369 | NULL | 1 | C?? | 100 |
| 47.95.63.148 | 1572925369 | NULL | 9 | vivo | 400 |
| 47.95.63.148 | 1572925369 | NULL | 8 | oppo | 200 |
| 47.95.63.148 | 1572925369 | NULL | 7 | ??? | 30 |
| 47.95.63.148 | 1572925369 | NULL | 12 | ?????? | 0 |
| 47.95.63.148 | 1572925369 | NULL | 11 | ????? | 600 |
| 47.95.63.148 | 1572925369 | NULL | 10 | ??? | 90 |
+--------------+--------------+-------+------+---------+----------+
20 records (at most 10000 supported) fetched by instance tunnel.Jika kueri tidak mengembalikan baris apa pun atau muncul error, periksa hal berikut:
-
Path file pada Langkah 2 sesuai dengan lokasi aktual file CSV Anda.
-
Skema tabel sesuai dengan kolom dalam file CSV Anda.
-
Client odpscmd terhubung ke proyek MaxCompute yang benar.
Langkah selanjutnya
Untuk referensi lengkap perintah Tunnel, termasuk fitur dan cara menggunakan perintah Tunnel untuk mengunggah atau mengunduh data, lihat Tunnel usage notes.