本文為您介紹如何通過Tunnel上傳日誌資料至MaxCompute。
前提條件
- 安裝MaxCompute用戶端，詳情請參見安裝並配置MaxCompute用戶端。
- 將日誌資料儲存至本地。本文使用的樣本資料為loghub.csv。
背景資訊
Tunnel是MaxCompute的批量上傳資料工具，適用於離線計算情境。Tunnel詳細資料請參見Tunnel使用說明。
操作步驟
- 在MaxCompute用戶端（odpscmd）執行如下命令建立表loghub，用於儲存上傳的日誌資料。
--開啟新類型資料開關，此命令需要和SQL語句一起提交。 set odps.sql.type.system.odps2=true; --建立表loghub。 CREATE TABLE loghub ( client_ip STRING , receive_time STRING , topic STRING, id STRING, name VARCHAR(32), salenum STRING ); - 執行如下命令將日誌資料上傳至MaxCompute。
Tunnel u D:\loghub.csv loghub;上述命令中需要指定如下兩個參數：- D:\loghub.csv：本地日誌資料檔案儲存路徑。
- loghub：MaxCompute中儲存日誌資料的表名。
說明 使用Tunnel資料不支援萬用字元或Regex。 - 執行如下命令查詢資料是否成功匯入至表中。
SELECT * FROM loghub;返回結果如下，表示匯入成功。xxx >SELECT * FROM loghub; ID = 20191224054915??erwinv21 Job Queueing... Summary: +--------------+--------------+-------+------+---------+----------+ | client_ip | receive_time | topic | id | name | salenum | +--------------+--------------+-------+------+---------+----------+ | 47.95.63.148 | 1572925369 | NULL | 62 | ????13 | 2000 | | 47.95.63.148 | 1572925369 | NULL | 61 | ????12 | 606 | | 47.95.63.148 | 1572925369 | NULL | 60 | ????11 | 909 | | 47.95.63.148 | 1572925369 | NULL | 32 | ????3 | 2000 | | 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 606 | | 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 909 | | 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 3000 | | 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 1000 | | 47.95.63.148 | 1572925369 | NULL | 20 | ??????? | 21 | | 47.95.63.148 | 1572925369 | NULL | 6 | ???? | 40 | | 47.95.63.148 | 1572925369 | NULL | 5 | ???? | 20 | | 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 260 | | 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 200 | | 47.95.63.148 | 1572925369 | NULL | 1 | C?? | 100 | | 47.95.63.148 | 1572925369 | NULL | 9 | vivo | 400 | | 47.95.63.148 | 1572925369 | NULL | 8 | oppo | 200 | | 47.95.63.148 | 1572925369 | NULL | 7 | ??? | 30 | | 47.95.63.148 | 1572925369 | NULL | 12 | ?????? | 0 | | 47.95.63.148 | 1572925369 | NULL | 11 | ????? | 600 | | 47.95.63.148 | 1572925369 | NULL | 10 | ??? | 90 | +--------------+--------------+-------+------+---------+----------+ 20 records (at most 10000 supported) fetched by instance tunnel.