本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。
前提条件
- 安装MaxCompute客户端，详情请参见安装并配置MaxCompute客户端。
- 将日志数据保存至本地。本文使用的示例数据为loghub.csv。
背景信息
Tunnel是MaxCompute的批量上传数据工具，适用于离线计算场景。Tunnel详细信息请参见Tunnel使用说明。
操作步骤
- 在MaxCompute客户端（odpscmd）执行如下命令创建表loghub，用于存储上传的日志数据。
--打开新类型数据开关，此命令需要和SQL语句一起提交。 set odps.sql.type.system.odps2=true; --创建表loghub。 CREATE TABLE loghub ( client_ip STRING , receive_time STRING , topic STRING, id STRING, name VARCHAR(32), salenum STRING ); - 执行如下命令将日志数据上传至MaxCompute。
Tunnel u D:\loghub.csv loghub;上述命令中需要指定如下两个参数：- D:\loghub.csv：本地日志数据文件存储路径。
- loghub：MaxCompute中存储日志数据的表名。
说明 使用Tunnel数据不支持通配符或正则表达式。 - 执行如下命令查询数据是否成功导入至表中。
SELECT * FROM loghub;返回结果如下，表示导入成功。xxx >SELECT * FROM loghub; ID = 20191224054915??erwinv21 Job Queueing... Summary: +--------------+--------------+-------+------+---------+----------+ | client_ip | receive_time | topic | id | name | salenum | +--------------+--------------+-------+------+---------+----------+ | 47.95.63.148 | 1572925369 | NULL | 62 | ????13 | 2000 | | 47.95.63.148 | 1572925369 | NULL | 61 | ????12 | 606 | | 47.95.63.148 | 1572925369 | NULL | 60 | ????11 | 909 | | 47.95.63.148 | 1572925369 | NULL | 32 | ????3 | 2000 | | 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 606 | | 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 909 | | 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 3000 | | 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 1000 | | 47.95.63.148 | 1572925369 | NULL | 20 | ??????? | 21 | | 47.95.63.148 | 1572925369 | NULL | 6 | ???? | 40 | | 47.95.63.148 | 1572925369 | NULL | 5 | ???? | 20 | | 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 260 | | 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 200 | | 47.95.63.148 | 1572925369 | NULL | 1 | C?? | 100 | | 47.95.63.148 | 1572925369 | NULL | 9 | vivo | 400 | | 47.95.63.148 | 1572925369 | NULL | 8 | oppo | 200 | | 47.95.63.148 | 1572925369 | NULL | 7 | ??? | 30 | | 47.95.63.148 | 1572925369 | NULL | 12 | ?????? | 0 | | 47.95.63.148 | 1572925369 | NULL | 11 | ????? | 600 | | 47.95.63.148 | 1572925369 | NULL | 10 | ??? | 90 | +--------------+--------------+-------+------+---------+----------+ 20 records (at most 10000 supported) fetched by instance tunnel.