MaxCompute:FAQ perintah Tunnel

Apakah Tunnel Upload mendukung wildcard atau regular expressions?

Perintah Tunnel Upload tidak mendukung wildcard maupun ekspresi reguler.

Tunnel Upload: Batasan dan kompresi

Tidak ada batasan ukuran file untuk Tunnel Upload, tetapi satu operasi dibatasi hingga 2 jam. Perkirakan volume data maksimum yang dapat diunggah berdasarkan kecepatan unggah Anda.

Ukuran maksimum untuk satu record adalah 200 MB.

Tunnel Upload menggunakan kompresi secara default. Jika bandwidth Anda memungkinkan, Anda dapat menggunakan parameter -cp untuk menonaktifkan kompresi.

Unggah paralel ke tabel atau partisi

Ya, Anda dapat mengunggah data secara paralel.

Unggah konkuren dari beberapa client

Ya.

Persyaratan partisi yang sudah ada

Anda dapat menggunakan parameter -acp dalam perintah Tunnel Upload untuk membuat partisi tujuan secara otomatis. Nilai default parameter ini adalah false. Untuk informasi lebih lanjut, lihat Perintah Tunnel.

Unggah ke tabel non-partisi

Ya. Dalam sintaks perintah Tunnel Upload, parameter [/partition] bersifat opsional. Untuk mengunggah data ke tabel non-partisi, Anda tidak perlu menentukan informasi partisi. Anda dapat menggunakan perintah berikut:

tunnel upload <path> <table_name>;

Untuk tabel partisi, Anda harus menentukan informasi partisi. Jika tidak, akan terjadi error. Untuk informasi lebih lanjut tentang parameter dan penggunaan perintah Tunnel, lihat Perintah Tunnel.

Penagihan untuk data terkompresi

Penagihan didasarkan pada ukuran data setelah dikompresi.

Apakah Tunnel Upload mendukung rate limiting?

Tidak, rate limiting tidak didukung.

Menangani unggah Tunnel yang lambat

tunnel upload C:\userlog.txt userlog1 -threads 10 -s false -fd "\u0000" -rd "\n";

Titik Akhir Publik vs. Titik Akhir Jaringan Klasik

Dalam file konfigurasi odps_config.ini untuk client MaxCompute, Anda harus mengonfigurasi Tunnel Endpoint selain Endpoint standar. Lihat Endpoint untuk nilai endpoint yang diperlukan. Tunnel Endpoint tidak diperlukan untuk wilayah China (Shanghai).

Error Tunnel Upload di DataStudio

• Gejala

  Saat Anda menjalankan perintah Tunnel Upload di DataStudio untuk mengunggah data ke partisi, error berikut dikembalikan:

  FAILED: error occurred while running tunnel command.

• Penyebab

  DataStudio tidak mendukung perintah Tunnel Upload.

• Solusi

  Gunakan fitur impor data visual di DataWorks. Untuk informasi lebih lanjut, lihat Unggah data.

Menangani data dengan carriage return atau spasi

Jika data Anda berisi karakter baris baru atau spasi, Anda dapat menetapkan pemisah kustom, lalu menggunakan -rd dan -fd untuk menentukan pemisah tersebut saat mengunggah data. Jika Anda tidak dapat mengubah pemisah dalam data, Anda dapat mengunggah data sebagai satu baris, lalu menggunakan UDF untuk menguraikannya.

shopx,x_id,100@
shopy,y_id,200@
shopz,z_id,300@

tunnel upload d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false -fd "," -rd "@";

+-----------+-------------+-------------+-----------+--------+
| shop_name | customer_id | total_price | sale_date | region |
+-----------+-------------+-------------+-----------+--------+
| shopx     | x_id        | 100.0       | 201312    | hangzhou |
| shopy     | y_id        | 200.0       | 201312    | hangzhou |
| shopz     | z_id        | 300.0       | 201312    | hangzhou |
+-----------+-------------+-------------+-----------+--------+

Mengatasi error overflow memori

Perintah Tunnel Upload dirancang untuk menangani jumlah data yang besar. Error overflow memori biasanya menunjukkan bahwa pemisah baris dan kolom diatur secara salah. Hal ini dapat menyebabkan seluruh file teks diperlakukan sebagai satu record dan disimpan dalam cache di memori, yang mengakibatkan overflow.

Dalam kasus ini, Anda dapat terlebih dahulu menguji dengan jumlah data yang kecil. Setelah -td dan -fd berhasil di-debug, Anda dapat mengunggah seluruh dataset.

Skrip unggah dari folder

Perintah Tunnel Upload mendukung pengunggahan satu file atau direktori (hanya direktori tingkat pertama). Untuk informasi lebih lanjut, lihat Panduan Penggunaan Tunnel.

tunnel upload d:\data sale_detail/sale_date=201312,region=hangzhou -s false;

Unggah batch file ke partisi berbeda

#!/bin/sh
# Pertama, buat tabel partisi bernama user dengan dt sebagai kunci partisi. Dalam contoh ini, client MaxCompute diinstal di C:/odpscmd_public/bin/odpscmd.bat. Sesuaikan path berdasarkan lingkungan Anda.
C:/odpscmd_public/bin/odpscmd.bat  -e "create table user(data string) partitioned by (dt int);" 
dir=$(ls C:/userlog)  # Definisikan variabel dir untuk menyimpan nama semua file di folder sumber.
pt=0 # Variabel pt digunakan sebagai nilai partisi dan dimulai dari 0. Nilainya bertambah 1 setelah setiap file diunggah. Dengan cara ini, setiap file disimpan di partisi berbeda.
for i in $dir  # Lakukan loop untuk semua file di folder C:/userlog.
do
    let pt=pt+1  # Tambahkan variabel pt sebesar 1 di akhir setiap loop.
    echo $i  # Tampilkan nama file.
    echo $pt # Tampilkan nama partisi.
    # Gunakan odpscmd untuk pertama-tama menambahkan partisi, lalu mengunggah file ke partisi tersebut.
    C:/odpscmd_public/bin/odpscmd.bat  -e "alter table user add partition (dt=$pt);tunnel upload C:/userlog/$i user/dt=$pt -s false -fd "%" -rd "@";"
done

Melewati data kotor selama unggah

Anda dapat menggunakan parameter -dbr true dalam perintah Tunnel Upload untuk mengabaikan data kotor, seperti baris dengan kolom berlebih, kolom yang hilang, atau tipe data kolom yang tidak sesuai. Nilai default untuk parameter -dbr adalah False, yang berarti data kotor tidak diabaikan. Saat nilainya diatur ke True, semua data yang tidak sesuai dengan definisi tabel akan diabaikan. Untuk informasi lebih lanjut, lihat Unggah.

Mengatasi error konflik status

• Gejala

  Saat Anda menggunakan perintah Tunnel Upload, error berikut dikembalikan:

  java.io.IOException: RequestId=XXXXXXXXXXXXXXXXXXXXXXXXX, ErrorCode=StatusConflict, ErrorMessage=You cannot complete the specified operation under the current upload or download status.        
          at com.aliyun.odps.tunnel.io.TunnelRecordWriter.close(TunnelRecordWriter.java:93)        
          at com.xgoods.utils.aliyun.maxcompute.OdpsTunnel.upload(OdpsTunnel.java:92)        
          at com.xgoods.utils.aliyun.maxcompute.OdpsTunnel.upload(OdpsTunnel.java:45)        
          at com.xeshop.task.SaleStatFeedTask.doWork(SaleStatFeedTask.java:119)        
          at com.xgoods.main.AbstractTool.excute(AbstractTool.java:90)        
          at com.xeshop.task.SaleStatFeedTask.main(SaleStatFeedTask.java:305)java.io.IOException: RequestId=XXXXXXXXXXXXXXXXXXXXXXXXX, ErrorCode=StatusConflict, ErrorMessage=You cannot complete the specified operation under the current upload or download status.       

• Penyebab

  File sedang dalam proses diunggah, dan operasi tidak dapat diduplikasi.

• Solusi

  Jangan ulangi operasi unggah. Tunggu hingga tugas unggah yang sedang berjalan selesai.

Mengatasi error badan permintaan

• Gejala

  Saat Anda menggunakan perintah Tunnel Upload, error berikut dikembalikan:

  java.io.IOException: Error writing request body to server

• Penyebab

  Pengecualian ini terjadi saat data sedang ditulis ke server. Pengecualian ini biasanya disebabkan oleh putusnya koneksi jaringan atau timeout selama proses unggah. Daftar berikut menjelaskan penyebabnya:

  • Saat sumber data Anda bukan file lokal dan diambil dari sumber seperti database, proses penulisan mungkin mengalami timeout saat menunggu data diambil. Jika tidak ada data yang diunggah selama 600 detik, operasi akan timeout.

  • Saat Anda mengunggah data melalui jaringan publik menggunakan titik akhir publik, unggah mungkin timeout karena koneksi jaringan yang tidak stabil.

• Solusi

  • Selama proses unggah, ambil data terlebih dahulu, lalu panggil Tunnel SDK untuk mengunggah data.

  • Satu blok dapat mengunggah data sebesar 64 MB hingga 100 GB. Kami menyarankan agar jumlah record per blok tetap di bawah 10.000 untuk menghindari timeout yang disebabkan oleh retry. Satu sesi dapat memiliki maksimal 20.000 blok. Jika data Anda berada di Instance ECS, lihat Endpoint untuk informasi endpoint.

Mengatasi error partisi tidak ditemukan

• Gejala

  Saat Anda mengunggah data menggunakan Tunnel, error berikut dikembalikan:

  ErrorCode=NoSuchPartition, ErrorMessage=The specified partition does not exist

• Penyebab

  Partisi tujuan untuk penyisipan data tidak ada.

• Solusi

  Anda dapat terlebih dahulu menjalankan perintah show partitions table_name; untuk memeriksa apakah partisi ada, lalu jalankan alter table table_name add [if not exists] partition partition_spec untuk membuat partisi yang sesuai.

Mengatasi error ketidaksesuaian kolom

Hal ini biasanya disebabkan oleh pemisah baris yang salah dalam file sumber data, yang menyebabkan beberapa record diperlakukan sebagai satu record. Anda perlu memeriksa masalah ini dan mengatur ulang parameter -rd.

Mengatasi error ODPS-0110061 dalam multi-threading

• Gejala

  Saat Anda mengunggah data menggunakan beberapa thread, error berikut dikembalikan:

  FAILED: ODPS-0110061: Failed to run ddltask - Modify DDL meta encounter exception : ODPS-0010000:System internal error - OTS transaction exception - Start of transaction failed. Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception: Transaction timeout because cannot acquire exclusive lock.)      

• Penyebab

  Error ini disebabkan oleh operasi penulisan konkuren yang terlalu sering ke tabel yang sama.

• Solusi

  Kurangi jumlah thread konkuren, tambahkan jeda antar permintaan, dan terapkan mekanisme retry untuk operasi yang gagal.

Melewati header CSV selama unggah

Anda dapat melewati baris header pertama dengan menambahkan parameter -h true ke perintah Tunnel Upload.

Data hilang setelah impor CSV

Masalah ini biasanya disebabkan oleh encoding data yang salah atau penggunaan pemisah yang tidak tepat, yang menyebabkan data diunggah secara tidak benar. Kami menyarankan agar Anda memformat data mentah dengan benar sebelum menjalankan operasi unggah.

Mengunggah file TXT dengan skrip Shell

...\odpscmd\bin>odpscmd -e "tunnel upload "$FILE" project.table"

Untuk informasi lebih lanjut tentang cara menjalankan tool command-line, lihat Terhubung menggunakan client odpscmd.

Mengatasi ketidaksesuaian bidang untuk impor folder

Tambahkan parameter -dbr=false -s true ke perintah Tunnel Upload untuk memvalidasi format data.

Error column mismatch biasanya terjadi karena ketidaksesuaian jumlah kolom. Misalnya, hal ini dapat terjadi jika pemisah kolom diatur secara salah atau jika ada baris kosong di akhir file, yang menyebabkan ketidaksesuaian jumlah kolom saat dibagi oleh pemisah.

Kegagalan diam pada unggah file kedua

Jika parameter --scan digunakan untuk unggah dengan client MaxCompute, terjadi masalah pada pengiriman parameter dalam mode resume. Hapus parameter --scan=true dan coba ulang operasi tersebut.

Pelewatan blok saat retry setelah kegagalan unggah

Setiap blok sesuai dengan satu permintaan HTTP, dan unggah beberapa blok dapat dilakukan secara konkuren dan atomik. Permintaan sinkron untuk satu blok akan berhasil atau gagal tanpa memengaruhi blok lainnya.

Ada batasan jumlah retry. Jika batas retry terlampaui, unggah akan dilanjutkan ke Blok berikutnya. Setelah unggah selesai, Anda dapat menggunakan pernyataan select count(*) from table; untuk memeriksa kehilangan data.

Memperbaiki kecepatan unggah yang lambat

Perintah Tunnel Upload sendiri tidak memberlakukan batas kecepatan. Hambatan kecepatan unggah biasanya terkait dengan bandwidth jaringan, kinerja client, dan kinerja server. Untuk meningkatkan kinerja, Anda dapat mempartisi data, menggunakan beberapa tabel, atau mengunggah data dari beberapa Instance ECS.

Mencegah timeout sesi untuk unggah besar

Kami menyarankan untuk membagi data sumber menjadi beberapa tugas yang lebih kecil.

Unggah lambat karena terlalu banyak sesi

Tetapkan ukuran blok ke nilai yang sesuai. ID blok maksimum adalah 20.000. Tetapkan durasi sesi berdasarkan kebutuhan bisnis Anda. Data hanya menjadi terlihat setelah sesi dikomit. Hindari membuat sesi terlalu sering. Anda dapat membuat maksimal satu sesi setiap 5 menit. Gunakan ukuran blok besar, sebaiknya lebih dari 64 MB.

Karakter \r tambahan di kolom terakhir

Karakter baris baru adalah \r\n di Windows dan \n di macOS dan Linux. Perintah Tunnel menggunakan karakter baris baru sistem sebagai pemisah baris default. Akibatnya, saat Anda mengunggah file yang diedit di Windows dari sistem macOS atau Linux, karakter \r diimpor ke tabel sebagai data.

Menangani koma dalam data dengan pemisah default

Jika bidang deskripsi data berisi koma, Anda dapat mengubah pemisah data ke karakter lain dan menggunakan parameter -fd untuk menentukan pemisah baru selama unggah.

Menangani pemisah spasi atau penyaringan regex

Perintah Tunnel Upload tidak mendukung ekspresi reguler. Jika data Anda menggunakan spasi sebagai pemisah atau memerlukan penyaringan ekspresi reguler, Anda dapat menggunakan UDF MaxCompute.

10.21.17.2 [24/Jul/2018:00:00:00 +0800] - "GET https://example.com/73477.html" 200 0 81615 81615 "-" "iphone" - HIT - - 0_0_0 001 - - - -
10.17.5.23 [24/Jul/2018:00:00:00 +0800] - "GET https://example.com/73478.html" 206 0 49369 49369 "-" "huawei" - HIT - - 0_0_0 002 - - - -
10.24.7.16 [24/Jul/2018:00:00:00 +0800] - "GET https://example.com/73479.html" 206 0 83821 83821 "-" "vivo" - HIT - - 0_0_0 003 - - - -

Menangani data kotor setelah unggah

Menyinkronkan data geometri

MaxCompute tidak mendukung tipe data geometri. Anda harus mengonversi data geometri ke tipe STRING sebelum menyinkronkan data ke MaxCompute.

Tipe geometri adalah tipe data khusus yang tidak termasuk dalam tipe data SQL standar. Framework JDBC generik tidak mendukung tipe geometri. Hal ini memerlukan penanganan khusus untuk impor dan ekspor data.

Format ekspor yang didukung untuk Tunnel Download

File data yang diekspor menggunakan perintah Tunnel Download dapat berformat TXT atau CSV.

Biaya unduhan Tunnel dalam wilayah

Untuk mengunduh data dalam wilayah yang sama tanpa dikenai biaya untuk lalu lintas jaringan publik, Anda harus mengonfigurasi Tunnel endpoint untuk jaringan klasik atau VPC. Jika tidak, data mungkin dialihkan melalui titik akhir jaringan publik di wilayah lain, yang mengakibatkan biaya.

Mengatasi timeout unduh berulang

Error ini biasanya menunjukkan bahwa Tunnel endpoint salah. Periksa apakah Tunnel endpoint dikonfigurasi dengan benar. Cara sederhana untuk memverifikasi endpoint adalah menguji konektivitas jaringan menggunakan tool seperti Telnet.

Mengatasi error tidak memiliki hak istimewa

• Gejala

  Saat Anda menggunakan perintah Tunnel Download, error berikut dikembalikan:

  You have NO privilege ‘odps:Select‘ on {acs:odps:*:projects/XXX/tables/XXX}. project ‘XXX‘ is protected.

• Penyebab

  Fitur perlindungan data diaktifkan untuk proyek tersebut.

• Solusi

  Jika Anda ingin mengekspor data dari satu proyek ke proyek lain, operasi tersebut harus dilakukan oleh pemilik proyek.

Mengunduh subset data

Periode retensi riwayat Tunnel

Retensi tidak berbasis waktu. Secara default, 500 entri terakhir disimpan.

Alur kerja unggah Tunnel

Dukungan untuk karakter Tionghoa dalam path

Ya, karakter Tionghoa didukung.

Catatan tentang penggunaan pemisah

Dapatkah path file Tunnel berisi spasi?

Ya. Namun, parameter yang berisi path harus diapit tanda kutip ganda ("").

Dukungan untuk file .dbf

Tunnel hanya mendukung file teks dan tidak mendukung file biner.

Kecepatan unggah dan unduh normal

Kecepatan unggah dan unduh Tunnel sangat dipengaruhi oleh kondisi jaringan. Dalam kondisi jaringan normal, kecepatannya berkisar antara 1 MB/detik hingga 20 MB/detik.

Mendapatkan nama domain Tunnel

Nama domain Tunnel adalah titik akhir Tunnel publik. Wilayah dan jaringan yang berbeda memiliki nama domain Tunnel yang berbeda. Untuk informasi lebih lanjut, lihat Endpoint untuk mendapatkan titik akhir Tunnel publik yang benar.

Memecahkan masalah kegagalan unggah dan unduh

Dapatkan nama domain Tunnel dari file odps_config.ini di direktori ..\odpscmd_public\conf instalasi client MaxCompute dan jalankan perintah curl -i <domain name> (misalnya, curl -i http://dt.odps.aliyun.com) di jendela command-line untuk menguji konektivitas jaringan. Jika koneksi gagal, periksa jaringan perangkat Anda atau gunakan nama domain Tunnel yang benar.

Mengatasi error Java heap space

• Gejala

  Saat menggunakan perintah Tunnel untuk mengunggah atau mengunduh data, Anda mungkin menerima error berikut:

  Java heap space FAILED: error occurred while running tunnel command

• Penyebab

  • Penyebab 1: Saat Anda mengunggah data, satu baris data terlalu besar.

  • Penyebab 2: Jumlah data yang akan diunduh terlalu besar untuk memori yang tersedia pada program client.

• Solusi

  • Solusi untuk Penyebab 1

    1. Pertama, pastikan apakah pemisah salah, yang dapat menyebabkan semua data dibaca sebagai satu baris besar.

    2. Jika pemisah benar dan satu baris data dalam file sangat besar, program client kekurangan memori. Anda perlu menyesuaikan parameter startup untuk proses client. Untuk melakukannya, edit skrip odpscmd di direktori bin instalasi client dan tingkatkan nilai -Xms64m -Xmx512m dalam perintah java -Xms64m -Xmx512m -classpath "${clt_dir}/lib/*:${clt_dir}/conf/"com.aliyun.openservices.odps.console.ODPSConsole "$@".

  • Solusi untuk Penyebab 2: Edit skrip odpscmd di direktori bin path instalasi client. Tingkatkan nilai -Xms64m -Xmx512m dalam perintah berikut: java -Xms64m -Xmx512m -classpath "${clt_dir}/lib/*:${clt_dir}/conf/"com.aliyun.openservices.odps.console.ODPSConsole "$@".

Siklus hidup sesi dan masa berlaku

Setiap sesi memiliki siklus hidup 24 jam di server dan dapat digunakan kapan saja dalam periode tersebut. Setelah sesi kedaluwarsa, sesi tersebut menjadi tidak valid dan Anda tidak dapat melakukan operasi apa pun dengannya. Anda harus membuat sesi baru dan menulis ulang data.

Dapatkah sesi digunakan bersama?

Sesi dapat digunakan bersama di berbagai proses dan thread. Namun, Anda harus memastikan bahwa ID blok yang sama tidak digunakan lebih dari sekali.

Apa itu fitur routing Tunnel?

Jika Anda tidak mengonfigurasi Tunnel endpoint, Tunnel secara otomatis mengarahkan lalu lintas ke Tunnel endpoint yang sesuai dengan jaringan tempat layanan MaxCompute berada. Jika Anda mengonfigurasi Tunnel endpoint, konfigurasi Anda akan diutamakan dan routing otomatis dinonaktifkan.

Apakah Tunnel mendukung konkurensi?

tunnel upload E:/1.txt tmp_table_0713 --threads 5;