Alat baris perintah konsol

Persiapan

Unduh paket datahub_console.tar.gz, lalu ekstrak file tersebut. Masukkan pasangan AccessKey dan titik akhir di file datahub.properties dalam direktori conf. Setelah konfigurasi selesai, jalankan skrip di direktori bin.

Catatan:

Java Development Kit (JDK) 1.8 atau yang lebih baru diperlukan.

Petunjuk

Operasi Dasar

Lihat semua perintah yang dapat dieksekusi.
Tambahkan perintah lain ke help untuk melihat parameter yang diperlukan oleh perintah tersebut. Misalnya, jalankan perintah help lt untuk melihat parameter yang diperlukan oleh perintah lt.

help

Bersihkan layar.

clear

Keluar dari program.

exit

Lihat detail kesalahan perintah. Setelah kesalahan dilaporkan, Anda dapat menjalankan perintah stacktrace untuk melihat detail kesalahan.

stacktrace

Jalankan skrip multi-perintah.

script

Kelola Proyek

Buat proyek.

cp -p test_project  -c test_comment

Hapus proyek.

dp -p test_project

Kueri proyek.

lp

Kelola Topik

Buat topik.
- -m: tipe data dari topik. Nilai BLOB menunjukkan bahwa topik bertipe BLOB akan dibuat. Nilai TUPLE menunjukkan bahwa topik bertipe TUPLE akan dibuat.
- Bidang untuk topik bertipe TUPLE berada dalam format [(namaBidang,tipeBidang,bisaNull)]. Pisahkan bidang dengan koma (,).

ct -p test_project -t test_topic -m TUPLE -f [(name,string,true)] -s 3 -l 3 -c test_comment

Hapus topik.

dt test_project test_topic

Kueri informasi tentang topik.

gt -p test_project -t test_topic

Ekspor skema topik sebagai file JSON.

gts -f filepath -p test_project -t test_topic

Kueri topik.

lt -p test_project

Impor file JSON untuk membuat topik.

rtt -s 3 -l 3 -c test_comment -f filepath -p test_project -t test_topic

Kelola DataConnector

Buat DataConnector untuk menyinkronkan data ke MaxCompute.
- -m: mode partisi. Nilai valid: SYSTEM_TIME, USER_DEFINE, EVENT_TIME, dan META_TIME.
- -tr: interval partisi. Nilai default: 60. Satuan: menit.
- -tf: format partisi. Nilai ds menunjukkan bahwa data dipartisi berdasarkan hari. Nilai ds hh menunjukkan bahwa data dipartisi berdasarkan jam. Nilai ds hh mm menunjukkan bahwa data dipartisi berdasarkan menit.

coc -p test_project -t test_topic -m SYSTEM_TIME -e odpsEndpoint -op odpsProject -ot odpsTable -oa odpsAccessId -ok odpsAccessKey -tr 60 -c (field1,field2) -tf ds hh mm

Buat bidang untuk DataConnector.

acf -p test_project -t test_topic -c connectorId -f fieldName

Buat DataConnector untuk menyinkronkan data ke ApsaraDB RDS, ApsaraDB RDS for MySQL, atau AnalyticDB for MySQL.
- -ty: tipe DataConnector. Nilai valid:
  - mysql: membuat DataConnector untuk menyinkronkan data ke ApsaraDB RDS for MySQL.
  - ads: membuat DataConnector untuk menyinkronkan data ke AnalyticDB for MySQL.
- -ht: mode penulisan. Nilai valid:
  - IGNORE
  - OVERWRITE
- -n: bidang yang akan disinkronkan. Contoh: (field1,field2).

cdc -p test_project -t test_topic -h host -po 3306 -ty mysql -d mysql_database -ta msyql_table -u username -pa password -ht IGNORE -n (field1,field2)

Buat DataConnector.
- -m: metode autentikasi. Nilai valid:
  - AK: menggunakan pasangan AccessKey untuk autentikasi. Anda harus memasukkan ID AccessKey dan Rahasia AccessKey.
  - STS: menggunakan token Layanan Keamanan (STS) untuk autentikasi.

cdhc -p test_project -t test_topic -sp sourceProject -st sourceTopic -m AK -i accessid k accessKey

Buat DataConnector untuk menyinkronkan data ke Function Compute.
- -au: metode autentikasi. Nilai valid:
  - AK: menggunakan pasangan AccessKey untuk autentikasi. Anda harus memasukkan ID AccessKey dan Rahasia AccessKey.
  - STS: menggunakan token STS untuk autentikasi.
- -n: bidang yang akan disinkronkan. Contoh: (field1,field2).

cfc -p test_project -t test_topic -e endpoint -s service -f function -au AK -i accessId -k accessKey -n (field1,field2)

Buat DataConnector untuk menyinkronkan data ke Hologres.
- -au: metode autentikasi. Anda hanya dapat menggunakan pasangan AccessKey untuk autentikasi.
- -m: tipe penguraian. Jika Anda mengatur opsi ini ke Delimiter, Anda harus menentukan bidang lineDelimiter, parseData, dan columnDelimiter. Jika Anda mengatur opsi ini ke IngormaticaJson, Anda harus menentukan bidang parseData.
  - Delimiter
  - InformaticaJson

chc -p test_project -t test_topic -e endpoint -cl (field,field2) -au AK -hp holoProject -ht holoTopic -i accessId -k accessKey -m Delimiter -l 1 -b false -n (field1,field2)

Buat DataConnector untuk menyinkronkan data ke Tablestore.
- -m: metode autentikasi. Nilai default: STS. Nilai valid:
  - AK: menggunakan pasangan AccessKey untuk autentikasi. Anda harus memasukkan ID AccessKey dan Rahasia AccessKey.
  - STS: menggunakan token STS untuk autentikasi.
- -wm: mode penulisan. Nilai valid:
  - PUT
  - UPDATE
- -c: bidang yang akan disinkronkan. Contoh: (field1,field2).

cotsc -p test_project -t test_topic -i accessId -k accessKey -it instanceId -m AK -t table -wm PUT -c (field1,field2)

Buat DataConnector untuk menyinkronkan data ke Object Storage Service (OSS).

csc -p test_project -t test_topic -b bucket -e endpoint -pr ossPrefix -tf ossTimeFormat -tr timeRange -c (f1,f2)

Hapus DataConnector.
- Anda dapat menentukan beberapa ID DataConnector. Pisahkan ID dengan spasi.

dc -p test_project -t test_topic -c connectorId

Kueri detail DataConnector.

gc -p test_project -t test_topic -c connectorId

Kueri DataConnectors dalam topik.

lc -p test_project -t test_topic

Mulai ulang DataConnector.

rc -p test_project -t test_topic -c connectorId

Perbarui pasangan AccessKey untuk DataConnector.

uca -p test_project -t test_topic -c connectorId -ty connectorType -a accessId -k accessKey

Kelola Shard

Gabungkan shard.

ms -p test_project -t test_topic -s shardId -a adjacentShardId

Pisahkan shard.

ss -p test_project -t test_topic -s shardId

Kueri semua shard dalam topik.

ls -p test_project -t topicName

Kueri status sinkronisasi shard.

gcs -p test_project -t test_topic -s shardId -c connectorId

Kueri offset konsumen setiap shard.

gso -p test_project -t test_topic -s subid -i shardId

Kelola Langganan

Buat langganan.

css -p test_project -t test_topic -c comment

Hapus langganan.

dsc -p test_project -t test_topic -s subId

Kueri langganan.

lss -p test_project -t test_topic

Unggah dan Unduh Data

Unggah data.
- -f: jalur file yang akan diunggah. Tambahkan karakter escape untuk jalur di Windows, misalnya, D:\\test\\test.txt.
- -m: pemisah teks. Koma (,) dan spasi dapat digunakan sebagai pemisah.
- -n: ukuran data yang akan diunggah setiap kali. Nilai default: 1000.

uf -f filepath -p test_topic -t test_topic -m "," -n 1000

Contoh: Unggah File CSV

Contoh berikut menunjukkan cara menggunakan alat baris perintah konsol untuk mengunggah file CSV ke DataHub. Berikut adalah format file CSV.

1. 0,qe614c760fuk8judu01tn5x055rpt1,true,100.1,14321111111
2. 1,znv1py74o8ynn87k66o32ao4x875wi,true,100.1,14321111111
3. 2,7nm0mtpgo1q0ubuljjjx9b000ybltl,true,100.1,14321111111
4. 3,10t0n6pvonnan16279w848ukko5f6l,true,100.1,14321111111
5. 4,0ub584kw88s6dczd0mta7itmta10jo,true,100.1,14321111111
6. 5,1ltfpf0jt7fhvf0oy4lo8m3z62c940,true,100.1,14321111111
7. 6,zpqsfxqy9379lmcehd7q8kftntrozb,true,100.1,14321111111
8. 7,ce1ga9aln346xcj761c3iytshyzuxg,true,100.1,14321111111
9. 8,k5j2id9a0ko90cykl40s6ojq6gruyi,true,100.1,14321111111
10. 9,ns2zcx9bdip5y0aqd1tdicf7bkdmsm,true,100.1,14321111111
11. 10,54rs9cm1xau2fk66pzyz62tf9tsse4,true,100.1,14321111111

Setiap baris adalah catatan yang akan ditulis ke DataHub. Bidang dipisahkan oleh koma (,). Simpan file CSV sebagai /temp/test.csv di komputer lokal. Tabel berikut menjelaskan skema topik DataHub ke mana file CSV ditulis.

Nama bidang	Tipe data
id	BIGINT
name	STRING
gender	BOOLEAN
salary	DOUBLE
my_time	TIMESTAMP

Jalankan perintah berikut menggunakan alat baris perintah konsol:

uf -f /temp/test.csv -p test_topic -t test_topic -m "," -n 1000

Unduh data.
- -f: jalur penyimpanan file yang akan diunduh. Tambahkan karakter escape untuk jalur di Windows, misalnya, D:\\test\\test.txt.
- -ti: offset dari mana Anda ingin membaca data, dalam format yyyy-mm-dd hh:mm:ss.
- -l: ukuran data yang akan dibaca setiap kali.
- -g: menentukan apakah akan terus membaca data.
  - 0: membaca data hanya sekali. Tidak ada konsumsi lagi setelah ukuran data yang ditentukan dibaca.
  - 1: membaca data terus-menerus.

down -p test_project -t test_topic -s shardId -d subId -f filePath -ti "1970-01-01 00:00:00" -l 100 -g 0

FAQ

Gagal memulai skrip: Jalankan skrip di Windows untuk memeriksa apakah jalur skrip mengandung tanda kurung ().