DataHub projelerinize erişmek ve komutları çalıştırmak için komut satırı aracını kullanın.
Önkoşullar
Java 8 veya sonraki bir sürüm yüklü olmalıdır.
İstemciyi yükleme ve yapılandırma
Komut satırı aracı paketini indirin ve çıkarın: datahub_console.tar.gz.
Paketin çıkarılması,
bin,confvelibdizinlerini oluşturur.-
confdizinine gidin vedatahub.propertiesdosyasına aşağıdaki gibiakveendpointbilgilerini girin:datahub.accessid= datahub.accesskey= datahub.endpoint=Parametre ayrıntıları:
Parametre
Zorunlu
Açıklama
Örnek
datahub.accessid
Evet
Alibaba Cloud hesabınızın veya RAM kullanıcınızın AccessKey ID'si.
Yok
datahub.accesskey
Evet
Belirtilen AccessKey ID'ye ait AccessKey Secret.
Yok
datahub.endpoint
EvetDataHub hizmeti için uç nokta.
Uç noktayı, DataHub projenizin bölgesine ve ağ türüne göre ayarlayın. Kullanılabilir uç noktaların listesi için bkz. DataHub Uç Noktaları.
İstemciyi çalıştırma
İstemciyi aşağıdaki yöntemlerden birini kullanarak başlatın:
Seçenek 1: İstemci kurulum yolundaki
bindizininde, istemciyi başlatmak içindatahubcmd.batdosyasına (Windows için) çift tıklayın.DataHub=>istemi görüntülendiğinde istemci başarıyla başlar.Seçenek 2: Sisteminizin komut satırı penceresinde, istemci kurulum yolundaki
bindizinine gidin.datahubcmdkomutunu (Windows için) veyash datahubcmd.sh(Linux veya macOS için) çalıştırın.DataHub=>istemi görüntülendiğinde istemci başarıyla başlar.
Komut yardımı
Komutlar için yardım almak üzere aşağıdaki yöntemlerden birini kullanın.
-
Seçenek 1: İstemci içinden yardım bilgilerini görüntüleyin.
-
Tüm komutları görüntüleyin:
help -
Anahtar kelimeye göre ilgili komutları görüntüleyin. Örneğin, konuların listesini almak için:
DataHub=>help lt NAME lt - List topic SYNOPSYS lt [-p] string OPTIONS -p string projectName [Mandatory]
-
-
Seçenek 2: Sisteminizin komut satırı penceresinden, istemci kurulum yolundaki
bindizinine gidin ve tüm komutlar için yardımı görüntülemek üzere aşağıdaki komutu çalıştırın....\bin>datahubcmd help
Komut referansı
Proje
-
Proje oluşturma
cp -p test_project -c test_comment-p: Proje adı.
-c: Proje için açıklama.
-
Proje silme
ÖnemliBir projeyi silmeden önce, konular, abonelikler ve veri senkronizasyon görevleri gibi tüm kaynaklarını silmeniz gerekir. Aksi takdirde işlem başarısız olur.
dp -p test_project-p: Proje adı.
-
Projeleri listeleme
lp
Konu
-
Konu oluşturma
ct -p test_project -t test_topic -m TUPLE -f [(name,string,true)] -s 3 -l 3 -c test_comment-p: Proje adı.
-t: Konu adı.
-m: Konu türü. Geçerli değerler
BLOBveyaTUPLEşeklindedir.-f: Bir tuple konusu için şema. Biçim
[(fieldName,fieldType,isNull)]şeklindedir. Birden çok alanı virgülle ayırın.-s: Parça sayısı.
-l: Veri yaşam döngüsü (gün cinsinden). Değer 1 ile 7 arasında olmalıdır.
-c: Konu için açıklama.
-
Konu silme
dt -p test_project -t test_topic-p: Proje adı.
-t: Konu adı.
-
Konu bilgilerini alma
gt -p test_project -t test_topic-p: Proje adı.
-t: Konu adı.
-
Konu şemasını JSON dosyasına dışa aktarma
gts -f filepath -p test_project -t test_topic-f: JSON dosyasının kaydedileceği yol.
-p: Proje adı.
-t: Konu adı.
-
Konuları listeleme
lt -p test_project-p: Proje adı.
-
JSON dosyasından konu oluşturma
rtt -s 3 -l 3 -c test_comment -f filepath -p test_project -t test_topic-s: Parça sayısı.
-l: Veri yaşam döngüsü (gün cinsinden). Geçerli aralık 1 ila 7'dir.
-f: Dosya yolu.
-p: Proje adı.
-t: Konu adı.
-
Konu yaşam döngüsünü güncelleme
utl -p test_project -t test_topic -l 3 -c test_comment-p: Proje adı.
-t: Konu adı.
-l: Konu yaşam döngüsü.
-c: Konu için açıklama.
-
Konu alanı ekleme
anf -p test_project -t test_topic -l [(f1,STRING)]-p: Proje adı.
-t: Konu adı.
-l: Eklenecek yeni alan. Biçim
[(fieldName,fieldType)]şeklindedir.
Bağlayıcı
-
ODPS bağlayıcısı oluşturma
coc -p test_project -t test_topic -m SYSTEM_TIME -e odpsEndpoint -op odpsProject -ot odpsTable -oa odpsAccessId -ok odpsAccessKey -tr 60 -c (field1,field2) -tf ds hh mm-p: Proje adı.
-t: Konu adı.
-m: Senkronizasyon türü. ODPS'ye senkronizasyon için desteklenen türler
SYSTEM_TIME,USER_DEFINE,EVENT_TIMEveMETA_TIMEşeklindedir.-e: ODPS uç noktası. Klasik ağ uç noktası kullanmanız gerekir.
-op: ODPS proje adı.
-oa: ODPS'ye erişim için AccessKey ID.
-ok: ODPS'ye erişim için AccessKey Secret.
-tr: Dakika cinsinden bölüm zaman aralığı. Varsayılan değer 60'tır.
-tf: Bölüm biçimi. Günlük bölümler için
ds, saatlik bölümler içinds hhve dakika düzeyindeki bölümler içinds hh mmkullanın.
-
ODPS bağlayıcısına alan ekleme
acf -p test_project -t test_topic -c connectorId -f fieldName-p: Proje adı.
-t: Konu adı.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
-f: Yeni alanın adı.
-
MySQL/RDS bağlayıcısı oluşturma
cdc -p test_project -t test_topic -h host -po 3306 -ty mysql -d mysql_database -ta msyql_table -u username -pa password -ht IGNORE -n (field1,field2)-p: Proje adı.
-t: Konu adı.
-h: Ana bilgisayar. Klasik ağ uç noktası kullanmanız gerekir.
-po: Bağlantı noktası.
-
-ty: Hedef türü. Geçerli değerler:
SINK_MYSQLverileri MySQL'e senkronize etmek için bir bağlayıcı oluşturur.SINK_ADSverileri ADS'ye senkronize etmek için bir bağlayıcı oluşturur.
-d: Veritabanı adı.
-ta: Tablo adı.
-u: Kullanıcı adı.
-pa: Şifre.
-
-ht: Ekleme modu. Geçerli değerler:
IGNOREOVERWRITE
-n: Senkronize edilecek alanlar. Örnek:
(field1,field2).
-
DataHub bağlayıcısı oluşturma
cdhc -p test_project -t test_topic -sp sinkProject -st sinkTopic -m AK -i accessid k accessKey-p: Proje adı.
-t: Konu adı.
-sp: Verilerin içe aktarılacağı hedef proje.
-st: Verilerin içe aktarılacağı hedef konu.
-m: Kimlik doğrulama türü
AK: AccessKey kullanarak kimlik doğrulaması yapar.accessIdveaccessKeygerektirir.STS: Security Token Service (STS) kullanarak kimlik doğrulaması yapar.
-
FC bağlayıcısı oluşturma
cfc -p test_project -t test_topic -e endpoint -s service -f function -au AK -i accessId -k accessKey -n (field1,field2)-p: Proje adı.
-t: Konu adı.
-e: Function Compute (FC) uç noktası. Klasik ağ uç noktası kullanmanız gerekir.
-s: FC hizmet adı.
-f: FC işlev adı.
-au: Kimlik doğrulama yöntemi
AK: AccessKey kullanarak kimlik doğrulaması yapar.accessIdveaccessKeygerektirir.STS: STS kullanarak kimlik doğrulaması yapar.-n: Senkronize edilecek alanlar. Örnek:
(field1,field2).
-
Hologres bağlayıcısı oluşturma
chc -p test_project -t test_topic -e endpoint -cl (field,field2) -au AK -hp holoProject -ht holoTopic -i accessId -k accessKey -m Delimiter -l 1 -b false -n (field1,field2)-p: Proje adı.
-t: Konu adı.
-e: Uç nokta.
-cl: Hologres'e senkronize edilecek alanlar.
-au: Kimlik doğrulama yöntemi. Hologres bağlayıcıları için şu anda yalnızca AK kimlik doğrulaması desteklenmektedir.
-
-m: Ayrıştırma türü:
Delimiter:lineDelimiter,parseDatavecolumnDelimiterözelliklerini belirtmenizi gerektirir.InformaticaJson:parseDataözelliğini belirtmenizi gerektirir.
-
OTS bağlayıcısı oluşturma
cotsc -p test_project -t test_topic -i accessId -k accessKey -it instanceId -m AK -t table -wm PUT -c (field1,field2)-p: Proje adı.
-t: Konu adı.
-it: Tablestore (OTS) örnek adı.
-m: Kimlik doğrulama türü. Varsayılan STS'dir.
AK: AccessKey kullanarak kimlik doğrulaması yapar. BiraccessIdveaccessKeysağlamalısınız.STS: STS kullanarak kimlik doğrulaması yapar.-t: OTS tablo adı.
-
-wm: Yazma modu. İki mod desteklenir:
PUTUPDATE
-c: Senkronize edilecek alanlar. Örnek:
(field1,field2).
-
Elasticsearch bağlayıcısı oluşturma
cec -p test_project -t test_es -e endpoint:9200 -i f1 -u user -w password -n (f1,f2) -ty (f1,f2) -r (f1,f2) -c (f1,f2) -ti "1970-01-01 00:00:00"-p: Proje adı.
-t: Konu adı.
-e: Elasticsearch uç noktası. Dahili uç nokta ve bağlantı noktası
internal_endpoint:internal_portbiçiminde olmalıdır.-i: Dizin. Dizimler hakkında daha fazla bilgi için bkz. Elasticsearch'e veri senkronize etmek için bağlayıcı oluşturma.
-u: Elasticsearch'e erişim için kullanıcı adı.
-w: Elasticsearch'e erişim için şifre.
-n: Kimlik özelliği sütunu.
-ty: Tür özelliği sütunu.
-r: Yönlendirici özelliği sütunu.
-c: İçe aktarılacak alanlar.
-ti: Senkronizasyon başlangıç zamanı,
yyyy-mm-dd hh:mm:ssbiçiminde.
-
OSS bağlayıcısı oluşturma
csc -p test_project -t test_topic -b bucket -e endpoint -pr ossPrefix -tf ossTimeFormat -tr timeRange -c (f1,f2)-p: Proje adı.
-t: Konu adı.
-b: Object Storage Service (OSS) paket adı.
-e: OSS uç nokta adı.
-pr: OSS'ye senkronize edilen veriler için dizin ön eki.
-tf: Senkronizasyon zaman biçimi. Örneğin,
%Y%m%d%H%Mdakika düzeyindeki bölümleri belirtir.-tr: Bölümler için zaman aralığı.
-c: Senkronize edilecek alanlar.
-
Bağlayıcıları silme
dc -p test_project -t test_topic -c connectorId-p: Proje adı.
-t: Konu adı.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
-
Bağlayıcı ayrıntılarını alma
gc -p test_project -t test_topic -c connectorId-p: Proje adı.
-t: Konu adı.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
-
Bir konudaki bağlayıcıları listeleme
lc -p test_project -t test_topic-p: Proje adı.
-t: Konu adı.
-
Bağlayıcıyı yeniden başlatma
rc -p test_project -t test_topic -c connectorId-p: Proje adı.
-t: Konu adı.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
-
Bağlayıcının AccessKey bilgisini güncelleme
uca -p test_project -t test_topic -c connectorId -a accessId -k accessKey-p: Proje adı.
-t: Konu adı.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
Parça
-
Parçaları birleştirme
ms -p test_project -t test_topic -s shardId -a adjacentShardId-p: Proje adı.
-t: Konu adı.
-s: Birleştirilecek parçanın kimliği.
-a: Birleştirilecek bitişik parçanın kimliği.
-
Parça bölme
ss -p test_project -t test_topic -s shardId-p: Proje adı.
-t: Konu adı.
-s: Bölünecek parçanın kimliği.
-
Bir konudaki parçaları listeleme
ls -p test_project -t topicName-p: Proje adı.
-t: Konu adı.
-
Parça senkronizasyon durumunu alma
gcs -p test_project -t test_topic -s shardId -c connectorId-p: Proje adı.
-t: Konu adı.
-s: Parça kimliği.
-c: Bağlayıcı kimliği. Bu bilgiyi Data Synchronization sekmesinde bulabilirsiniz.
-
Parça için tüketim ofsetini alma
gso -p test_project -t test_topic -s subid -i shardId-p: Proje adı.
-t: Konu adı.
-s: Abonelik kimliği.
-i: Parça kimliği.
Abonelik
-
Abonelik oluşturma
css -p test_project -t test_topic -c comment-p: Proje adı.
-t: Konu adı.
-c: Abonelik için açıklama.
-
Abonelik silme
dsc -p test_project -t test_topic -s subId-p: Proje adı.
-t: Konu adı.
-s: Abonelik kimliği.
-
Abonelikleri listeleme
lss -p test_project -t test_topic-p: Proje adı.
-t: Konu adı.
Veri yükleme ve indirme
-
Veri yükleme
uf -f filepath -p test_topic -t test_topic -m "," -n 1000-f: Dosya yolu. Not: Windows yolları için ters eğik çizgilerden kaçınmalısınız. Örnek:
D:\\test\\test.txt.-p: Proje adı.
-t: Konu adı.
-m: Metin sınırlayıcı. Virgüller (
,) ve boşluklar desteklenir.-n: Her yükleme için toplu iş boyutu. Varsayılan 1000'dir.
Örnek: CSV dosyası yükleme
Bu örnekte, DataHub'a bir CSV dosyasının nasıl yükleneceği gösterilmektedir. Dosya aşağıdaki biçime sahiptir:
1. 0,qe614c760fuk8judu01tn5x055rpt1,true,100.1,14321111111 2. 1,znv1py74o8ynn87k66o32ao4x875wi,true,100.1,14321111111 3. 2,7nm0mtpgo1q0ubuljjjx9b000ybltl,true,100.1,14321111111 4. 3,10t0n6pvonnan16279w848ukko5f6l,true,100.1,14321111111 5. 4,0ub584kw88s6dczd0mta7itmta10jo,true,100.1,14321111111 6. 5,1ltfpf0jt7fhvf0oy4lo8m3z62c940,true,100.1,14321111111 7. 6,zpqsfxqy9379lmcehd7q8kftntrozb,true,100.1,14321111111 8. 7,ce1ga9aln346xcj761c3iytshyzuxg,true,100.1,14321111111 9. 8,k5j2id9a0ko90cykl40s6ojq6gruyi,true,100.1,14321111111 10. 9,ns2zcx9bdip5y0aqd1tdicf7bkdmsm,true,100.1,14321111111 11. 10,54rs9cm1xau2fk66pzyz62tf9tsse4,true,100.1,14321111111Yukarıdaki CSV dosyasında her satır bir kaydı temsil eder ve alanlar virgülle (
,) ayrılır. Dosya yerel/temp/test.csvyoluna kaydedilir. DataHub konusunun şeması aşağıdaki gibidir:
Alan adı
Tür
id
BIGINT
name
STRING
gender
BOOLEAN
salary
DOUBLE
my_time
TIMESTAMPAşağıdaki komutu çalıştırın:
uf -f /temp/test.csv -p test_topic -t test_topic -m "," -n 1000 -
Veri indirme
down -p test_project -t test_topic -s shardId -d subId -f filePath -ti "1970-01-01 00:00:00" -l 100 -g 0-f: İndirilen dosyanın kaydedileceği yol. Windows yolları için ters eğik çizgilerden kaçınmalısınız (örneğin,
D:\\test\\test.txt).-p: Proje adı.
-t: Konu adı.
-s: Parça kimliği.
-d: Abonelik kimliği.
-ti: Veri okumaya başlanacak zaman damgası. İstemci, bu zamanda veya sonrasında oluşturulan kayıtları okur. Biçim
yyyy-mm-dd hh:mm:ssşeklindedir.-l: Her toplu işte okunacak kayıt sayısı.
-
-g: Sürekli okumanın belirtilmesi.
0: Yalnızca bir toplu kayıt okur ve ardından durur.1: Sürekli okur.
SSS
Windows'ta betik başlatılamıyor: Bu sorun, betik yolunda parantez bulunması durumunda oluşabilir. Çözüm için betiğe giden tam yolda parantez olmadığından emin olun.