DataHub quick start - synchronize data to MaxCompute - DataHub

1. Adım: DataHub hizmetini etkinleştirin

DataHub konsolu adresinde oturum açın.
Ekrandaki talimatları izleyerek hizmeti etkinleştirin.

2. Adım: Bir Project ve bir Topic oluşturun

DataHub konsolu adresinde oturum açın.
Create Project seçeneğine tıklayın. Açılan iletişim kutusunda Name (bir harfle başlamalı, 3–32 karakter uzunluğunda, yalnızca harf, rakam ve alt çizgi içerebilir) ve Description (en fazla 1.024 karakter) alanlarını belirtin, ardından Create düğmesine tıklayın.

Parametre	Açıklama
Project	Project, DataHub'daki temel organizasyon birimidir ve bir veya daha fazla Topic içerir. DataHub Project'leri MaxCompute projelerinden bağımsızdır; DataHub'da ayrı bir Project oluşturmanız gerekir.
Description	Project açıklaması.

3. Project Details sayfasında Create Topic seçeneğine tıklayın. New Topic iletişim kutusunda Creation Method için Create Directly veya Import MaxCompute table schema seçeneklerinden birini seçin.

Parametre	Açıklama
Creation Method	Bir Topic'i sıfırdan oluşturun veya mevcut bir MaxCompute tablosundan şemayı içe aktarın.
Name	Topic adı.
Type	Topic türü. `TUPLE` yapılandırılmış verileri, `BLOB` ise yapılandırılmamış verileri temsil eder.
Schema Details	`TUPLE` seçildiğinde görünür. İhtiyaca göre alanları tanımlayın. Bir alan `NULL` değerine izin veriyorsa upstream'teki eksik değerler varsayılan olarak `NULL` olur. `NULL` değerine izin verilmiyorsa DataHub katı doğrulama yapar ve tür uyumsuzluğu durumunda hata bildirir.
Number of Shards	Bir Topic içindeki veri iletimi için eşzamanlı kanal. Her Shard'in bir ID'si ve `Opening` veya `Active` gibi bir durumu vardır. Her aktif Shard sunucu kaynağı tükettiğinden yalnızca ihtiyacınız kadar ayırın.
Lifecycle	Topic için veri saklama süresi (gün cinsinden, 1–7). Bu değeri değiştirmek için Java SDK kullanın.
Description	Topic açıklaması.

3. Adım: Veri yazın

DataHub; günlükler için Flume, veritabanları için DTS veya Canal ya da SDK olmak üzere çeşitli veri alma yöntemlerini destekler. Bu örnekte bir dosya yüklemek için konsol aracını kullanıyoruz.

Konsol aracı paketini indirip açın, ardından AccessKey çiftini ve uç noktayı yapılandırın. Bkz. konsol komut satırı aracı.

Dosyayı yüklemek için uf komutunu kullanın.

uf -f /temp/test.csv -p test_topic -t test_topic -m "," -n 1000

Verilerin yazıldığını doğrulayın. Topic Details sayfasındaki Shard List sekmesinde en son yazma zamanını ve toplam veri hacmini kontrol edin.
Veri kalitesini kontrol etmek için örnek veriler alın.
1. Örnekleme için Shard'i ve başlangıç zamanını seçin.
2. Verileri görüntülemek için Sample seçeneğine tıklayın.

Örnekleme iletişim kutusunda Sample Count değerini belirtin (varsayılan: 20) ve belirli alanlara göre filtrelemek için Select Filter Fields seçeneğini kullanın.

4. Adım: Verileri senkronize edin

Bu örnek, verilerin MaxCompute'a nasıl senkronize edileceğini gösterir.

Project List/Project Details/Topic Details sayfasına gidin.
Sağ üst köşede senkronizasyon görevi oluşturmak için + Sync seçeneğine tıklayın.
MaxCompute iş türünü seçin:

1) TUPLE türü senkronizasyon için New Connector iletişim kutusunda aşağıdaki parametreleri yapılandırın: Project Name, Table Name, AccessKey ID, AccessKey Secret, Fields to Import, Partitioning Mode, Partition Configuration, Partition Interval, Time Zone, Start Time ve TimestampUnit. İşlem bittiğinde Create seçeneğine tıklayın.

Seçilen yapılandırma notları:

Konsol tabanlı senkronizasyon görevleri için ana yapılandırma parametreleri aşağıda açıklanmıştır. Gelişmiş seçenekler için SDK'yı kullanın.

Fields to Import

Yalnızca belirli sütunları bir MaxCompute tablosuna senkronize edin.
Partitioning Mode

Verilerin hangi MaxCompute bölümüne (partition) alınacağını belirler. Desteklenen modlar:

Bölümleme modu	Bölüm temeli	Desteklenen türler	Açıklama
USER_DEFINE	Kayıttaki bölüm sütunu değeri. Sütun adı MaxCompute bölüm alanıyla eşleşmelidir.	TUPLE	(1) DataHub şeması MaxCompute bölüm alanlarını içermelidir. (2) Bu sütunun değeri `boş olmayan UTF-8 dizesi` olmalıdır.
SYSTEM_TIME	Kaydın DataHub'a yazıldığı zaman.	TUPLE / BLOB	(1) Partition Configuration alanında zaman damgasını MaxCompute bölümüne dönüştürmek için biçimi ayarlayın. (2) Saat dilimini ayarlayın.
EVENT_TIME	Kayıttaki `event_time` (TIMESTAMP) sütununun değeri.	TUPLE	(1) Partition Configuration alanında zaman damgasını MaxCompute bölümüne dönüştürmek için biçimi ayarlayın. (2) Saat dilimini ayarlayın.
META_TIME	Kayıttaki `__dh_meta_time__` nitelik alanının değeri.	TUPLE / BLOB	(1) Partition Configuration alanında zaman damgasını MaxCompute bölümüne dönüştürmek için biçimi ayarlayın. (2) Saat dilimini ayarlayın.

SYSTEM_TIME, EVENT_TIME ve META_TIME modları MaxCompute bölümünü belirlemek için bir zaman damgası ve saat dilimi kullanır. Varsayılan zaman damgası birimi mikrosaniyedir.

Bölüm yapılandırması, bir zaman damgasını MaxCompute bölümüne dönüştürür. Konsol varsayılan olarak sabit bir bölüm biçimi kullanır:

Bölüm	Zaman biçimi	Açıklama
ds	%Y%m%d	Gün
hh	%H	Saat
mm	%M	Dakika

Zaman damgalarını MaxCompute bölümlerine dönüştürmek için zaman aralığı. Aralık: 15 dakika ila 1.440 dakika (1 gün), 15 dakika artışlarla.
Zaman damgalarını MaxCompute bölümlerine dönüştürmek için kullanılan saat dilimi.
BLOB verileri için, MaxCompute'a senkronize etmeden önce kayıtları bölmek amacıyla onaltılık bir sınırlayıcı belirtin. Örneğin, 0A yeni satır karakterini (\n) temsil eder.
DataHub BLOB verilerini ikili (binary) olarak depolar, ancak MaxCompute sütunu STRING türünü kullanır. Konsol, senkronizasyondan önce BLOB verilerini varsayılan olarak Base64 ile kodlar. Gelişmiş seçenekler için SDK'yı kullanın.

5. Adım: Senkronizasyon görevini görüntüleyin

Connector ayrıntıları sayfası görev durumunu, checkpoint bilgilerini ve Sync Latency, DoneTime ve Dirty Data Count gibi izleme ölçümlerini gösterir. Görevi yeniden başlatabilir veya durdurabilir ve Sync Task Fields alanlarını yönetebilirsiniz. Güncellemeler hemen etkili olur.

MaxCompute'a veri senkronize etmek için bir görev oluşturma.