DataWorks Veri Geliştirme (DataStudio), veri işleme gereksinimleriniz için çeşitli düğümler sunar. Bu düğümler arasında veri entegrasyonu düğümleri; ODPS SQL, Hologres SQL ve EMR Hive gibi hesaplama kaynağı düğümleri ile sanal düğümler ve Check düğümleri gibi genel amaçlı düğümler yer alır.
Veri Geliştirme ortamında ODPS SQL, Hologres SQL veya EMR Hive gibi bir hesaplama kaynağı düğümü oluşturamıyorsanız sol gezinme bölmesinde Computing Resource seçeneğine tıklayın ve ilgili hesaplama kaynağının bağlı olup olmadığını kontrol edin. Kaynak bağlı olmasına rağmen düğümü hala oluşturamıyorsanız önbelleğe alınan verileri güncellemek için geçerli sayfayı yenileyin. Ayrıca tarayıcınızda gizli modu etkinleştirmeyi deneyebilirsiniz.
Veri senkronizasyon düğümleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Veri Geliştirme (DataStudio) arayüzünde oluşturduğunuz düğümlere ek olarak Data Integration ana sitesi çeşitli senkronizasyon çözümleri destekler. Örnekler arasında tam ve artımlı verilerin gerçek zamanlı senkronizasyonu ile tüm veritabanlarının çevrimdışı senkronizasyonu yer alır. Daha fazla bilgi için bkz. Data Integration'daki senkronizasyon görevi yetenekleri. Data Integration ana sitesindeki görevlerin kodu genellikle 24 şeklindedir.
Motor hesaplama düğümleri
Bir iş akışında belirli bir motora karşılık gelen bir düğüm oluşturabilirsiniz. Ardından bu düğümü veri geliştirmek için kullanabilir ve kodu yürütülmesi amacıyla ilgili hesaplama motoruna gönderebilirsiniz.
|
DataWorks ile entegre motor |
DataWorks'ün motor yeteneklerini sarmalama şekli |
Düğüm kodu |
TaskType |
|
MaxCompute |
10 |
ODPS_SQL |
|
|
225 |
ODPS_SPARK |
||
|
221 |
PY_ODPS |
||
|
1221 |
PYODPS3 |
||
|
24 |
ODPS_SQL_SCRIPT |
||
|
11 |
ODPS_MR |
||
|
1010 |
COMPONENT_SQL |
||
|
E-MapReduce |
227 |
EMR_HIVE |
|
|
230 |
EMR_MR |
||
|
229 |
EMR_SPARK_SQL |
||
|
228 |
EMR_SPARK |
||
|
257 |
EMR_SHELL |
||
|
259 |
EMR_PRESTO |
||
|
260 |
EMR_IMPALA |
||
|
264 |
EMR_SPARK_STREAMING |
||
|
268 |
EMR_KYUUBI |
||
|
267 |
EMR_TRINO |
||
|
EMR JAR |
231 |
EMR_JAR |
|
|
EMR File |
232 |
EMR_FILE |
|
|
CDH |
270 |
CDH_HIVE |
|
|
271 |
CDH_SPARK |
||
|
273 |
CDH_MR |
||
|
278 |
CDH_PRESTO |
||
|
279 |
CDH_IMPALA |
||
|
272 |
CDH_SPARK_SQL |
||
|
AnalyticDB for PostgreSQL |
- |
- |
|
|
AnalyticDB for MySQL |
1000126 |
- |
|
|
Hologres |
1093 |
HOLOGRES_SQL |
|
|
1094 |
HOLOGRES_SYNC_DDL |
||
|
1095 |
HOLOGRES_SYNC_DATA |
||
|
ClickHouse |
1301 |
CLICK_SQL |
|
|
Algoritma (makine öğrenimi) |
1117 |
PAI_STUDIO |
|
|
1119 |
PAI_DLC |
||
|
Veritabanı |
1000125 |
- |
|
|
10001 |
- |
||
|
10002 |
- |
||
|
10003 |
- |
||
|
10004 |
- |
||
|
10005 |
- |
||
|
10006 |
- |
||
|
10007 |
- |
||
|
10008 |
- |
||
|
10009 |
- |
||
|
10010 |
- |
||
|
10011 |
- |
||
|
10012 |
- |
||
|
10013 |
- |
||
|
10014 |
- |
||
|
10015 |
- |
||
|
10016 |
- |
||
|
10017 |
- |
||
|
10018 |
- |
||
|
Diğer |
1000023 |
- |
Genel amaçlı düğümler
Motor düğümleri, karmaşık mantığı işlemek için genel amaçlı düğümlerle birlikte kullanılabilir. Bir iş akışında gerekli düğümleri genel amaçlı düğüm grubunda oluşturabilir ve bunları motor düğümleriyle birleştirerek karmaşık mantığı uygulayabilirsiniz.
|
İş senaryosu |
Düğüm türü |
Kullanım notları |
Düğüm kodu |
TaskType |
|
İş yönetimi |
Sanal düğüm bir kontrol düzlemi düğümüdür. Herhangi bir veri üretmeyen kuru çalıştırma düğümüdür. Genellikle düğümleri ve iş akışlarını yönetmenize yardımcı olmak amacıyla bir iş akışının kök düğümü olarak kullanılır. |
99 |
VIRTUAL |
|
|
Olay tetikleyici |
Bu düğümü kullanarak başka bir zamanlama sistemindeki bir görev tamamlandıktan sonra DataWorks'te bir görevi tetikleyebilirsiniz. Not
DataWorks artık çapraz kiracı iş birliği düğümlerinin oluşturulmasını desteklememektedir. Çapraz kiracı iş birliği düğümleri kullanıyorsanız bunları HTTP tetikleyici düğümleriyle değiştirin. HTTP tetikleyici düğümleri aynı özellikleri sağlar. |
1114 |
SCHEDULER_TRIGGER |
|
|
OSS nesnelerinin oluşturulmasını izleyerek alt düğümlerin yürütülmesini tetikler. |
239 |
OSS_INSPECT |
||
|
FTP dosyalarının oluşturulmasını izleyerek alt düğümlerin yürütülmesini tetikler. Not
DataWorks resmi olarak FTP Denetimi düğümü yerine bir Check düğümü kullanmanızı önerir. |
1320 |
FTP_CHECK |
||
|
Bir hedef nesnenin aktif olup olmadığını denetlemek için kullanılır. Check düğümü denetim ilkesini karşıladığında başarılı bir çalışma durumu döndürür. Aşağı akış bağımlılıkları varsa alt görevler tetiklenir. Aşağıdaki hedef nesneler denetlenebilir:
|
241 |
CHECK_NODE |
||
|
Veri Kalitesi |
Veri Karşılaştırma düğümü bir iş akışındaki farklı tabloların verilerini birden çok şekilde karşılaştırmanıza olanak tanır. |
1331 |
DATA_SYNCHRONIZATION_QUALITY_CHECK |
|
|
Parametre atama ve aktarma |
Parametre aktarmak için kullanılır. Atama düğümünün yerleşik çıkışı son sorgunun veya çıktının sonucunu düğüm bağlamı özelliği aracılığıyla alt düğümlere iletir. Bu sayede düğümler arası parametre aktarımı gerçekleştirilir. |
1100 |
CONTROLLER_ASSIGNMENT |
|
|
Üst düğümlerden gelen parametreleri toplamak ve bunları alt düğümlere dağıtmak için kullanılır. |
1115 |
PARAM_HUB |
||
|
Kontrol |
Bir atama düğümü tarafından aktarılan sonuç kümesini yinelemek için kullanılır. |
1106 |
CONTROLLER_TRAVERSE |
|
|
Belirli bir düğüm mantığının yürütülmesini döngüye almak için kullanılır. Ayrıca bir atama düğümüyle birlikte kullanarak atama düğümü tarafından aktarılan sonuç çıktısını döngüye alabilirsiniz. |
1103 |
CONTROLLER_CYCLE |
||
|
Bir üst düğümün sonucunu değerlendirmek ve farklı sonuçlar için hangi dal mantığının izleneceğini belirlemek için kullanılır. Bir atama düğümüyle birlikte kullanılabilir. |
1101 |
CONTROLLER_BRANCH |
||
|
Üst düğümlerin çalışma durumlarını birleştirmek için kullanılır. Bu sayede dal düğümünün alt düğümleri için bağımlılık ekleme ve yürütme tetikleme sorunları çözülür. |
1102 |
CONTROLLER_JOIN |
||
|
Diğer |
Shell düğümü standart Shell sözdizimini destekler ancak etkileşimli sözdizimini desteklemez. |
6 |
DIDE_SHELL |
|
|
Olay işlevlerini periyodik olarak zamanlamak ve işlemek ile diğer düğüm türleriyle entegre ederek ortak zamanlama yapmak için kullanılır. |
1330 |
FUNCTION_COMPUTE |
||
|
Bir iş akışındaki sorgu verilerini DingTalk gruplarına, Lark gruplarına, WeCom gruplarına ve Teams'e itmek için kullanılır. Bu sayede ekip üyeleri en son verileri anında alıp takip edebilir. |
1332 |
DATA_PUSH |