Tüm Ürünler
Search

Bu Ürün

    DataWorks:Veri karşılaştırma

    Belge Merkezi

    DataWorks:Veri karşılaştırma

    Son Güncelleme:Oct 05, 2026

    DataWorks, farklı tablolar arasındaki verileri çeşitli yöntemlerle karşılaştırmanıza olanak tanıyan veri karşılaştırma düğümleri sunar. Bu düğümleri iş akışlarınızda kullanabilirsiniz. Bu konuda, görevleri geliştirmek amacıyla veri karşılaştırma düğümünün nasıl kullanılacağı açıklanmaktadır.

    Düğüm tanıtımı

    Veri karşılaştırma düğümleri yalnızca veri entegrasyonu için değil, aynı zamanda tablolar arası karşılaştırma işlemleri için de kullanılır. Özel karşılaştırma kapsamları ve özel karşılaştırma ölçümlerini destekleyerek daha kapsamlı veri karşılaştırmaları yapmanızı sağlar.

    Sınırlamalar

    Yalnızca Serverless kaynak grupları desteklenir. Serverless kaynak gruplarının nasıl ekleneceği ve kullanılacağı hakkında daha fazla bilgi için bkz. Serverless kaynak grubu ekleme ve kullanma.

    I. Veri karşılaştırma düğümü oluşturma

      1. DataWorks konsolunda Çalışma Alanları sayfasına gidin. Üst gezinme çubuğundan istediğiniz bölgeyi seçin. İlgili çalışma alanını bulun ve Actions sütunundaki Shortcuts > Data Studio seçeneğini belirleyin.

    2. Sol gezinme bölmesinde, Veri Geliştirme sayfasına gitmek için image simgesine tıklayın. Project Directory öğesinin sağ tarafındaki image simgesine tıklayın ve New Node > Data Quality > Data Comparison yolunu izleyin. Düğüm için bir yol ve ad belirtmek üzere ekrandaki talimatları takip edin.

    II. Veri karşılaştırma düğümünü yapılandırma

    1. Karşılaştırma tablosu bilgilerini yapılandırma

    Veri karşılaştırma düğümü, farklı veri kaynaklarından gelen tablo verilerini karşılaştırmak için karşılaştırma tablosu bilgilerinin basit bir şekilde yapılandırılmasını gerektirir. Yapılandırma ayrıntıları aşağıda verilmiştir:

    Parametre

    Açıklama

    Resource Group

    Açılır listeden mevcut bir kaynak grubu seçin.

    Task Resource Usage

    Veri karşılaştırma düğümünü çalıştırmak için ayrılan işlem birimi (CU) sayısı. Bu parametreyi ihtiyacınıza göre yapılandırabilirsiniz.

    Data Source Type

    Kaynak ve hedef tabloların ait olduğu veri kaynaklarının türlerini ayrı ayrı seçin.

    Data Source Name

    Kaynak ve hedef tabloların ait olduğu veri kaynaklarını ayrı ayrı seçin.

    Connectivity

    Yapılandırmayı tamamladıktan sonra, veri kaynağı ile kaynak grubu arasındaki bağlantıyı doğrulamak için Test seçeneğine tıklayın.

    Table Name

    Karşılaştırılacak kaynak ve hedef tabloları açılır listeden seçin.

    Not

    MaxCompute veri kaynağı için bir şema seçebilirsiniz.

    WHERE Condition

    Kaynak ve hedef tablolardaki verileri filtrelemek için bir WHERE koşulu girin.

    Not

    • Yapılandırma sırasında WHERE anahtar sözcüğünü girmeniz gerekmez.

    • Bölümlenmiş tabloları karşılaştırırken, çalıştırmadan önce bölümü belirtmeniz önerilir. Aksi takdirde aşağıdaki hata oluşur: Semantic analysis exception - physical plan generation failed: Table(<MaxCompute project name>,<table name>) is full scan with all partitions, please specify partition predicates.

    Shard Key

    Kaynak tablodaki bir sütunu parça anahtarı olarak belirtir. Parça anahtarı olarak birincil anahtarı veya dizine alınmış bir sütunu kullanmanız önerilir.

    2. Karşılaştırma kurallarını yapılandırma

    Kaynak ve hedef verileri karşılaştırmak için Metric-based Comparison veya Full-text Comparison seçeneklerine yönelik kurallar yapılandırabilirsiniz.

    Ölçüm tabanlı karşılaştırma

    • Table-level Comparison:

      Table Row Comparison: Ölçüm tabanlı karşılaştırma, iki tablonun satır sayılarının karşılaştırılması gibi tablo düzeyindeki kontrolleri destekler. Fark belirtilen hata eşiği dahilindeyse karşılaştırma başarılı olur.

      Not

      Hata eşiği Percentage, Absolute Value veya Consistent or Not olarak ayarlanabilir.

    • Field-level Comparison:

      Varsayılan olarak aynı ada sahip alanlar karşılaştırılır. Kaynak ve hedef tablolardaki alan adları farklıysa, karşılaştırmak üzere bir kaynak alanını bir hedef alana manuel olarak eşlemek için Add Field for Comparison seçeneğine tıklayın.

      • Source Field: Karşılaştırmak için kaynak tablodan alanı seçin.

      • Target Field: Karşılaştırmak için hedef tablodan alanı seçin.

      • Comparison Metric: Alanları MAX, AVG, MIN ve SUM dahil olmak üzere yaygın toplama işlevlerini kullanarak karşılaştırabilirsiniz.

        • Bir kaynak ve hedef tablo alanı çifti için birden çok karşılaştırma ölçümü yapılandırabilirsiniz.

        • Farklı karşılaştırma ölçümleri için Hata Eşiği ve Yoksayılan Nesne parametrelerini farklı değerlere ayarlayabilirsiniz.

      • Error Threshold: Gerçek fark yapılandırılan hata eşiğinden küçükse karşılaştırma başarılı olur. Eşiği Percentage, Absolute Value veya Consistent or Not olarak ayarlayabilirsiniz.

        Not

        • Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|

        • Hata Eşiğinin Error Threshold değeri = (|Kaynak ölçüm değeri - Hedef ölçüm değeri|) / Kaynak ölçüm değeri × %100

      • Ignore: Desteklenen yoksayma seçenekleri, karşılaştırılan alanların veri türlerine göre değişir.

        Karşılaştırma için alan türü

        Desteklenen yoksayma seçenekleri

        Tamsayı türü alanlar (INT, BIGINT vb.)

        Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        Dize türü alanlar (STRING, VARCHAR, TEXT vb.)

        Difference Between Null Value and Empty String seçeneğini yoksayabilirsiniz.

        Sayısal tür alanlar (tamsayı ve kayan nokta türleri dahil)

        • Karşılaştırma için Floating Precision değerini ayarlayın.

        • Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        • Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        Tamsayı ve dize türü karşılaştırması

        Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        Tamsayı ve kayan nokta türü karşılaştırması

        • Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        • Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        Kayan nokta ve dize türü karşılaştırması

        Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

      • Operation: Gerekli olmayan karşılaştırma alanlarını kaldırabilirsiniz.

    • Configure Custom Comparison Rules:

      Kaynak ve hedef tablolardaki verileri karşılaştırmak üzere özel SQL karşılaştırma ölçümleri eklemek için aşağıdaki adımları uygulayın:

      1. Karşılaştırmak istediğiniz ölçümleri eklemek için Add Custom SQL Comparison Metric seçeneğine tıklayın. Ölçümleri manuel olarak yeniden adlandırabilirsiniz.

        Bir ölçüm ekledikten sonra, tabloda Error Threshold yapılandırma, Custom SQL yazma (Configure seçeneğine tıklayarak) ve ölçümü silme (Delete seçeneğini kullanarak) seçenekleri görüntülenir.

      2. Error Threshold değerini ihtiyacınıza göre ayarlayın. Eşiği Percentage, Absolute Value veya Consistent or Not olarak ayarlayabilirsiniz.

      3. Hata eşiğini yapılandırdıktan sonra, ölçümün nasıl hesaplanacağını tanımlamak üzere kaynak ve hedef tablolar için SQL sorguları yazmak amacıyla Custom SQL sütunundaki Custom SQL seçeneğine tıklayın.

      4. Yapılandırmayı tamamladıktan sonra OK seçeneğine tıklayın.

    Tam metin karşılaştırma

    1. Karşılaştırma yöntemini tam metin olarak ayarladığınızda, farklı karşılaştırma etkileri elde etmek için Full-text Comparison Type ayarını değiştirebilirsiniz.

      • Source Data Contained in Destination: Kaynak tablodaki her satır hedef tabloda da mevcutsa karşılaştırma başarılı olur. Bu durumda, hedef tablo kaynak tablodan daha fazla satır içerebilir.

      • Comparison by Row: İçerik ve satır sayısı açısından farklılıkları belirlemek için kaynak ve hedef tabloları satır satır karşılaştırır.

        Satır bazında karşılaştırma yapılandırırken bir Error Threshold değeri belirtmeniz gerekir. Eşiği Percentage, Absolute Value veya Consistent or Not olarak ayarlayabilirsiniz.

        Not

        • Error Threshold Absolute Value = |Source Table Metric Value - Destination Table Metric Value|

        • Hata Eşiğinin Error Threshold değeri = (|Kaynak ölçüm değeri - Hedef ölçüm değeri|) / Kaynak ölçüm değeri × %100

    2. Full-text Comparison Type seçeneğini yapılandırdıktan sonra karşılaştırılacak alanları seçebilirsiniz. Varsayılan olarak aynı ada sahip alanlar karşılaştırılır. Farklı adlara sahip alanları karşılaştırmak için Add Comparison Field seçeneğine manuel olarak tıklayıp kaynak ve hedef alanları seçmeniz gerekir.

      • Source Field: Karşılaştırmak için kaynak tablo alanını seçin.

      • Target Field: Karşılaştırmak için hedef tablo alanını seçin.

      • Compare Primary Keys: Tam metin karşılaştırması için, içeriklerini karşılaştırmadan önce satırları eşleştirmek amacıyla bir birincil anahtar belirtmeniz gerekir.

      • Ignore: Desteklenen yoksayma seçenekleri, karşılaştırılan alanların veri türlerine göre değişir.

        Karşılaştırma için alan türü

        Desteklenen yoksayma seçenekleri

        Tamsayı türü alanlar (INT, BIGINT vb.)

        Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        Dize türü alanlar (STRING, VARCHAR, TEXT vb.)

        Difference Between Null Value and Empty String seçeneğini yoksayabilirsiniz.

        Sayısal tür alanlar (tamsayı ve kayan nokta türleri dahil)

        • Karşılaştırma için Floating Precision değerini ayarlayın.

        • Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        • Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        Tamsayı ve dize türü karşılaştırması

        Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        Tamsayı ve kayan nokta türü karşılaştırması

        • Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

        • Difference Between Null Value and Value 0 seçeneğini yoksayabilirsiniz.

        Kayan nokta ve dize türü karşılaştırması

        Ignore trailing zeros in the decimal part. seçeneğini belirleyebilirsiniz.

      • Operation: Gerekli olmayan karşılaştırma alanlarını kaldırmak için Delete seçeneğine tıklayın.

    3. Tam metin karşılaştırma sonuçlarının depolanması gerekir; böylece karşılaştırma tamamlandıktan sonra veri karşılaştırma ayrıntılarını görüntüleyebilirsiniz. Karşılaştırma sonuçlarını depolamak için bir veri kaynağı yapılandırabilirsiniz.

      • Data Source Type: Yalnızca MaxCompute veri kaynakları desteklenir.

      • Data Source Name: Açılır listeden çalışma alanıyla ilişkili bir MaxCompute veri kaynağı seçin.

      • Connectivity: Seçilen MaxCompute veri kaynağının, karşılaştırma tabloları için yapılandırdığınız kaynak grubuna bağlanabildiğinden emin olun.

      • Table for Storage: data_comparison_xxxxxx biçiminde adlandırılmış bir depolama tablosu oluşturmak için Generate Storage Table seçeneğine tıklayın.

      • Tunnel Quota: Açılır listeden bir MaxCompute veri aktarım kaynağı seçin. Daha fazla bilgi için bkz. Veri Entegrasyonu için özel kaynak grubu satın alma ve kullanma.

    3. Zamanlama yapılandırması

    Kuralları yapılandırdıktan sonra, veri karşılaştırma düğümü için zamanlama özelliklerini yapılandırmak üzere sağ bölmedeki Scheduling Settings seçeneğine tıklayın. Daha fazla bilgi için bkz. Düğüm için zamanlama yapılandırma.

    III. Dağıtım ve işlemler

    1. Veri karşılaştırma düğümünü dağıtma

    Veri karşılaştırma düğümündeki bir görev yapılandırıldıktan sonra düğümü gönderip dağıtmanız gerekir. Düğümü gönderip dağıttıktan sonra sistem, zamanlama yapılandırmalarına dayanarak düğümü düzenli aralıklarla çalıştırır.

    1. Üst araç çubuğundaki image simgesine tıklayarak düğümü kaydedin.

    2. Üst araç çubuğundaki image simgesine tıklayarak düğümü dağıtın.

    Düğümlerin dağıtılmasına ilişkin ayrıntılı işlemler için bkz. Düğüm veya iş akışı dağıtma.

    2. Veri karşılaştırma düğümünü işletme

    Veri karşılaştırma düğümü başarıyla dağıtıldıktan sonra, İşlem Merkezi'nde düğüm üzerinde işlemler gerçekleştirebilirsiniz. Daha fazla bilgi için bkz. İşlem Merkezi.

    3. Veri doğrulama raporunu görüntüleme

    Veri doğrulama raporunu görev yürütme günlüğünde aşağıdaki yöntemlerle görüntüleyebilirsiniz:

    • İşlem Merkezi'nde görüntüleme:

      1. Sayfanın sol üst köşesindeki image simgesine tıklayın ve All Products > Data Development and O&M > Operation and Maintenance Center (Workflow) yolunu izleyerek İşlem Merkezi'ne gidin.

      2. İşlem Merkezi'nin sol gezinme bölmesinde Auto Triggered Task O&M > Cycle Examples yolunu izleyerek veri karşılaştırma düğümü için oluşturulan örnekleri görüntüleyin. Operation sütununda More seçeneğine tıklayın ve View Run Logs seçeneğini belirleyin.

      3. Günlük sayfasında raporu görüntülemek için Data Comparison sekmesine tıklayın.

    • Log sekmesinde görüntüleme:

      Veri karşılaştırma düğümünü Veri Geliştirme sayfasında çalıştırıyorsanız, günlükteki bağlantıya tıklayarak veri doğrulama raporunu açın.

      Run successfully
Click url below to view more details: https://dqc-cn-shanghai.data.aliyun.com/?defaultProjectId=814397&instanceId=1748247966625d1dfc93063c04f38a6549986
2196c455#/job/consistency-result-check/detail
2025-05-26 16:27:14 INFO ========================================================================
2025-05-26 16:27:14 INFO Exit code of the Shell command 0
2025-05-26 16:27:14 INFO --- Invocation of Shell command completed ---
2025-05-26 16:27:14 INFO Shell run successfully!
2025-05-26 16:27:14 INFO Current task status: FINISH
2025-05-26 16:27:14 INFO Cost time is: 70.195s
/home/admin/alisatasknode/taskinfo//20250526/executor/16/25/45/scn55otppszv9757kmhjsjbw/T3_6915242209.log-END-EOF