DataWorks:Meta veri toplama

MaxCompute varsayılan tarayıcısı

Bu tarayıcı, hesabınız altındaki MaxCompute projelerinden meta veri toplar. Ayrıntılar sayfasına gidip Modify Data Scope seçeneğine tıklayarak toplanacak projeleri seçebilir ve Permission Configurations seçeneğine tıklayarak kiracı içindeki meta verilerin görünürlüğünü yapılandırabilirsiniz.

1. Meta veri toplama sayfasındaki Built-in bölümünde MaxCompute Default Crawler kartını bulun ve Details seçeneğine tıklayın.

2. MaxCompute Default Crawler ayrıntıları sayfası iki sekme içerir: Basic Information ve Data Scope.

   • Basic Information: Toplama türü ve yöntemi gibi tarayıcının temel özelliklerini görüntüler. Bu bilgiler salt okunurdur.

   • Data Scope: Bu tarayıcının hangi MaxCompute projelerinden meta veri topladığını yönetir.

3. Toplama kapsamını değiştirin:

   1. Data Scope sekmesine geçin ve Modify Data Scope düğmesine tıklayın.

   2. Açılan iletişim kutusunda, meta verilerini toplamak istediğiniz MaxCompute projelerini seçin veya seçimlerini kaldırın.

      Önemli

      Varsayılan olarak kapsam, kiracınız altında mevcut bölgedeki çalışma alanlarıyla ilişkili tüm MaxCompute projelerini içerir. Veri kapsamını değiştirdikten sonra, Data Map üzerinde toplanan meta veri nesneleri geçerli veri kapsamıyla tutarlı hale gelir. Seçimi kaldırılan projelerin meta verileri görünmez.

   3. Değişiklikleri kaydetmek için OK seçeneğine tıklayın.

4. Meta veri görünürlüğünü yapılandırın:

   • Data Scope listesinde hedef projeyi bulun ve Actions sütunundaki Permission Configurations seçeneğine tıklayın.

   • Veri yönetişimi gereksinimlerinize göre bir görünürlük ilkesi seçin:

     • Public Within Tenant: Kiracı içindeki tüm üyeler bu projenin meta verilerini arayabilir ve görüntüleyebilir.

     • Only members in the associated workspace can search and view.: Yalnızca belirli çalışma alanlarının üyeleri bu projenin meta verilerine erişebilir; bu sayede veri yalıtımı sağlanır.

DLF varsayılan tarayıcısı

DLF Default Crawler, hesabınız altındaki Data Lake Formation (DLF) kaynaklarından meta veri toplar.

1. Meta veri toplama sayfasındaki Built-in bölümünde DLF Default Crawler kartını bulun ve temel bilgileri görüntülemek için Details seçeneğine tıklayın.

2. Toplama kapsamına dahil edilen DLF Kataloglarının listesini ve içerdikleri tablo sayısını görüntülemek için Data Scope sekmesine geçin.

   Varsayılan olarak, erişilebilir tüm kataloglar (DLF ve DLF-Legacy dahil) toplanır.

Create Custom Crawler

1. Meta veri toplama sayfasındaki özel tarayıcı listesi bölümünde Create Metadata Crawler seçeneğine tıklayın.

2. Bir toplama türü seçin: Tür seçimi sayfasında, toplanacak hedef veri kaynağı türünü (örneğin Hologres, StarRocks) seçin.

3. Temel ayarları ve kaynak grubunu yapılandırın:

   • Basic Configurations:

     • Çalışma alanı seçin: Veri kaynağını içeren çalışma alanını seçin.

     • Select Data Source: Açılır listeden daha önce oluşturulmuş hedef veri kaynağını seçin. Bir seçim yaptıktan sonra sistem otomatik olarak veri kaynağının ayrıntılarını görüntüler.

     • Name: Tarayıcıya, ileride kolayca tanımlayabilmeniz için bir ad verin. Varsayılan olarak ad, veri kaynağı adı ile aynıdır.

   • Resource Group Configuration:

     • Resource Group: Toplama görevini çalıştırmak için bir Serverless kaynak grubu seçin.

     • Test Network Connectivity: Bu adım kritiktir. Kaynak grubunun veri kaynağına erişebildiğinden emin olmak için Test Network Connectivity seçeneğine tıklayın.

       Önemli

       • Veri kaynağında izin listesi kısıtlamalarının etkin olup olmadığını kontrol edin. İzin listesi tabanlı erişim kontrolüne sahip bir veri kaynağından meta veri toplamanız gerekiyorsa, izin listesi izinlerini yapılandırmak için bkz. Kaynak grubu IP adreslerini izin listesine ekleme ve Veri kaynağı için izin listesi yapılandırma.

       • Veri kaynağında izin listesi kısıtlamaları etkin değilse, veri kaynağı için ağ bağlantısını kurmak üzere bkz. Veri kaynağı için ağ bağlantısını yapılandırma.

       • Bağlantı testi Backend service call failed: test connectivity failed.not support data type hatasıyla sonuçlanırsa, kaynak grubunu yükseltmek için teknik destekle iletişime geçin.

4. Meta veri toplamayı yapılandırın:

   • Collection Scope: Toplanacak veritabanlarını (database/schema) tanımlayın. Veri kaynağı veritabanı granülerliğindeyse, veri kaynağına karşılık gelen veritabanı varsayılan olarak seçilir. Veri kaynağının ötesinde ek veritabanları seçebilirsiniz.

     Önemli

     • Her veritabanı yalnızca bir tarayıcıda yapılandırılabilir. Bir veritabanı grileştirilmişse, bu veritabanı zaten başka bir tarayıcı tarafından toplanıyor demektir.

     • Toplama kapsamını azalttıktan sonra, kapsam dışındaki meta veriler Data Map üzerinde artık aranabilir değildir.

5. Akıllı iyileştirme ve toplama planını yapılandırın:

   • Akıllı iyileştirme (Beta):

     • Yapay zeka tarafından oluşturulan açıklamalar: Etkinleştirildiğinde, sistem meta veriler toplandıktan sonra büyük dil modeli yeteneklerini kullanarak tablolarınız ve sütunlarınız için iş açıklamaları otomatik olarak oluşturur. Bu sayede meta verilerin okunabilirliği ve kullanılabilirliği büyük ölçüde artar. Toplama tamamlandığında, Data Map üzerindeki bir tablo nesnesinin ayrıntılar sayfasında yapay zeka tarafından oluşturulan bilgileri (tablo açıklamaları ve sütun açıklamaları gibi) görüntüleyebilirsiniz.

   • Collection Plan:

     • Trigger Mode: Manuel veya periyodik seçeneklerinden birini seçin.

       • Manuel: Tarayıcı yalnızca manuel olarak tetiklediğinizde çalışır. Bu yöntem, tek seferlik veya talep üzerine yapılan toplamalar için uygundur.

       • Periyodik: Zamanlanmış bir görev (aylık, günlük, haftalık veya saatlik gibi) yapılandırın; sistem meta verileri periyodik olarak otomatik günceller.

         Dakika düzeyinde zamanlanmış bir görev yapılandırmak için saatlik toplama döngüsünü seçin ve her 5 dakikada bir çalışan zamanlanmış bir görev uygulamak üzere tüm dakika düzeyi granülerliklerini seçin.

         Önemli

         Yalnızca üretim ortamındaki veri kaynakları periyodik toplamayı destekler.

6. Yapılandırmayı kaydedin: Tarayıcı oluşturmayı tamamlamak için Save veya Save and Run seçeneğine tıklayın.

Özel tarayıcıları yönetme

Bir tarayıcı oluşturulduktan sonra özel tarayıcı listesinde görünür. Aşağıdaki yönetim işlemlerini gerçekleştirebilirsiniz:

• Liste işlemleri: Listede bir tarayıcıyı doğrudan Run, Stop veya Delete edebilirsiniz. Hedef tarayıcıyı hızlıca bulmak için üst kısımdaki Filter ve Search özelliklerini kullanın.

  Önemli

  Bir meta veri tarayıcısını sildikten sonra, bu tarayıcı tarafından Data Map üzerinde toplanan meta veri nesneleri geçersiz hale gelir. Bu tarayıcıdan gelen nesneleri ve ayrıntılarını artık arayamaz veya görüntüleyemezsiniz. İşlemi dikkatle gerçekleştirin.

• Toplu işlemler: Tarayıcı listesinde birden fazla tarayıcı seçin ve listenin alt kısmındaki Batch Run veya Batch Stop seçeneklerini kullanarak birden fazla toplama görevini aynı anda tetikleyin veya sonlandırın. Bu sayede yönetim verimliliğini artırabilirsiniz.

• Tarayıcı durumu: Tarayıcı listesi, her tarayıcının mevcut durumunu görüntüler. Yaygın durumlar şunlardır: Not Run, Waiting, Running, Successful, Failed ve Manually Terminated.

  Not

  Bir tarayıcıyla ilişkili veri kaynağının ilişkisi kesilmişse veya geçersiz hale gelmişse, tarayıcı frozen durumuna geçer. Donmuş bir tarayıcı çalıştırılamaz ve yalnızca silinebilir.

• Ayrıntıları ve günlükleri görüntüleyin: Hedef tarayıcının adına tıklayarak ayrıntılar sayfasına gidin.

  • Basic Information: Tarayıcının tüm yapılandırma öğelerini görüntüleyin.

  • Data Scope: Görüntüleyin veya Modify Data Scope seçeneğine tıklayın.

    Hiç toplama işlemi gerçekleştirilmediyse, tablo sayısı ve son güncelleme zamanı boş olur.

    Aşağıdaki veri kaynakları kapsam değişikliğini desteklemez: EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB ve AnalyticDB MySQL içindeki AnalyticDB for Spark.

  • Run Logs: Her toplama görevinin yürütme geçmişini izleyin. Her görev için başlangıç zamanını, süreyi, durumu ve toplanan veri hacmini görüntüleyebilirsiniz. Bir görev başarısız olduğunda, sorunları tespit etmek ve çözmek için View Logs seçeneğine tıklamak ana giriş noktasıdır.

• Toplamayı manuel olarak tetikleyin: Ayrıntılar sayfasının sağ üst köşesindeki Collect Metadata düğmesine tıklayarak hemen bir toplama görevi tetikleyin. Bu işlem, yeni oluşturulan bir tabloyu Data Map üzerinde anında görmek istediğinizde kullanışlıdır.

Veri kaynağı

Görev kodu

Data Map, görev kodu aramasını ve hızlı gezinmeyi destekler. Aşağıda aranabilir kodun kapsamı açıklanmaktadır.

API varlıkları

Data Map, aşağıda açıklandığı gibi Data Service API'lerinin meta verilerini görüntülemeyi destekler:

Yapay zeka varlıkları

Data Map, yapay zeka varlıklarını görüntülemeyi ve yönetmeyi destekler; ayrıca veri ve modellerin kaynağını, kullanımını ve evrimini izlemek için yapay zeka varlığı soy ağacı sağlar. Aşağıda her bir yapay zeka varlığı türü için destek açıklanmaktadır.

Workspace

Data Map, aşağıda açıklandığı gibi çalışma alanı meta verilerini görüntülemeyi destekler: