DataWorks:Data Map Genel Bakış

Sınırlamalar

• Kod arama ve veri soy analizi yalnızca DataWorks Standard Edition ve üst sürümlerde kullanılabilir.

• Veri albümleri yalnızca DataWorks Professional Edition ve üst sürümlerde kullanılabilir.

Meta veri toplama

• MaxCompute meta verileri ve DLF meta verileri: Data Map, yerleşik toplayıcılar aracılığıyla MaxCompute ve DLF meta verilerini otomatik olarak toplar.

• Diğer meta veri türleri: Diğer veri kaynaklarından meta veri içe aktarmak için özel meta veri toplamayı kullanın. Desteklenen kaynaklar arasında Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore ve Lindorm bulunur. Meta veri topla. Hudi için meta veri toplama desteklenmez.

Ağ bağlantısı

Meta verileri içe aktarmak için Data Map meta veri toplayıcısının veritabanınıza erişebildiğinden emin olun. Veritabanınız erişim kontrolü için izin listesi kullanıyorsa, DataWorks çalışma alanınızın bulunduğu bölgeye ait CIDR bloklarını izin listesine ekleyin. Erişim denetimli veri kaynaklarından meta veri toplamak için gereken izin listesi yapılandırmaları.

Genel bakış

• Genel Bakış sayfası, mevcut bölgedeki MaxCompute kaynak ölçümlerini gösterir: proje sayısı, tablo sayısı, depolama kullanımı, API sayısı, depolama eğilimleri, depolamaya göre en büyük projeler, depolamaya göre en büyük tablolar ve popüler tablolar.

• Meta veri toplama tamamlandıktan sonra, AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL ve OTS gibi veri kaynakları için veritabanı, tablo ve API sayılarını görüntüleyin.

Genel bakış.

Meta veri erişimi

Data Map, tablolar, kodlar, dizinler, API'ler, veri kümeleri, AI modelleri, algoritma görevleri, model hizmetleri ve çalışma alanları için meta verileri bir araya getirir. Mevcut bölgede türe, çalışma alanına, sahibe, ortama, etikete ve kategoriye göre arama yapın. Meta veri erişimi.

Data Map arama sayfasında sol panel, veri kaynağına göre filtreleme yapmanıza olanak tanır (MaxCompute, EMR Hive, Data Lake Formation, Oracle, Hologres ve diğerleri). Arama üç modu destekler: Tables only, Columns only ve Tables and columns. Arama sonuçlarında her tablo için Request Permissions veya View Lineage işlemlerini gerçekleştirebilirsiniz.

Ayrıca tabloları ve veri kümelerini bir veri dizini formatında tarayabilirsiniz.

Meta veri ayrıntıları

Bir nesne adına tıklayarak ayrıntılar sayfasını açın.

• Tablolar için, Basic Information, Output information ve Lineage Information öğelerini görüntüleyin. Tablo ayrıntılarını görüntüle.

  Lineage Information sekmesi, Table Lineage, Column Lineage ve Impact Analysis alt sekmelerini içerir. Table Lineage alt sekmesinde, soy grafiğindeki bir tablo düğümüne tıklayarak sağ taraftaki ayrıntılar panelinde varlık türünü, adı, veri kaynağı türünü, depolama boyutunu, yaşam döngüsünü ve diğer özelliklerini görüntüleyin. İzin istemek için Request Permissions seçeneğine de tıklayabilirsiniz.

  Not

  Data Lineage sayfasında, motor düğümlerinin dahili veri soyunu görüntüleyin. Desteklenen motor düğümü türleri ürün sayfasına bağlıdır. MaxCompute ayrıca çevrimdışı senkronizasyona dayalı uçtan uca soy desteği sunarak, bir tablonun upstream ve downstream soyunu orijinal kaynaklarına ve nihai hedeflerine kadar izlemek için soy hiyerarşisini genişletmenize olanak tanır.

• API için, Parameter Information, Sample Response, Lineage Information ve Usage Instructions öğelerini görüntüleyin. API ayrıntılarını görüntüle.

  API ayrıntıları sayfasının sol tarafında Basic Information (görüntüleme sayısı, çağrı sayısı, API ID, API yolu, çalışma alanı, sahip vb.) ve Technical Information (API türü, istek yöntemi, yanıt türü, veri kaynağı türü ve adı, tablo adı) gösterilir.

• Veri kümesi için, Attribute Information, Lineage ve Usage Instructions öğelerini görüntüleyin.

  Property Information sekmesi aşağıdakileri gösterir:

  • Temel özellikler: Entity Type, Source, Data Type, Owner, Name, Workspace, Storage Type, Visibility, Created At ve Updated At.

  • Veri kümesi sürüm bilgisi: Version, URI, Bucket, Path, Region ve Default Mount Path. İlgili depolamaya gitmek için View in OSS seçeneğine tıklayabilirsiniz.

Kod da arayabilirsiniz. Bir sonuca tıklamak sizi kaynak düğümüne veya kaynağa yönlendirir. meta veri ayrıntıları.

Tabloları düzenleme ve yönetme

Tabloları düzenlemek ve arama sırasında kategoriye göre filtrelemek için kategorileri kullanın. Yapılandırmaları Yönet.

• Veri albümü: İlgili verileri daha kolay görüntülemek ve yönetmek için iş perspektifinden yönetilen bir veri albümünde organize edin.

• Categories

  1. Manage Configurations > Manage Categories sayfasından belirli bir kategoriye toplu olarak tablo ekleyin.

     Kategori navigasyonunu yapılandırdıktan sonra, belirli bir projeden toplu tablo eklemek için son seviye kategoriyi seçin. Yapılandırmaları Yönet.

  2. My Data sayfasından belirli bir kategoriye toplu olarak tablo ekleyin.

     Verilerim sayfasından (Bana Ait ve Tarafımca Yönetilen) bir kategoriye toplu tablo ekleyin. Verilerim.

• Tablo yönetimi: MaxCompute tabloları için görünen adları toplu olarak değiştirin, yaşam döngülerini ayarlayın, geliştirme veya üretim tablolarını silin veya sahipliği devredin. Verilerim.

• Favoriler: Sık erişilen tabloları Favorilere ekleyin. My Data sayfasında, favorilere eklenen tabloları My Favorites grubunda görüntüleyin. Verilerim.

  • Bir tabloyu My Favorites listesine ekleyin: Tablo ayrıntıları sayfasında, tabloyu My Favorites listesine eklemek için Favori'ye tıklayın. Tablo ayrıntılarını görüntüle. Tabloyu, My Favorites grubu altındaki My Data sayfasında görüntüleyin. Tabloyu favorilere ekle.

  • Bir tabloyu My Favorites listesinden kaldırın:

    • My Data sayfasında My Favorites grubuna gidin ve tabloları favorilerden kaldırın.

    • Favorilere eklenmiş bir tablonun ayrıntılar sayfasında, kaldırmak için Remove from Favorites girişini kullanın.

Tablo izinlerini yönetme

• Tablolarda işlem yapmak için izin isteyin

  Standart mod çalışma alanlarında, RAM kullanıcıları varsayılan olarak üretim tablolarında SQL komutlarını çalıştıramaz. Üretim tablolarına erişmek veya hesaplar arası sorgulama yapmak için Apply for Permissions seçeneğine tıklayın. Bu işlem sizi Security Center sayfasına yönlendirir. Tablolarda izin iste.

  Not

  Varsayılan olarak, tablo sorgulama izni olmayan RAM kullanıcıları tablo ayrıntıları sayfasında veri önizlemesini kullanamaz.

• MaxCompute tabloları için veri önizleme izinlerini kontrol edin

  Manage Configurations > Manage Workspaces sayfasında, belirli bir çalışma alanında MaxCompute geliştirme veya üretim tabloları için önizleme izinlerini etkinleştirin. Böylece tüm çalışma alanı üyeleri erişim istemeden tabloları önizleyebilir. Çalışma Alanlarını Yönet.

  Not

  • Bu işlem hassas verilerin ifşa olmasına neden olabilir. Devam etmeden önce riskleri dikkatlice değerlendirin.

  • Bu işlemi çalışma alanının proje sahibi veya çalışma alanı yöneticisi gerçekleştirebilir.

  • Bu izin yalnızca Data Map'teki tablo ayrıntıları sayfasında bulunan Data Preview özelliğini kontrol eder.

• Tabloyu gizle: Gizli tablolar arama sonuçlarından hariç tutulur. Bir tabloyu tüm kullanıcılardan gizleyin veya görünürlüğü yalnızca çalışma alanı üyeleriyle sınırlayın. Verilerim.

  • Tek bir tabloyu gizleyin: My Data > Bana Ait sayfasında tablonun görünürlük ayarlarını güncelleyin.

    Not

    Varsayılan olarak tablo sahibi ve çalışma alanı yöneticisi bu izin kontrollerine tabi değildir.

    İşlemler sütununda Update Table Info seçeneğine tıklayın. İletişim kutusunda Visibility aşağıdaki seçenekleri destekler:

    • Visible to all tenant members

    • Visible only to members of the associated workspace

    • Private

  • Proje düzeyinde toplu gizleme: Manage Configurations > Manage Workspaces bölümünde Workspace seçeneğini belirleyin ve projedeki tüm tablolar için gizleme özelliklerini yapılandırın.

    MaxCompute Engine Configuration tablosunda, ilgili hesaplama motoru altındaki tüm tabloları toplu olarak gizlemek için Default Project-only Visibility anahtarını açın.

Tablo meta verilerini yenileme

Bir tablo arama sonuçlarında görünmüyorsa veya son değişiklikler yansıtılmıyorsa tablonun meta verilerini yenileyin.

1. Arama sonuçları sayfasında Refresh Table Metadata seçeneğine tıklayın.

2. Data Map'te My Data > Refresh Table Metadata sayfasına gidin.

   Bir Data Type (MaxCompute, EMR Hive veya Data Lake Formation) seçin, GUID alanına tablo GUID'sini girin (örneğin project.schema.table veya odps.project.schema.table) ve ardından Refresh seçeneğine tıklayın.

3. Bir MaxCompute veya Data Lake Formation (DLF) tablosunun tablo ayrıntıları sayfasında Daha Fazla > Meta Verileri Yenile seçeneğine tıklayarak tablo meta verilerini manuel olarak yenileyin. MaxCompute tablosunda Daha Fazla menüsü ayrıca bir API Oluştur seçeneği sağlar ve detay sekmeleri Veri İçgörüleri, Veri Sağlığı ve Kullanım Geçmişi içerir.

Yenileme işleminden sonra tabloyu Data Map'te tekrar arayın.