Data Catalog は、開発準備のための統合メタデータワークベンチです。MaxCompute、Hologres、DLF など、さまざまなデータソースからのメタデータを統合し、DataWorks を離れることなくテーブルの作成やビューの管理などのすべての準備作業を完了できるため、コア開発に集中できます。
コア機能
統合管理: 複数のデータソースからテーブル、ビュー、関数、リソースを一元的に管理・検索できます。
クイックテーブル作成: 別のコンソールに切り替えることなく、DataWorks 内で直接テーブルスキーマを作成できます。
DDL ベースの作成: ネイティブの Data Definition Language (DDL) SQL 文を使用して柔軟に制御できます。
ビジュアル作成: フォームに入力するだけで、シンプルかつ直感的なプロセスで作成できます。
Copilot アシスト作成: 要件を自然言語で記述すると、AI がテーブルを自動生成します。
ワンクリック同期: MaxCompute や Hologres などのデータソース間でデータ同期タスクを素早く開始し、プロセスを簡素化できます。
クイック探索: テーブルスキーマの詳細をプレビューして、データを迅速に把握できます。
サポートされるデータカタログ
以下の表は、Data Catalog でサポートされているデータソースの種類とその追加方法を示しています。
データカタログ | ワークスペースにアタッチされたデータソースから追加 | ご利用のアカウント内の既存データソースから追加 |
MaxCompute (内部および外部プロジェクト) | ||
Hologres (内部および外部データベース) | ||
DLF Catalog (DLF 1.0 および DLF 2.0) | ||
Hive (EMR Hive) | ||
Lindorm | ||
AnalyticDB MySQL | ||
AnalyticDB PostgreSQL | ||
StarRocks | ||
AI Catalog (AI データセットおよび AI モデル) | システムは、現在の DataWorks ワークスペースと同じ名前の AI ワークスペースから自動的にデータを読み取ります。 |
認証と権限付与
Data Catalog がデータソースからデータを読み取る能力は、データソースの追加方法によって異なります。以下のルールが適用されます。
ワークスペースにアタッチされたデータソースインスタンスを追加する場合、Data Catalog はデータソース構成の ID 情報を使用してそのデータを読み取ります。
ご利用の個人アカウント内の既存データソースインスタンスを追加する場合、Data Catalog はご利用の個人 ID 情報を使用してそのデータを読み取ります。
Data Catalog で Resource Access Management (RAM) ユーザーまたは RAM ロールを使用して MaxCompute データを表示する場合は、まず必要な MaxCompute 権限を取得する必要があります。追加された MaxCompute データソースまたはプロジェクトでレイヤー 3 モデルが有効になっている場合は、RAM ユーザーまたは RAM ロールに対してスキーマメタデータの表示権限も付与する必要があります。
説明MaxCompute プロジェクトに複数のスキーマが含まれる場合、Data Catalog のプロジェクト詳細ページで完全なスキーマリストを表示するには、すべてのスキーマに対するメタデータ権限を付与する必要があります。
RAM ユーザーへの権限付与:
GRANT DESCRIBE ON SCHEMA <schema_name> TO USER RAM$<alibaba_cloud_account_name>:<ram_user_name>;RAM ロールへの権限付与:
GRANT DESCRIBE ON SCHEMA <schema_name> TO USER `RAM$<alibaba_cloud_account_name>:role/<ram_role_name>`;
Data Catalog へのアクセス
この機能は、[Data Studio (新バージョン) を使用] を使用するワークスペースでのみ利用可能です。
DataWorks コンソールのワークスペースページに移動します。上部ナビゲーションバーで目的のリージョンを選択し、目的のワークスペースを見つけ、操作列でを選択します。
左側のナビゲーションウィンドウで、
アイコンをクリックして Data Catalog に移動します。
データカタログの追加
より良い組織化のために、カスタムディレクトリツリーを作成できます。以下の手順を実行してください。
Data Catalog で追加したいデータソースの種類を見つけ、その名前の横にある
アイコンをクリックして追加ページを開きます。追加するインスタンスまたはデータソースを見つけ、[アクション] 列の [追加] をクリックします。
DataWorks ワークスペース内の既存データソースから追加されたデータカタログは、すべてのワークスペースメンバーに表示されます。
ご利用のアカウント内の既存データソースから追加されたデータカタログは、ご自身のみに表示されます。
ご利用のアカウント内の既存データソースからデータカタログを追加する場合、リストページには、DataWorks プロジェクトと同じリージョンにあり、かつアクセス権限を持つデータソースインスタンスのみが表示されます。
データカタログの管理
データカタログの非表示
開発中は、現在のタスクに関係のないデータカタログを非表示にできます。
左側のディレクトリツリーでデータカタログを見つけ、右上隅の
アイコンをクリックします。表示されるダイアログボックスで、エンジン名の横にある
アイコンをクリックして、そのエンジンのすべてのデータカタログを非表示にします。説明エンジンのデータカタログを再度表示するには、ダイアログボックス内でエンジン名の横のスペースをクリックします。
データカタログの削除
追加済みのデータカタログが不要になった場合は、削除できます。
左側のディレクトリツリーで削除したいデータカタログを見つけ、操作列で削除またはDetach Data Catalogをクリックします。
データオブジェクトの作成と管理
Data Catalog ページで、追加済みのカタログを見つけ展開することで、そのデータオブジェクトを作成または管理できます。詳細については、以下の表のドキュメントをご参照ください。
データカタログ | 説明 | 参照先 |
MaxCompute | テーブル、ビュー、外部テーブル、リソース、関数などのデータオブジェクトを作成・管理します。 | |
Hologres | テーブルやビューなどのデータオブジェクトを作成・管理します。 | |
DLF Catalog | データベーステーブルのメタデータを作成・管理します。 | |
Hive | テーブルデータオブジェクトを作成・管理します。 | |
AnalyticDB MySQL | テーブルデータオブジェクトを作成・管理します。 | |
AnalyticDB PostgreSQL | テーブルデータオブジェクトを作成・管理します。 | |
StarRocks | テーブルおよびビューのデータオブジェクトを作成・管理します。 | |
AI Catalog | AI Catalog データセットおよびモデルのメタデータを管理します。 |