メタデータは、MySQL や Oracle などの従来のデータベース、Hive、Hologres、アプリケーションシステムなどのビッグデータストレージシステムを含む、さまざまなコレクションソースタイプをサポートしています。 さまざまなデータソースタイプまたはアプリケーションシステムに対して作成されたコレクションタスクの数とコレクションオブジェクトのタイプの情報を表示できます。
前提条件
アプリケーションシステムタイプを収集ソースとして使用するには、事前に [管理ハブ] > [データソース管理] > [アプリケーションシステム] でアプリケーションシステムを作成する必要があります。
制限事項
デフォルトでは、リレーショナルデータベースのメタデータ収集がサポートされています。他のデータソースタイプからメタデータを収集するには、対応する機能を購入する必要があります。
5.3 より前のバージョンでは、AnalyticDB for MySQL 3.0、PolarDB-X (旧 DRDS)、SAP HANA、Hologres などの一部のデータソースからメタデータを収集するには、メタデータウェアハウステナントで メタデータセンター を初期化する必要がありました。バージョン 5.3 以降では、この初期化は不要になり、収集タスクを直接設定できます。
メタデータ収集ワークフローの説明
データソースのネットワーク環境が Dataphin クラスタが配置されているネットワーク環境に接続されていない場合は、登録済みスケジューリングクラスタ機能に依存する必要があります。収集されたデータは、Dataphin デプロイメントが依存する Object Storage Service システム (OSS など) に一時的に書き込まれ、その後 Dataphin システムに書き込まれます。これにより、追加のストレージコストが発生します。
手順
Dataphin ホームページの上部にあるメニューバーで、[管理] > [メタデータ] を選択します。
左側のナビゲーションウィンドウで、[メタデータコレクション] > [コレクションの概要] を選択します。
[メタデータの収集と管理へようこそ] ページで、Dataphin は、さまざまなデータソースまたはアプリケーションシステムに対して構成された収集タスクの数や、サポートされている収集オブジェクトタイプなどの情報をカード形式で表示します。
データソース: リレーショナルデータベースやビッグデータストレージデータベースなど、さまざまなデータソースタイプをサポートしています。詳細については、「Dataphin でサポートされているデータソース」をご参照ください。
MySQL、Oracle、および Hive (MySQL メタデータベース、HMS メタデータ) のサポートされているバージョンは次のとおりです。
MySQL: MySQL 5.1.43、MySQL 5.6/5.7、MySQL 8、RDS MySQL。
Oracle: Oracle 11g、Oracle 12c、Oracle 18c、Oracle 19c、Oracle 21c、Oracle 23c。
Hive (MySQL メタデータベース、HMS メタデータ): CDH 5.x Hive 1.1.0、EMR 3.x Hive 2.3.5、EMR 5.x 3.1.x、CDH 6.x Hive 2.1.1、FusionInsight 8.x Hive 3.1.0、CDP 7.x Hive 3.1.3、および AsiaInfo DP 5.x Hive 3.1.0。
アプリケーションシステム: Quick BI をサポートしています。
ターゲットのデータソースまたはアプリケーションシステムの収集タスクをすばやく作成できます。
[収集タスクの作成]: カードにカーソルを合わせると、収集タスクをすばやく作成できます。詳細については、「メタデータ収集タスクの作成と管理」をご参照ください。
説明1 つのデータソースに対して構成できるコレクションタスクは 1 つだけです。 同じデータソースの 2 つの異なる環境ソース (開発環境と本番環境) には、別々のコレクションタスクを構成できます。