Lindorm インスタンスを DataWorks にアタッチすると、データマップで Lindorm テーブルのメタデータを管理および表示できます。
前提条件
Lindorm からメタデータを収集するには、コンピューティングリソースのアタッチページで Spark パラメーターが設定されている必要があります。 詳細については、「Lindorm コンピューティングリソースの Spark パラメーターの設定」をご参照ください。
データマップへの移動
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、[データマップに移動] をクリックします。
Lindorm テーブルのメタデータ収集
データマップの左側メニューで、
アイコンをクリックして、データソースコレクター管理ページを開きます。 データソースビュー セクションで Lindorm コレクターを見つけ、収集計画を設定して Lindorm テーブルからメタデータを収集します。 詳細については、「メタデータ収集」をご参照ください。
ルックアップテーブル
Lindorm メタデータ収集計画が正常に実行された後、次の手順に従って収集されたメタデータを表示できます。
-
左側のメニューバーにある
アイコンをクリックして、検索ページに移動します。 -
左側の タイプ ディレクトリツリーで テーブル を選択します。 データソース で Lindorm データソースを見つけてクリックし、Lindorm テーブルリストページを開きます。
説明複数のデータソースが存在する場合、リストが完全に表示されないことがあります。 もっと見る が Data Lake Formation の右側に表示されます。 もっと見る をクリックして、Lindorm データソースを見つけます。
-
Lindorm テーブルリスト上部の検索ボックスに、テーブル名のキーワードを入力してテーブルを検索します。
テーブル詳細の表示
Lindorm テーブルリストページで、テーブルをクリックして詳細ページを開きます。
|
[機能] |
説明 |
リファレンス |
|
ショートカット操作 |
ページ上部で、アルバムに追加、[追加されたアルバムを表示]、または お気に入り できます。 |
|
|
[テーブルの基本情報] |
テーブルの基本情報 セクションでは、データベース、テーブルタイプ、オーナー、作成日時、およびテーブルが パーティションテーブル であるかどうかを表示できます。 |
|
|
テーブルの技術情報 |
ストレージの パス、入力フォーマット、出力フォーマット などの情報を表示できます。 |
|
|
[明細情報] |
テーブルの ソーステーブルの列、リネージフィールド を表示できます。 |
|
|
リネージ |
Lindorm テーブル間のデータリネージを表示できます。 |
|
|
使用説明 |
使用説明を 編集 したり、バージョン履歴の表示 をクリックしてデータのビジネスコンテキストを理解したりできます。 |
テーブルのお気に入りの管理
テーブル詳細ページで、テーブルをお気に入りに追加または削除することで、すばやくアクセスできるようになります。
-
お気に入りへの追加/お気に入りからの削除。
-
お気に入りに追加：テーブル名の下の お気に入り ボタンをクリックして、テーブルをお気に入りに追加します。
-
お気に入りから削除：テーブル名の下の お気に入りから削除 ボタンをクリックして、テーブルをお気に入りから削除します。
-
-
お気に入りのテーブルを表示します。
-
データマップの左側メニューで、
アイコンをクリックします。 ディレクトリツリーで を選択して、お気に入り ページを開きます。 このページで、データ型 を Lindorm に設定して、お気に入りの Lindorm テーブルを表示します。
テーブルの基本情報の表示
テーブル詳細ページの左側で、テーブルの基本情報、技術情報、ビジネス情報 を表示できます。
-
[テーブルの基本情報]：テーブル名、作成日時、パーティションテーブル が含まれます。
-
[テーブルの技術情報]：ストレージの パス、[入力形式]、[出力形式] が含まれます。
-
[ビジネス情報]：スペースリージョン、インスタンス が含まれます。
テーブル詳細の表示
テーブル詳細ページで、明細情報 タブをクリックします。
-
フィールド情報を表示します。
テーブル内の各フィールドの名前とデータ型が表示されます。
-
フィールドを検索します。
テーブルに多数のフィールドが含まれている場合は、ソーステーブルの列 の下の検索ボックスにフィールド名を入力して、すばやく見つけることができます。
-
フィールドの説明をプレビューします。
ソーステーブルの列 の下にある プレビュー列の説明 をクリックします。 Copilot が説明を生成し、各フィールドの意味と目的を理解するのに役立ちます。
-
フィールドリネージを表示します。
フィールドの 操作 列の
アイコンをクリックして、そのリネージを表示できます。
テーブルリネージ情報の表示
データリネージは、解析されたスケジューリングジョブやデータ同期などの実際のデータフローに基づいて、テーブルとフィールド間の関係を示します。 リネージページでは、テーブルまたはフィールドの上流ノードと下流ノードの表示、生データのソースの追跡、テーブルデータの宛先データベースの特定ができます。 また、さまざまなレベルでリネージの影響を分析することもできます。
-
データリネージ機能は、DataWorks Standard Edition 以降のバージョンでのみ利用できます。
-
テーブルリネージとフィールドリネージは、解析されたスケジューリングジョブなどの実際のデータフローから派生し、テーブルとフィールド間の関係を示します。 これはリアルタイムの統計操作です。
-
Lindorm Spark SQL ノードで実行される SQL ステートメントによって生成されたデータリネージをデータマップが正しく表示できない場合は、Lindorm Spark SQL ジョブのコードで関連する DataWorks スケジューリングパラメーターを手動で設定できます。 詳細については、「Lindorm コンピューティングリソースのアタッチ」をご参照ください。 次の SQL ステートメントがデータリネージを生成します：
-
insert into /insert overwrite table
-
create as select from table
-
create table
-
create table like
-
テーブル詳細ページの データリネージ タブをクリックします。 テーブルリネージ と フィールドリネージ を表示できます。
-
[テーブルリネージの表示]
-
基本情報の表示：テーブルまたはノードタイプにマウスポインターを合わせると、詳細が表示されます。
-
上流ノードと下流ノードの数の表示：テーブルリネージグラフでは、現在のテーブルの上流ノードと下流ノードの数を表示できます。
-
ノードの展開または折りたたみ：必要に応じて、リネージグラフ内の
または 
アイコンをクリックして、対応する上流ノードまたは下流ノードを表示または非表示にできます。
-
-
[フィールドリネージの表示]
-
[フィールドの切り替え]：フィールドの切り替え エリアでは、現在のテーブルから別のフィールドを選択して、そのリネージグラフを表示できます。
-
基本情報の表示：フィールドまたはノードタイプにマウスポインターを合わせると、詳細が表示されます。
-
上流ノードと下流ノードの数の表示：フィールドリネージグラフでは、現在のフィールドの上流ノードと下流ノードの数を表示できます。
-
ノードの展開または折りたたみ：リネージグラフ内の
または アイコンをクリックして、対応する上流ノードまたは下流ノードを表示または非表示にできます。
-
テーブルの使用説明の表示
テーブル詳細ページで 手順 タブをクリックし、ノートを 編集 するか、バージョン履歴の表示 をクリックすることで、テーブルの目的と使用状況を経時的に追跡できます。
-
テーブルの使用説明を編集します。
編集 をクリックします。 表示されるダイアログボックスに、現在のテーブルの使用説明を入力し、保存 をクリックします。
-
使用説明の履歴バージョンを表示します。
バージョン履歴の表示 をクリックして、すべての変更履歴を表示します。 この履歴から、特定のバージョンの 操作 列の 詳細 をクリックして、その時点の使用説明を表示できます。