DataWorks に Lindorm インスタンスをアタッチすると、データマップで Lindorm テーブルのメタデータを管理および表示できます。
前提条件
Lindorm からメタデータを収集するには、コンピューティングリソースのアタッチページで Spark パラメーターを設定する必要があります。詳細については、「Lindorm コンピューティングリソースの Spark パラメーター設定」をご参照ください。
データマップへの移動
DataWorks コンソール にログインします。対象のリージョンで、左側のナビゲーションウィンドウから をクリックします。表示されたページで、移動 データマップ をクリックします。
Lindorm テーブルのメタデータ収集
データマップの左側ナビゲーションウィンドウで、
アイコンをクリックしてデータソースコレクター管理ページを開きます。データソースビュー セクションで、Lindorm コレクターを見つけ、Lindorm テーブルからメタデータを収集するための収集プランを設定します。詳細については、「メタデータ収集」をご参照ください。
ルックアップテーブル
Lindorm メタデータ収集プランが正常に実行された後、次の手順で収集されたメタデータを表示できます。
-
左側のメニューバーにある
アイコンをクリックして検索ページに移動します。 -
左側の タイプ ディレクトリツリーで、テーブル を選択します。データソース の下で、Lindorm データソースを見つけ、クリックして Lindorm テーブル一覧ページを開きます。
説明複数のデータソースが存在する場合、一覧が完全に表示されないことがあります。Data Lake Formation の右側に もっと見る が表示されます。もっと見る をクリックして Lindorm データソースを探してください。
-
Lindorm テーブル一覧の上部にある検索ボックスに、テーブル名のキーワードを入力してテーブルを検索します。
テーブル詳細の表示
Lindorm テーブル一覧ページで、テーブルをクリックして詳細ページを開きます。
|
機能 |
説明 |
参考 |
|
ショートカット操作 |
ページ上部で、アルバムに追加、追加済みアルバムを表示、または お気に入り を実行できます。 |
|
|
テーブルの基本情報 |
テーブルの基本情報 セクションで、データベース、テーブルタイプ、オーナー、作成日時、およびテーブルが パーティションテーブル かどうかを確認できます。 |
|
|
テーブル技術情報 |
ストレージの パス、入力フォーマット、および 出力フォーマット などの情報を表示します。 |
|
|
明細情報 |
テーブルの ソーステーブルの列 および リネージフィールド を表示します。 |
|
|
リネージ |
Lindorm テーブル間のデータリネージを表示します。 |
|
|
使用上の注意 |
編集 して使用上の注意を更新したり、バージョン履歴の表示 してデータのビジネスコンテキストを理解したりできます。 |
テーブルのお気に入り管理
テーブル詳細ページで、お気に入りに追加または削除して、素早くアクセスできるようにします。
-
お気に入りへの追加／削除
-
マイお気に入りに追加：テーブル名の下にある お気に入り ボタンをクリックして、テーブルをマイお気に入りに追加します。
-
マイお気に入りから削除：テーブル名の下にある お気に入りから削除 ボタンをクリックして、テーブルをマイお気に入りから削除します。
-
-
お気に入りのテーブルを表示します。
-
データマップの左側ナビゲーションウィンドウで、
アイコンをクリックします。ディレクトリツリーで、 を選択して お気に入り ページを開きます。このページで、データ型 を Lindorm に設定して、お気に入りの Lindorm テーブルを表示します。
テーブルの基本情報表示
テーブル詳細ページの左側で、テーブルの基本情報、技術情報、および ビジネス情報 を表示します。
-
テーブル基本情報： テーブル名、作成日時、および パーティションテーブル が含まれます。
-
テーブル技術情報： ストレージの パス、入力フォーマット、および出力フォーマット が含まれます。
-
ビジネス情報： スペースリージョン および インスタンス が含まれます。
テーブル詳細の表示
テーブル詳細ページで、明細情報 タブをクリックします。
-
フィールド情報を表示します。
テーブル内の各フィールドの名前とデータの型を表示します。
-
フィールドを検索します。
テーブルに多くのフィールドが含まれる場合は、ソーステーブルの列 の下にある検索ボックスにフィールド名を入力して、素早く該当フィールドを特定します。
-
フィールドの説明をプレビューします。
プレビュー列の説明 の下にある ソーステーブルの列 をクリックします。Copilot が各フィールドの意味と目的を理解するのに役立つ説明を生成します。
-
フィールドリネージを表示します。
フィールドのリネージを表示するには、操作 列の
アイコンをクリックします。
テーブルリネージ情報の表示
データリネージは、解析されたスケジューリングジョブやデータ同期など、実際のデータフローに基づいてテーブルとフィールドの関係を示します。リネージページでは、テーブルまたはフィールドの上流および下流ノードを表示したり、生データのソースをトレースしたり、テーブルデータのターゲットデータベースを特定したりできます。また、さまざまなレベルでリネージの影響を分析することも可能です。
-
データリネージ機能は、DataWorks Standard Edition 以降のバージョンでのみ利用できます。
-
テーブルおよびフィールドリネージは、解析されたスケジューリングジョブなどの実際のデータフローから導出され、テーブルとフィールドの関係を示します。これはリアルタイムの統計操作です。
-
Data Map が Lindorm Spark SQL ノードで SQL ステートメントを実行して生成されたデータリネージを正しく表示できない場合は、Lindorm Spark SQL ジョブのコード内で関連する DataWorks スケジューリングパラメーターを手動で設定できます。詳細については、「Lindorm コンピューティングリソースのアタッチ」をご参照ください。次の SQL ステートメントはデータリネージを生成できます。
-
insert into /insert overwrite table
-
create as select from table
-
create table
-
create table like
-
テーブル詳細ページで、データリネージ タブをクリックします。テーブルリネージ および フィールドリネージ を表示できます。
-
テーブルリネージの表示
-
基本情報の表示： テーブルまたはノードタイプにマウスポインターを合わせて詳細を表示します。
-
上流および下流ノード数の表示： テーブルリネージグラフで、現在のテーブルの上流および下流ノード数を表示できます。
-
ノードの展開または折りたたみ： 必要に応じて、リネージグラフ内の
または 
アイコンをクリックして、対応する上流または下流ノードを表示または非表示にします。
-
-
フィールドリネージの表示
-
フィールドの切り替え： フィールドの切り替え エリアで、現在のテーブルから別のフィールドを選択してそのリネージグラフを表示できます。
-
基本情報の表示： フィールドまたはノードタイプにマウスポインターを合わせて詳細を表示します。
-
上流および下流ノード数の表示： フィールドリネージグラフで、現在のフィールドの上流および下流ノード数を表示できます。
-
ノードの展開または折りたたみ： リネージグラフ内の
または アイコンをクリックして、対応する上流または下流ノードを表示または非表示にします。
-
テーブルの使用上の注意表示
テーブル詳細ページで、手順 タブをクリックして、編集 するか、バージョン履歴の表示 して、テーブルの目的と使用方法の経時的変化を追跡します。
-
テーブルの使用上の注意を編集します。
編集 をクリックします。表示されるダイアログボックスに現在のテーブルの使用上の注意を入力し、保存 をクリックします。
-
使用上の注意の履歴バージョンを表示します。
バージョン履歴の表示 をクリックして、すべての変更履歴を表示します。この履歴から、特定のバージョンの 操作 列にある 詳細 をクリックして、その時点の使用上の注意を確認できます。