DataWorks:DataWorks OpenAPI を使用したデータリネージのクエリ

1. DataWorks インターフェイスからの ID 取得

少数の既知のテーブルやフィールドの場合、インターフェイスから ID をコピーするのが最も速い方法です。

2. API を使用した ID の一括取得

多くのエンティティ ID を取得する必要がある場合、手動での操作は非効率です。この場合、OpenAPI を使用してバッチクエリを実行できます：

• テーブル ID の一括取得：ListTables API を呼び出します。詳細については、「ListTables - データマップ内のテーブルのリストのクエリ」をご参照ください。

• フィールド ID の一括取得：ListColumns API を呼び出します。詳細については、「ListColumns - データマップテーブル内のフィールドのリストのクエリ」をご参照ください。

1. コア API パラメーター

次の表に、ListLineages API の主要なリクエストパラメーターを示します。API は OpenAPI Portal でオンラインでテストできます。

2. 呼び出し例

エンティティ ID が maxcompute-table:::test_project::test_table である MaxCompute テーブルがあるとします。

3. API 応答の理解

ListLineages の呼び出しが成功すると、リネージ関係のリストが返されます。各関係には、ソースエンティティ、宛先エンティティ、およびそれらの関連情報が含まれます。

単一のリネージ関係応答の例 (JSON)：

{
  "SrcEntity": {
    "Id": "maxcompute-table:::test_project::table_from",
    "Name": "table_from",
    "Attributes": {
      "rawEntityId": "maxcompute-table:::test_project::table_from"
    }
  },
  "DstEntity": {
    "Id": "maxcompute-table:::test_project::table_to",
    "Name": "table_to",
    "Attributes": {
      "project": "test_project",
      "region": "cn-shanghai",
      "table": "table_to"
    }
  },
  "Relationships": [
    {
      "Id": "123456789:maxcompute-table.test_project.table_from:maxcompute-table.test_project.table_to:maxcompute.SQL.76543xxx",
      "CreateTime": 1761089163548,
      "Task": {
        "Id": "76543xxx",
        "Type": "dataworks-sql",
        "Attributes": {
          "engine": "maxcompute",
          "channel": "1st",
          "taskInstanceId": "12345xxx",
          "projectId": "123456",
          "taskId": "76543xxx"
        }
      }
    }
  ]
}

応答の読み方：

• SrcEntity と DstEntity：これらはリネージの上流エンティティと下流エンティティを表します。これらの Id を取得し、GetTable または GetColumn API を呼び出して、より詳細なメタデータを取得できます。

• Relationships：これは SrcEntity と DstEntity がどのように関連しているかを説明します。

  • Task：これは、このリネージ関係を生成したタスクを説明します。タスクが DataWorks のスケジューリングタスクである場合、Task.Attributes には taskId と taskInstanceId が含まれます。これらの ID を使用して GetTask API を呼び出し、タスクの詳細な定義と実行ステータスを取得できます。

1. 環境の準備

• JDK バージョン：JDK 8 以降のバージョンがインストールされていることを確認してください。

• Maven 依存関係：プロジェクトの pom.xml ファイルに次の依存関係を追加します。${latest.version} を最新の SDK バージョン番号 に置き換えてください。

<dependency>
    <groupId>com.aliyun</groupId>
    <artifactId>dataworks_public20240518</artifactId>
    <version>${latest.version}</version>
</dependency>

2. 完全なコード例

次のコードは、クライアントを初期化し、指定されたテーブルの上流および下流のリネージをクエリし、主要な情報を出力する方法を示しています。

import java.util.List;
import java.util.Map;

import com.aliyun.dataworks_public20240518.Client;
import com.aliyun.dataworks_public20240518.models.GetTableRequest;
import com.aliyun.dataworks_public20240518.models.GetTableResponse;
import com.aliyun.dataworks_public20240518.models.LineageEntity;
import com.aliyun.dataworks_public20240518.models.LineageRelationship;
import com.aliyun.dataworks_public20240518.models.LineageTask;
import com.aliyun.dataworks_public20240518.models.ListLineagesRequest;
import com.aliyun.dataworks_public20240518.models.ListLineagesResponse;
import com.aliyun.dataworks_public20240518.models.ListLineagesResponseBody.ListLineagesResponseBodyPagingInfo;
import com.aliyun.dataworks_public20240518.models.ListLineagesResponseBody.ListLineagesResponseBodyPagingInfoLineages;
import com.aliyun.dataworks_public20240518.models.Table;
import com.aliyun.tea.TeaException;

public class LineageQuerySample {
  /**
     * 説明