DataWorks:BatchCreateMetaEntities

É necessária a edição DataWorks Professional ou superior.

Banco de dados de extensão

Defina EntityType como custom_xxx-database, onde xxx vem da EntityDef de extensão custom_xxx-table já criada.

Atributos

Tabela de extensão

Defina EntityType como custom_xxx-table. As colunas da tabela também devem ser registradas aqui através de Attributes.columns.

Atributos

Attributes.columns

columns é uma string de array JSON dentro de Attributes. Cada objeto no array suporta os seguintes campos:

Exemplos.

Criar um banco de dados de extensão

{
  "Entities": [
    {
      "EntityType": "custom_demo-database",
      "Name": "ods",
      "Comment": "Banco de dados ODS",
      "Attributes": {
        "parentMetaEntityId": "custom_demo:demo_source",
        "technicalMetadata.location": "oss://bucket/ods"
      },
      "CustomAttributes": {
        "biz_owner": ["data_team"]
      }
    }
  ]
}

Criar uma tabela de extensão e registrar colunas

{
  "Entities": [
    {
      "EntityType": "custom_demo-table",
      "Name": "order_fact",
      "Comment": "Tabela de fatos de pedidos",
      "Attributes": {
        "parentMetaEntityId": "custom_demo-database:demo_source::ods",
        "tableType": "TABLE",
        "partitionKeys": "[\"dt\"]",
        "technicalMetadata.location": "oss://bucket/ods/order_fact",
        "technicalMetadata.compressed": "true",
        "technicalMetadata.parameters": "{\"retention\":\"30\",\"bizDomain\":\"trade\"}",
        "columns": "[{\"name\":\"id\",\"type\":\"BIGINT\",\"comment\":\"Chave primária\",\"position\":1,\"primaryKey\":true,\"customAttributes\":{\"security_level\":[\"P1\"]}},{\"name\":\"dt\",\"type\":\"STRING\",\"comment\":\"Data da partição\",\"position\":2,\"partitionKey\":true}]"
      },
      "CustomAttributes": {
        "biz_owner": ["data_team"]
      }
    }
  ]
}

Precauções

• O parentMetaEntityId de um banco de dados de extensão deve estar no nível da instância, como custom_demo:demo_source.

• O parentMetaEntityId de uma tabela de extensão deve estar no nível do banco de dados, como custom_demo-database:demo_source::ods.

• As entidades pai e filho devem pertencer à mesma família de extensão. Por exemplo, o pai de custom_demo-table deve ser custom_demo-database.

• columns só pode ser fornecido ao criar uma tabela. Você não pode usar BatchCreateMetaEntities para criar independentemente custom_xxx-column.

• O caminho de gravação da entidade de extensão não bloqueia estritamente chaves Attributes desconhecidas com base em MetaEntityDef.AttributeDefs. Chaves desconhecidas geralmente são ignoradas.