DataWorks:Fonte de dados do Data Lake Formation (DLF)

Limitações

Você só pode usar uma fonte de dados do Data Lake Formation no Data Integration e com grupos de recursos serverless.

Criar uma fonte de dados

1. 1. Acesse o console do DataWorks. Na região de destino, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

   2. Na página Workspace Management, clique em Data Sources no painel de navegação à esquerda para abrir a página de fontes de dados.

2. Clique em Add Data Source. Na caixa de diálogo exibida, pesquise e selecione DLF. Configure os parâmetros conforme descrito na tabela a seguir.

   Parâmetro	Descrição
   Data Source Name	Insira um nome personalizado para a fonte de dados. O nome deve ser exclusivo no workspace, conter apenas letras, dígitos e underscores (_), e não pode começar com um dígito ou um underscore.
   Configuration Mode	Apenas o Alibaba Cloud Instance Mode é suportado.
   Endpoint	Selecione o endpoint da instância do mecanismo DLF na lista suspensa. Se o formato da tabela for Iceberg, selecione o endpoint do Iceberg. Exemplo: cn-shanghai-vpc.dlf.aliyuncs.com/iceberg.
   Access identity	Selecione uma das seguintes opções: Alibaba Cloud Account Alibaba Cloud RAM User Alibaba Cloud RAM Role Nota Se você selecionar usuário RAM ou função RAM como identidade de acesso, será necessário conceder as seguintes permissões ao usuário RAM ou à função RAM: No console do RAM, anexe a política de sistema AliyunDataWorksDIAccessDLF ao usuário RAM ou à função RAM para conceder permissões de acesso aos metadados do DLF. Para mais informações, consulte Conceder permissões a um usuário RAM. No console do Data Lake Formation, conceda a permissão Data Editor à função RAM ou ao usuário RAM nas tabelas a serem sincronizadas.
   DLF data catalog	Selecione um catálogo de dados do DLF na mesma região do seu workspace do DataWorks.
   Database Name	Selecione um banco de dados no catálogo de dados.

   Após configurar os parâmetros, teste a conectividade com o grupo de recursos serverless. Se o teste for bem-sucedido, clique em Complete Modification. Se falhar, consulte Configuração de conectividade de rede para solucionar o problema.

Criar uma tarefa do Data Integration

Você pode usar uma fonte de dados do Data Lake Formation em uma tarefa do Data Integration do DataWorks. Para mais informações, consulte Sincronizar dados para o Data Lake Formation.

Apêndice: Exemplos de scripts e parâmetros

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "table": "auto_ob_3088545_0523",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "where": "id > 1"
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "stream",
         "parameter": {
            "print": false
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

Parâmetros do script do Reader

Exemplo de script do Writer

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "stream",
         "parameter": {
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "table": "auto_ob_3088545_0523"
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

Parâmetros do script do Writer