DataWorks:Origen de datos de Data Lake Formation (DLF)

Limitaciones

El origen de datos de Data Lake Formation solo se puede usar en Data Integration y con resource groups serverless. La lista desplegable Database Name de la interfaz no es compatible con las tablas Format. Para leer datos de una tabla Format, configure tableType=format-table en modo script.

Crear un origen de datos

1. 1. Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en More > Management Center en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Management Center.

   2. En la página Workspace Management, haga clic en Data Sources en el panel de navegación izquierdo para abrir la página de orígenes de datos.

2. Haga clic en Add Data Source. En el cuadro de diálogo que aparece, busque y seleccione DLF. Configure los parámetros como se describe a continuación.

   Parámetro	Descripción
   Data Source Name	Introduzca un nombre personalizado para el origen de datos. El nombre debe ser único dentro del espacio de trabajo, contener únicamente letras, dígitos y guiones bajos (_), y no puede comenzar con un dígito ni con un guion bajo.
   Configuration Mode	Solo se admite Alibaba Cloud Instance Mode.
   Endpoint	Seleccione el endpoint de la instancia del motor de DLF en la lista desplegable.
   Access identity	Seleccione una de las siguientes opciones: Alibaba Cloud Account Alibaba Cloud RAM User Alibaba Cloud RAM Role Nota Si selecciona un usuario de RAM o un rol de RAM como identidad de acceso, debe otorgar los siguientes permisos al usuario o rol de RAM: En la consola de RAM, asigne la política del sistema AliyunDataWorksDIAccessDLF al usuario de RAM o al rol de RAM para conceder permisos de acceso a los metadatos de DLF. Para obtener más información, consulte Grant permissions to a RAM user. En la consola de Data Lake Formation, otorgue el permiso Data Editor al rol o usuario de RAM sobre las tablas que se van a sincronizar.
   DLF data catalog	Seleccione un catálogo de datos de DLF en la misma región que su espacio de trabajo de DataWorks.
   Database Name	Seleccione una base de datos del catálogo de datos.

   Una vez configurados los parámetros, compruebe la conectividad con el resource group serverless. Si la prueba es exitosa, haga clic en Complete Modification. Si falla, consulte Network connectivity configuration para solucionar el problema.

Crear una tarea de Data Integration

Puede usar un origen de datos de Data Lake Formation en una tarea de DataWorks Data Integration. Para obtener más información, consulte Synchronize data to Data Lake Formation.

Apéndice: ejemplos de scripts y parámetros

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "table": "auto_ob_3088545_0523",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "where": "id > 1"
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "stream",
         "parameter": {
            "print": false
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "stream",
         "parameter": {
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "table": "auto_ob_3088545_0523"
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}