DataWorks:Data Lake Formation (DLF) veri kaynağı

Sınırlamalar

Data Lake Formation veri kaynağını yalnızca Veri Entegrasyonunda ve sunucusuz kaynak gruplarıyla kullanabilirsiniz.

Veri kaynağı oluşturma

1. 1. DataWorks konsolu oturum açın. Hedef bölgede sol gezinme bölmesinden More > Management Center seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Management Center seçeneğine tıklayın.

   2. Çalışma Alanı Yönetimi sayfasında sol gezinme bölmesinden Data Sources seçeneğine tıklayarak veri kaynağı sayfasını açın.

2. Add Data Source seçeneğine tıklayın. Görüntülenen iletişim kutusunda DLF'yi aratıp seçin. Parametreleri aşağıdaki tabloda açıklandığı gibi yapılandırın.

   Parameter	Description
   Data Source Name	Veri kaynağı için özel bir ad girin. Ad, çalışma alanında benzersiz olmalı; yalnızca harf, sayı ve alt çizgiden (_) oluşmalı ve bir sayı veya alt çizgi ile başlayamaz.
   Configuration Mode	Yalnızca Alibaba Cloud Instance Mode desteklenir.
   Endpoint	Açılan listeden DLF altyapı örneğinin uç noktasını seçin. Tablo biçimi Iceberg ise Iceberg uç noktasını seçin. Örnek: cn-shanghai-vpc.dlf.aliyuncs.com/iceberg.
   Access identity	Aşağıdakilerden birini seçin: Alibaba Cloud Account Alibaba Cloud RAM User Alibaba Cloud RAM Role Not Erişim kimliği olarak RAM user veya RAM role seçerseniz ilgili RAM kullanıcıya veya RAM rolüne aşağıdaki izinleri vermeniz gerekir: RAM console içinde DLF meta verilerine erişim izni vermek için RAM user veya RAM role öğesine AliyunDataWorksDIAccessDLF sistem ilkesini ekleyin. Daha fazla bilgi için bkz. Grant permissions to a RAM user. Data Lake Formation konsolunda senkronize edilecek tablolar üzerinde RAM rolüne veya RAM kullanıcıya Data Editor iznini verin.
   DLF data catalog	DataWorks çalışma alanınızla aynı bölgedeki bir DLF data catalog seçin.
   Database Name	Veri kataloğundan bir veritabanı seçin.

   Parametreleri yapılandırdıktan sonra sunucusuz kaynak grubuna bağlantıyı test edin. Test başarılı olursa Complete Modification seçeneğine tıklayın. Başarısız olursa sorunu gidermek için Network connectivity configuration konusuna bakın.

Veri Entegrasyonu görevi oluşturma

Bir DataWorks Veri Entegrasyonu görevinde Data Lake Formation veri kaynağını kullanabilirsiniz. Daha fazla bilgi için bkz. Synchronize data to Data Lake Formation.

Ek: Komut dosyası örnekleri ve parametreler

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "table": "auto_ob_3088545_0523",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "where": "id > 1"
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "stream",
         "parameter": {
            "print": false
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}

{
   "type": "job",
   "version": "2.0",
   "steps": [
      {
         "stepType": "stream",
         "parameter": {
         },
         "name": "Reader",
         "category": "reader"
      },
      {
         "stepType": "dlf",
         "parameter": {
            "datasource": "guxuan_dlf",
            "column": [
               "id",
               "col1",
               "col2",
               "col3"
            ],
            "tableType": "table",
            "table": "auto_ob_3088545_0523"
         },
         "name": "Writer",
         "category": "writer"
      }
   ],
   "setting": {
      "errorLimit": {
         "record": "" // The number of error records that are allowed.
      },
      "speed": {
         "throttle": true, // Set to true to enable rate limiting. If set to false, rate limiting is disabled and the mbps parameter is ignored.
         "concurrent": 20, // The number of concurrent threads.
         "mbps": "12" // The maximum data transfer rate. Unit: MB/s.
      }
   },
   "order": {
      "hops": [
         {
            "from": "Reader",
            "to": "Writer"
         }
      ]
   }
}