DataWorks：Salesforce資料來源

支援的欄位類型

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見資料來源管理，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

Salesforce支援如下方式建立資料來源：

• Salesforce官方：通過直接登入Salesforce官網自動擷取Salesforce訪問地址資訊，建立資料來源。

• 自定：如您希望為DataWorks設定專用的串連憑證，可以通過自定模式配置Salesforce資料來源。您需要登入Salesforce系統，建立Connected App以擷取安全憑證（Consumer Key和Consumer Secret），使DataWorks獲得串連授權。配置方式如下：

  自訂模式資料來源配置方式

  建立Connected App

  1. 進入建立頁面。

     1. 前往您的Salesforce系統地址並登入。

     2. 在頂部單擊，然後在左側導覽列單擊App Manager。

     3. 在Lightning Experience App Manager頁面，單擊New Connected App。

  2. 填寫Connected App相關配置。

     關鍵參數配置：

     序號	參數說明
     1	根據業務需求，建立符合Salesforce規範的應用程式名稱（Connected App Name）、API名稱（API Name）及連絡人郵箱（Contact Email）。
     2	開啟Enable OAuth Settings。回調URL（Callback URL）填寫為https://bff-cn-shanghai.data.aliyun.com/di/oauth/callback/index.html。
     ③	在Selected OAuth Scopes中添加以下Scope： Access Connect REST API resources (chatter api) Access the identity URL service (id, profile, email, address, phone) Access unique user identifiers (openid) Manage user data via APIs (api) Perform requests at any time (refresh token, offline_access)
     ④	關閉Require Proof Key for Code Exchange (PKCE) Extension for Supported Authorization Flows。 開啟Require Secret for Web Server Flow。 開啟Require Secret for Refresh Token Flow。

  3. 查看Connected App的Consumer Key and Secret。

     1. 在App Manager列表中找到已建立的App，點擊App右側的，然後單擊View。

     2. 在App詳情頁面，查看Consumer Key and Secret。

        單擊 Manage Consumer Details 按鈕擷取對應值。

     3. 複製Consumer Key和Consumer Secret值用於後續建立Saleforce資料來源時使用。

  填寫資料來源參數

  1. 進入Data Integration頁面。

     登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的Data Integration > Data Integration，在下拉框中選擇對應工作空間後單擊進入Data Integration。

  2. 單擊左側導覽列的数据源，進入資料來源管理頁面。

  3. 單擊新增數據源，搜尋Salesforce並開啟，在新增Salesforce資料來源頁面，配置數據源類型為自定。

     關鍵參數配置：

     參數	說明
     登入地址	填寫為https://<Salesforce網域名稱>/services/oauth2/authorize。
     認證地址	填寫為https://<Salesforce網域名稱>/services/oauth2/token。
     Consumer Key和Consumer Secret	填寫為已擷取Connected App詳情中的Consumer Key和Consumer Secret。

     單擊登入Salesforce，在授權頁面填寫使用者名稱、密碼後，單擊允許授權（Allow），完成資料來源配置。

資料同步任務開發

資料同步任務的配置入口和通用配置流程可參見下文的配置指導。

附錄：指令碼Demo與參數說明

{
  "type":"job",
  "version":"2.0",
  "steps":[
    {
      "stepType":"salesforce",
      "parameter":{
        "datasource":"",
        "serviceType": "sobject",
        "table": "Account",
        "beginDateTime": "20230817184200",
        "endDateTime": "20231017184200",
        "where": "",
        "column": [
          {
            "type": "STRING",
            "name": "Id"
          },
          {
            "type": "STRING",
            "name": "Name"
          },
          {
            "type": "BOOL",
            "name": "IsDeleted"
          },
          {
            "type": "DATE",
            "name": "CreatedDate"
          }
        ]
      },
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"
    },
    "speed":{
      "throttle":true,
      "concurrent":1,
      "mbps":"12"
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

{
  "type":"job",
  "version":"2.0",
  "steps":[
    {
      "stepType":"salesforce",
      "parameter":{
        "datasource":"",
        "serviceType": "bulk1",
        "table": "Account",
        "beginDateTime": "20230817184200",
        "endDateTime": "20231017184200",
        "where": "",
        "blockCompoundColumn":true,
        "bulkQueryJobTimeoutSeconds":86400,
        "column": [
          {
            "type": "STRING",
            "name": "Id"
          },
          {
            "type": "STRING",
            "name": "Name"
          },
          {
            "type": "BOOL",
            "name": "IsDeleted"
          },
          {
            "type": "DATE",
            "name": "CreatedDate"
          }
        ]
      },
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"stream",
      "parameter":{
        "print": true
      },
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"
    },
    "speed":{
      "concurrent":1
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

{
  "type":"job",
  "version":"2.0",
  "steps":[
    {
      "stepType":"salesforce",
      "parameter":{
        "datasource":"",
        "serviceType": "bulk2",
        "table": "Account",
        "beginDateTime": "20230817184200",
        "endDateTime": "20231017184200",
        "where": "",
        "blockCompoundColumn":true,
        "bulkQueryJobTimeoutSeconds":86400,
        "column": [
          {
            "type": "STRING",
            "name": "Id"
          },
          {
            "type": "STRING",
            "name": "Name"
          },
          {
            "type": "BOOL",
            "name": "IsDeleted"
          },
          {
            "type": "DATE",
            "name": "CreatedDate"
          }
        ]
      },
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"
    },
    "speed":{
      "throttle":true,
      "concurrent":1,
      "mbps":"12"
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

{
  "type":"job",
  "version":"2.0",
  "steps":[
    {
      "stepType":"salesforce",
      "parameter":{
        "datasource":"",
        "serviceType": "query",
        "query": "select Id, Name, IsDeleted, CreatedDate from Account where Name!='Aliyun' ",
        "column": [
          {
            "type": "STRING",
            "name": "Id"
          },
          {
            "type": "STRING",
            "name": "Name"
          },
          {
            "type": "BOOL",
            "name": "IsDeleted"
          },
          {
            "type": "DATE",
            "name": "CreatedDate"
          }
        ]
      },
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"
    },
    "speed":{
      "throttle":true,
      "concurrent":1,
      "mbps":"12"
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}