DataWorks的AnalyticDBforPostgreSQL資料同步的能力支援情況 - DataWorks

使用限制

離線同步支援閱讀檢視表。

支援的版本

支援版本最高至7.0（含）。

支援的欄位類型

離線讀

AnalyticDB for PostgreSQL Reader支援大部分AnalyticDB for PostgreSQL類型，但也存在部分類型未被支援的情況，請注意檢查您的資料類型。

AnalyticDB for PostgreSQL Reader針對AnalyticDB for PostgreSQL的類型轉換列表，如下所示。

類型分類	AnalyticDB for PostgreSQL資料類型
整數類	BIGINT、BIGSERIAL、INTEGER、SMALLINT、SERIAL和GEOMETRY
浮點類	DOUBLE、PRECISION、MONEY、NUMERIC和REAL
字串類	VARCHAR、CHAR、TEXT、BIT和INET
日期時間類	DATE、TIME和TIMESTAMP
布爾型	BOOL
二進位類	BYTEA

離線寫

AnalyticDB for PostgreSQL Writer支援大部分AnalyticDB for PostgreSQL類型，但也存在部分類型未被支援的情況，請注意檢查您的類型。

AnalyticDB for PostgreSQL Writer針對AnalyticDB for PostgreSQL的類型轉換列表，如下所示。

類型分類	AnalyticDB for PostgreSQL資料類型
LONG	BIGINT、BIGSERIAL、INTEGER、SMALLINT和SERIAL
DOUBLE	DOUBLE、PRECISION、MONEY、NUMERIC和REAL
STRING	VARCHAR、CHAR、TEXT、BIT、INET和GEOMETRY
DATE	DATE、TIME和TIMESTAMP
BOOLEAN	BOOL
BYTES	BYTEA

說明

MONEY、INET和BIT需要您使用a_inet::varchar類似的文法進行轉換。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見資料來源管理，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

資料同步任務開發

資料同步任務的配置入口和通用配置流程可參見下文的配置指導。

單表離線同步任務配置指導

操作流程請參見嚮導模式配置、指令碼模式配置。
指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

整庫離線讀同步配置指導

操作流程請參見整庫即時同步任務配置。

附錄：指令碼Demo與參數說明

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要按照統一的指令碼格式要求，在任務指令碼中編寫相應的參數，詳情請參見指令碼模式配置，以下為您介紹指令碼模式下資料來源的參數配置詳情。

Reader指令碼Demo

{
    "type": "job",
    "steps": [
        {
            "parameter": {
                "datasource": "test_004",//資料來源名稱。
                "column": [//源端表的列名。
                    "id",
                    "name",
                    "sex",
                    "salary",
                    "age"
                ],
                "where": "id=1001",//過濾條件。
                "splitPk": "id",//切分鍵。
                "table": "public.person"//源端表名。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本號碼
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "concurrent": 6,//並發數。
            "throttle": true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
           "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    }
}

Reader指令碼參數

參數	描述	是否必選	預設值
datasource	資料來源名稱，指令碼模式支援添加資料來源，該配置項輸入的內容必須和添加的資料來源名稱保持一致。	是	無
table	選取的需要同步的表名稱。	是	無
column	所配置的表中需要同步的列名集合，使用JSON的數組描述欄位資訊。預設使用所有列配置，例如[*]。支援列裁剪，即可以挑選部分列進行匯出。支援列換序，即列可以不按照表Schema資訊順序進行匯出。支援常量配置，您需要按照SQL文法格式。例如，`["id", "table","1","'mingya.wmy'","'null'", "to_char(a+1)","2.3","true"]`。 id為普通列名。 table為包含保留字的列名。 1為整型數字常量。 ‘mingya.wmy’為字串常量（注意需要加上一對單引號）。 'null'為字串常量。 to_char(a+1)為計算字串長度函數。 2.3為浮點數。 true為布爾值。 column必須顯示指定同步的列集合，不允許為空白。	是	無
splitPk	AnalyticDB for PostgreSQL Reader進行資料幫浦時，如果指定splitPk，表示您希望使用splitPk代表的欄位進行資料分區。資料同步會啟動並發任務進行資料同步，以提高資料同步的效能。通常表主鍵較為均勻，切分出的分區不易出現資料熱點，所以推薦splitPk使用者使用表主鍵。目前splitPk僅支援整型資料切分，不支援字串、浮點、日期等其他類型。如果您指定其他非支援類型，忽略splitPk功能，使用單通道進行同步。如果不填寫splitPk，包括不提供splitPk或者splitPk值為空白，資料同步視作使用單通道同步該表資料。	否	無
where	篩選條件，AnalyticDB for PostgreSQLReader根據指定的column、table和where條件拼接SQL，並根據該SQL進行資料幫浦。例如測試時，可以將where條件指定實際業務情境，往往會選擇當天的資料進行同步，將where條件指定為`id>2 and sex=1`。 where條件可以有效地進行業務增量同步處理。 where條件不配置或者為空白，視作全表同步資料。	否	無
querySql（進階模式，嚮導模式不提供）	在部分業務情境中，where配置項不足以描述所篩選的條件，您可以通過該配置項來自訂篩選SQL。當配置此項後，資料同步系統就會忽略column、table等配置項，直接使用該項配置的內容對資料進行篩選。例如需要進行多表join後同步資料，使用`select a,b from table_a join table_b on table_a.id = table_b.id`。當您配置querySql時，AnalyticDB for PostgreSQL Reader直接忽略column、table和where條件的配置。	否	無
fetchSize	該配置項定義了外掛程式和資料庫伺服器端每次批量資料擷取條數，該值決定了Data Integration和伺服器端的網路互動次數，能夠提升資料幫浦效能。說明 fetchSize值過大（>2048）可能造成資料同步進程OOM。	否	512

Writer指令碼Demo

{
    "type": "job",
    "steps": [
        {
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {
                "postSql": [],//匯入後的完成語句。
                "datasource": "test_004",//資料來源名。
                "column": [//目標表的列名。
                    "id",
                    "name",
                    "sex",
                    "salary",
                    "age"
                ],
                "table": "public.person",//目標表的表名。
                "preSql": []//匯入前的準備語句。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本號碼。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//錯誤記錄數。
            "record": ""
        },
        "speed": {
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":6, //作業並發數。
            "mbps":"12"//限流
        }
    }
}

Writer指令碼參數

參數	描述	是否必選	預設值
datasource	資料來源名稱，指令碼模式支援添加資料來源，此配置項填寫的內容必須要與添加的資料來源名稱保持一致。	是	無
table	選取的需要同步的表名稱。	是	無
writeMode	選擇匯入模式，支援insert、copy和upsert方式。 insert：執行PostgreSQL的`insert into...values...` 語句，將資料寫入PostgreSQL中。建議優先選擇該模式。 copy：PostgreSQL提供copy命令，用於表與檔案（標準輸出，標準輸入）之間的相互複製。Data Integration支援使用`copy from`，將資料載入到表中。建議您在遇到效能問題時再嘗試使用該模式。 upsert：寫入資料發生衝突後，按照conflictMode參數的設定進行新舊資料的處理。	否	insert
conflictMode	當writeMode為upsert，寫入資料至PostgreSQL出現主鍵或唯一性索引衝突時，可選擇如下衝突處理策略： replace：寫入資料發生衝突後，使用待同步的新資料覆蓋原有的舊資料。 ignore：寫入資料發生衝突後，忽略新資料，並保留原有舊資料。說明當前僅支援通過指令碼模式配置衝突處理策略。	否	replace
column	目標表需要寫入資料的欄位，欄位之間用英文逗號分隔。例如`"column":["id","name","age"]`。如果要依次寫入全部列，使用表示，例如"column":[""]。	是	無
preSql	執行資料同步任務之前，需率先執行的SQL語句。目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如清除舊資料。	否	無
postSql	執行資料同步任務之後執行的SQL語句。目前嚮導模式僅允許執行一條SQL語句，指令碼模式可以支援多條SQL語句，例如加上某個時間戳記。	否	無
batchSize	一次性批量提交的記錄數大小，該值可以極大減少Data Integration與AnalyticDB for PostgreSQL的網路互動次數，並提升整體輸送量。但是該值設定過大可能會造成Data Integration運行進程OOM情況。	否	1,024