DataWorks：OpenSearch資料來源

• 操作流程請參見指令碼模式配置。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

列配置錯誤的處理

為保證寫入資料的可靠性，避免多餘列資料丟失造成資料品質故障。對於寫入多餘的列，OpenSearch Writer將報錯。例如OpenSearch表欄位為a、b、c，如果OpenSearch Writer寫入的欄位多於3列，OpenSearch Writer將報錯。

表配置注意事項

OpenSearch Writer一次只能寫入一個表。

任務重跑和Failover

重跑後會自動根據ID覆蓋。因此，插入OpenSearch的列中，必須有一個ID，該ID是OpenSearch中一行記錄的唯一標識。唯一標識一樣的資料，會被覆蓋掉。

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要按照統一的指令碼格式要求，在任務指令碼中編寫相應的參數，詳情請參見指令碼模式配置，以下為您介紹指令碼模式下資料來源的參數配置詳情。

Writer指令碼Demo（行業演算法版、LLM智能問答版、高效能檢索版）

{
    "type": "job",
    "version": "1.0",
    "configuration": {
        "reader": {},
        "writer": {
            "plugin": "opensearch",
            "parameter": {
                "accessId": "*********",
                "accessKey": "********",
                "host": "http://yyyy.aliyuncs.com",
                "endpoint":"http://yyyy.aliyuncs.com",
                "indexName": "datax_xxx",
                "table": "datax_yyy",
                "column": [
                "appkey",
                "id",
                "title",
                "gmt_create",
                "pic_default"
                ],
                "batchSize": 500,
                "writeMode": add,
                "version":"v2",
                "ignoreWriteError": false
            }
        }
    }
}

Writer指令碼參數（行業演算法版、LLM智能問答版、高效能檢索版）

Writer指令碼Demo（向量檢索版、召回引擎版）

{
  "stepType": "opensearch",
  "parameter": {
    "indexName": "",
    "column": [
      {
        "name": "col3double",
        "type": "DOUBLE"
      },
      {
        "name": "col2vector",
        "type": "MULTI_FLOAT"
      }
    ],
    "datasource": "zm_test_vector_01",
    "batchSize": "500",
    "table": "demotable"
  },
  "name": "Writer",
  "category": "writer"
}

Writer指令碼參數（向量檢索版、召回引擎版）