通过API推送的数据在执行全量操作后,最多只能回追3天。OpenSearch向量检索版提供索引恢复功能,可从当前全量版本中恢复数据,确保已推送的数据在下一次全量中保留;同时支持通过OpenAPI将指定全量版本的数据导出到OSS或MaxCompute,用于数据备份或离线分析。
前提条件
数据源已至少完成过一次全量操作,增量数据通过API推送。
操作步骤
-
登录OpenSearch控制台,在左侧导航栏单击实例列表,进入目标实例的表管理页面。
-
在目标数据表的操作列中,单击 ⋮ 图标展开下拉菜单,选择从索引恢复数据。
-
在从索引恢复数据对话框中,默认选中表信息页签(另一个页签为数据恢复记录,可查看历史恢复任务)。在表信息页签中,选择要恢复数据的索引版本,按需填写恢复备注(选填,最多20字)。
-
单击确定。系统弹出确认对话框,提示所有数据字段需存在于索引中(即已设置为搜索结果展示字段),否则未设置为搜索结果展示字段的内容将被清空。确认无误后单击确定。
为保障数据完整性,建议在执行索引恢复前确认所有数据字段均已设置为搜索结果展示字段。未设置的字段内容在恢复后将被清空,且无法找回。
-
提交完成后,在左侧导航的变更历史页面的数据源变更分类中查看恢复进展。展开索引中恢复FSM变更流程,可查看各节点(初始化、创建快照、生成数据、检查数据生成状态、准备BS构建数据等)的执行状态和完成时间。
-
FSM流程正常结束后,即可执行修改索引表、添加自定义干预词条等需要全量的操作。
执行全量任务时,请选择从索引中恢复数据,以完整保留已恢复版本的数据。若需利用索引记录重建全量数据,请立即执行。延迟操作可能导致在此期间新增的 API 推送数据丢失。
通过OpenAPI导出数据到OSS或MaxCompute
上述控制台操作生成的恢复版本用于索引重建。如需将指定全量版本的数据导出用于备份或离线分析,可调用RecoverIndex接口,将数据导出到OSS Bucket或MaxCompute表。该功能仅通过OpenAPI/SDK提供,控制台不提供操作入口。
-
仅支持全量数据来源为API的索引表(表管理页面全量数据来源列显示为API)。
-
仅导出已配置为搜索结果展示字段(summary)的字段内容。
-
导出到OSS或MaxCompute的记录不支持直接重建索引,不会出现在控制台重建索引的从索引恢复记录中重建记录列表中。
-
数据恢复记录仅保留最近3天。
步骤一:获取buildDeployId和generation
-
调用ListClusters接口获取目标实例的集群名称(clusterName)。
-
调用GetIndexVersion接口,传入实例ID和集群名称,在返回结果的indexVersions数组中找到目标索引表(indexName)对应的记录:
-
buildDeployId:数据源离线部署ID。接口返回值为字符串类型,调用RecoverIndex时需转换为整数传入。
-
generation:索引全量版本号,从versions数组中选择需要导出的版本。同一索引表下的多个全量版本共用同一个buildDeployId。
-
步骤二:调用RecoverIndex接口导出数据
接口请求语法为POST /openapi/ha3/instances/{instanceId}/recover-index,导出相关请求体参数说明如下。
|
参数 |
是否必填 |
类型 |
说明 |
|
dataSourceName |
是 |
String |
数据源名称。可调用ListDataSources接口获取。 |
|
indexName |
是 |
String |
索引表名称。 |
|
generation |
是 |
String |
需要导出的索引全量版本号。获取方式请参见步骤一。 |
|
buildDeployId |
是 |
Integer |
数据源离线部署ID。获取方式请参见步骤一,注意将字符串转换为整数。 |
|
recoverDesc |
否 |
String |
恢复备注。 |
|
outPutType |
否 |
String |
导出类型。取值:
|
|
bucket |
条件必填 |
String |
outPutType为oss时必填。目标OSS Bucket名称。Bucket名称需包含opensearch,或Bucket已绑定标签(Key和Value均为opensearch)。 |
|
path |
条件必填 |
String |
outPutType为oss时必填。目标路径,以正斜线(/)开头且不能以正斜线结尾,例如/opensearch/recover_data。目标路径需已在Bucket中创建,否则报错OssPathNotExist。 |
|
odpsAccessId |
条件必填 |
String |
outPutType为odps时必填。用于访问MaxCompute的AccessKey ID。 |
|
odpsAccessKey |
条件必填 |
String |
outPutType为odps时必填。用于访问MaxCompute的AccessKey Secret。 |
|
odpsProject |
条件必填 |
String |
outPutType为odps时必填。MaxCompute项目名称。 |
|
odpsTable |
条件必填 |
String |
outPutType为odps时必填。目标MaxCompute表名称,仅支持分区表。 |
|
odpsPartition |
条件必填 |
String |
outPutType为odps时必填。目标分区规格,例如pt=20240101。分区需已在目标表中创建。 |
导出到OSS
调用RecoverIndex接口时,将outPutType设置为oss,并通过bucket和path参数指定导出目标。请求体示例如下。
POST /openapi/ha3/instances/ha-cn-xxxx/recover-index
{
"dataSourceName": "ha-cn-xxxx_test_data",
"indexName": "test_data",
"generation": "1788938358",
"buildDeployId": 12055,
"recoverDesc": "导出到OSS",
"outPutType": "oss",
"bucket": "my-opensearch-bucket",
"path": "/opensearch/recover_data"
}
导出到OSS时,请注意:
-
目标路径(path)需以正斜线(/)开头、不能以正斜线结尾,且需预先在Bucket中创建(例如通过上传空对象创建目录),否则导出失败。
-
Bucket名称需包含opensearch,或为Bucket绑定Key和Value均为opensearch的标签,否则报错OssBucketTagNotMatch。引擎通过服务关联角色AliyunServiceRoleForSearchEngine的权限将数据写入OSS,该角色的授权范围仅覆盖名称包含opensearch的资源路径,详情请参见账号管理。
-
导出文件为gzip压缩的ha3文档格式,文件名格式为{分片起始序号}_{分片结束序号}_{分片编号}_{时间戳}.gz。解压后,文档以CMD=add开头,字段间以不可见分隔符分隔,多值字段以ha3多值分隔符(\x1D)分隔,肉眼不可见,属于预期行为。字段类型详情请参见数据类型。
导出到MaxCompute
调用RecoverIndex接口时,将outPutType设置为odps,并通过odpsAccessId、odpsAccessKey、odpsProject、odpsTable和odpsPartition参数指定导出目标。请求体示例如下。
POST /openapi/ha3/instances/ha-cn-xxxx/recover-index
{
"dataSourceName": "ha-cn-xxxx_test_data",
"indexName": "test_data",
"generation": "1788938358",
"buildDeployId": 12055,
"recoverDesc": "导出到MaxCompute",
"outPutType": "odps",
"odpsAccessId": "LTAI5t********",
"odpsAccessKey": "******************",
"odpsProject": "my_project",
"odpsTable": "recover_table",
"odpsPartition": "pt=20240101"
}
导出到MaxCompute时,请注意:
-
目标表仅支持分区表,且必须指定odpsPartition参数。向非分区表导出数据会失败。
-
不支持导出Array或Object等复杂类型字段。建议将目标表所有列的类型创建为STRING,避免因字段类型转换导致导出失败。
-
MaxCompute的列名大小写不敏感,统一以小写存储。引擎导出时会先将字段名称转换为全小写再写入,避免因大小写不一致导致字段导出失败。
-
多值字段的值以ha3多值分隔符(\x1D)分隔,查询显示时该字符肉眼不可见,属于预期行为。字段类型详情请参见数据类型。
请求成功时返回空结果,示例如下。
{
"requestId": "0A6EB64B-B4C8-CF02-810F-E660812972FF",
"result": {}
}
步骤三:查看导出结果
导出任务异步执行。调用ListIndexRecoverRecords接口查询恢复记录,记录中出现finishedTime表示导出完成。
-
导出到OSS:在目标路径下查看生成的.gz文件,解压后即为ha3文档格式的数据。
-
导出到MaxCompute:查询目标表对应分区中的数据。
使用限制
-
索引恢复任务若超过3天未完成,生成的版本存在数据丢失风险,请提交工单联系技术支持处理。
-
每次恢复操作只能选择一个数据源。