数据传输服务 DTS：如何清理MongoDB（分片集群架构）的孤立文档

在可以连接分片集群实例的服务器上，创建一个用于清理孤立文档的JS脚本，脚本名称为cleanupOrphaned.js。

// shard实例名称列表
var shardNames = ["shardName1", "shardName2"];
// 数据库列表
var databasesToProcess = ["database1", "database2", "database3"];
shardNames.forEach(function(shardName) {
    // 遍历指定的数据库列表
    databasesToProcess.forEach(function(dbName) {
        var dbInstance = db.getSiblingDB(dbName);
        // 获取该数据库实例的所有集合名称
        var collectionNames = dbInstance.getCollectionNames();
        // 遍历每个集合
        collectionNames.forEach(function(collectionName) {
            // 完整的集合名称
            var fullCollectionName = dbName + "." + collectionName;
            // 构建 cleanupOrphaned 命令
            var command = {
                runCommandOnShard: shardName,
                command: { cleanupOrphaned: fullCollectionName }
            };
            // 执行命令
            var result = db.adminCommand(command); 
            if (result.ok) {
                print("Cleaned up orphaned documents for collection " + fullCollectionName + " on shard " + shardName);
                printjson(result);
            } else {
                print("Failed to clean up orphaned documents for collection " + fullCollectionName + " on shard " + shardName);
            }
        });
    });
});

您需要对脚本中的shardNames和databasesToProcess参数的值进行修改，具体说明如下：

• shardNames：分片集群实例中待清理孤立文档的Shard节点的ID数组，您可以在实例基本信息页面的Shard列表区域获取，例如d-bp15a3796d3a****。

• databasesToProcess：待清理孤立文档的数据库名称数组。

在cleanupOrphaned.js脚本所在的目录下，执行以下命令清理孤立文档。

mongo --host <Mongoshost> --port <Primaryport>  --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt

参数说明如下。

在可以连接分片集群实例的服务器上，创建一个用于清理孤立文档的JS脚本，脚本名称为cleanupOrphaned.js。

function cleanupOrphanedOnShard(shardName, fullCollectionName) {
    var nextKey = { };
    var result;
    while ( nextKey != null ) {
        var command = {
            runCommandOnShard: shardName,
            command: { cleanupOrphaned: fullCollectionName, startingFromKey: nextKey }
        };
        result = db.adminCommand(command);
        printjson(result);
        if (result.ok != 1 || !(result.results.hasOwnProperty(shardName)) || result.results[shardName].ok != 1 ) {
            print("Unable to complete at this time: failure or timeout.")
            break
        }
        nextKey = result.results[shardName].stoppedAtKey;
    }
    print("cleanupOrphaned done for coll: " + fullCollectionName + " on shard: " + shardName)
}
var shardNames = ["shardName1", "shardName2", "shardName3"]
var fullCollectionName = "database.collection"
shardNames.forEach(function(shardName) {
    cleanupOrphanedOnShard(shardName, fullCollectionName);
});

您需要对脚本中的shardNames和fullCollectionName参数的值进行修改，具体说明如下：

• shardNames：分片集群实例中待清理孤立文档的Shard节点的ID数组，您可以在实例基本信息页面的Shard列表区域获取，例如d-bp15a3796d3a****。

• fullCollectionName：需要替换为待清理孤立文档的集合名称，格式为数据库名称.集合名称。

在cleanupOrphaned.js脚本所在的目录下，执行以下命令清理孤立文档。

mongo --host <Mongoshost> --port <Primaryport>  --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt

参数说明如下。