ApsaraDB for MongoDB:Troubleshoot unbalanced data after adding a new shard to a sharded cluster

Verificar se o balancer está ativado

No mongosh, execute:

sh.getBalancerState()

Se a saída for false, o balancer está desativado. Ative-o seguindo as instruções em Gerencie o balancer do MongoDB.

Verificar a janela ativa

O balancer executa apenas durante sua janela ativa configurada. Fora desse período, nenhuma migração ocorre.

Para verificar a configuração da janela ativa, execute o comando:

db.getSiblingDB("config").settings.find({_id:"balancer"})

Exemplo de saída:

{ _id: 'balancer', activeWindow: { start: '02:00', stop: '04:00' } }

Caso a janela seja muito curta ou coincida com horários de pico de tráfego, estenda-a para cobrir um período maior fora do pico. O exemplo a seguir define a janela diária das 02:00 às 06:00:

db.getSiblingDB("config").settings.updateOne(
  { _id: "balancer" },
  { $set: { activeWindow: { start: "02:00", stop: "06:00" } } },
  { upsert: true }
)

Verificar se o balanceamento já está em andamento

Após adicionar um shard, o balancer precisa de tempo para migrar os dados existentes. É esperado haver desequilíbrio durante esse período.

Para verificar se há uma tarefa de migração ativa, execute:

sh.isBalancerRunning()

Se a saída for true, o balanceamento está em andamento. Aguarde a conclusão. Para acompanhar o progresso, consulte Como verificar o progresso da adição ou remoção de um nó shard.

Verificar grandes coleções sem sharding

Um banco de dados pode conter coleções com e sem sharding. Coleções sem sharding armazenam todos os dados no shard primário do banco — o balancer não consegue migrá-los. Se suas maiores coleções não tiverem sharding, elas nunca alcançarão o novo shard.

Execute o script a seguir para calcular o armazenamento ocupado por coleções sem sharding em um determinado banco de dados:

// Replace "myDB" with the name of the database to check
var dbName = "myDB";

var unshardSize = 0;
var totalSize = 0;
var unshardedCollections = [];

db.getSiblingDB(dbName).getCollectionNames().forEach(function(collName) {
    var stats = db.getSiblingDB(dbName).getCollection(collName).stats();

    // Check the stats.sharded field and add up the storage size
    if (!stats.sharded) {
        unshardSize += (stats.storageSize || 0);
        unshardedCollections.push(dbName + "." + collName);
    }
    totalSize += (stats.storageSize || 0);

    // Sleep briefly after each query to avoid excessive load on the database
    sleep(200);
});

print("--- " + dbName + " ---");
print("Unsharded Collections Count: " + unshardedCollections.length);
print("--------------------");
print("Unsharded Storage Size (Bytes): " + unshardSize);
print("Total Storage Size (Bytes): " + totalSize);
print("--------------------");
print("Unsharded Collections List:");
printjson(unshardedCollections);

Este script chama stats() em cada coleção, o que pode afetar o desempenho do banco de dados. O atraso integrado sleep(200) reduz esse risco. Para bancos de dados com muitas coleções, aumente o atraso para 2000 ou mais.

Se as coleções sem sharding representarem uma parcela significativa do armazenamento, ative o sharding nelas. Para obter orientações, consulte Configurar sharding de dados para aproveitar totalmente o desempenho dos shards.

Verificar se coleções com sharding estão abaixo do limiar de migração (MongoDB 6.0+)

A partir do MongoDB 6.0.3, o balancer só migra chunks quando a diferença de volume de dados entre shards para uma determinada coleção atinge um limiar. O valor padrão corresponde a três vezes o tamanho do chunk.

Com o tamanho padrão de chunk de 128 MB, o desequilíbrio de dados entre dois shards deve atingir pelo menos 384 MB antes que o balancer acione a migração para essa coleção. Coleções com volume total inferior a esse limiar são consideradas equilibradas e não sofrem alterações.

Para verificar a distribuição dos dados de uma coleção entre os shards, execute:

db.<collection>.getShardDistribution()

Se a maior parte dos dados de uma coleção com sharding estiver concentrada em um único shard e o desequilíbrio for inferior a 384 MB (considerando o tamanho padrão de chunk), o balancer não agirá. Reduza o chunkSize da coleção para diminuir o limiar e acionar a migração:

// This example sets chunkSize to 16 MB for test_db.test_coll.
// Adjust chunkSize based on your collection's data volume and distribution.
db.adminCommand({
  configureCollectionBalancing: "test_db.test_coll",
  chunkSize: 16  // Unit: MB. Default for MongoDB 6.0+: 128 MB
})

Após a conclusão da migração, verifique se a distribuição melhorou:

db.<collection>.getShardDistribution()