分片均衡器（Balancer）与数据迁移

在MongoDB中，分片均衡器（Balancer）是确保数据均匀分布的关键组件，它通过自动迁移数据块（chunk）来优化集群性能。数据迁移则是实现这一目标的核心操作，涉及跨分片的块移动、元数据更新和负载均衡策略。

分片均衡器的工作原理

分片均衡器作为mongos的一部分运行，默认处于开启状态。它通过以下步骤实现均衡：

1. 监控分片状态：定期检查各分片的块数量差异
2. 触发迁移条件：当最大最小分片块数差超过阈值（默认2）
3. 选择迁移块：优先选择边界清晰的块进行迁移

// 查看均衡器状态示例
sh.getBalancerState()
// 返回结果示例：{ "mode" : "full", "inBalancerRound" : false }

数据迁移的详细过程

数据迁移分为三个阶段：

1. 初始化阶段：

   • 源分片启动迁移进程
   • 创建临时集合用于传输数据
   • 记录迁移开始时的oplog位置

2. 数据传输阶段：

   • 批量复制文档到目标分片
   • 持续同步新增的oplog记录
   • 使用类似以下命令手动触发迁移：

   db.adminCommand({ moveChunk: "test.users", 
                    find: { _id: 1000 }, 
                    to: "shard2" })
   

3. 提交阶段：

   • 更新配置服务器的元数据
   • 源分片删除已迁移数据
   • 目标分片建立必要索引

迁移策略与性能影响

MongoDB采用多种策略优化迁移效率：

并行迁移：

• 默认允许2个并发迁移
• 可通过以下配置调整：

use config
db.settings.update(
  { _id: "balancer" },
  { $set: { "_secondaryThrottle" : true } },
  { upsert: true }
)

迁移窗口设置：

db.settings.update(
  { _id: "balancer" },
  { $set: { activeWindow : 
           { start : "23:00", stop : "6:00" } } },
  { upsert: true }
)

常见问题与解决方案

迁移卡顿：

• 检查网络延迟：db.currentOp()观察迁移操作
• 调整块大小（默认64MB）：

use config
db.settings.save({ _id:"chunksize", value: 32 })

不均衡热点：

• 对于单调递增的分片键，可能产生"热分片"
• 解决方案示例使用哈希分片：

sh.shardCollection("test.logs", { _id: "hashed" })

高级监控技巧

使用聚合管道分析迁移历史：

use config
db.changelog.aggregate([
  { $match: { what: "moveChunk.start" } },
  { $group: { 
      _id: "$details.from", 
      count: { $sum: 1 } 
  } }
])

关键指标监控：

• 迁移队列长度：sh.status(true).balancer
• 迁移耗时：db.changelog.find({ what: /moveChunk/ })
• 磁盘空间波动：db.serverStatus().storageEngine