复制集监控与故障排查

复制集监控基础

MongoDB复制集通过维护多个数据副本来提供高可用性。监控复制集状态是确保系统稳定运行的关键环节。rs.status()命令返回包含成员状态、optime、心跳信息等详细数据的文档。典型输出包含以下核心字段：

{
  "set": "replSet",
  "date": ISODate("2023-08-20T08:00:00Z"),
  "members": [
    {
      "_id": 0,
      "name": "mongo1:27017",
      "health": 1,
      "state": 1,
      "stateStr": "PRIMARY",
      "uptime": 86400,
      "optime": { "ts": Timestamp(1692528000, 1) },
      "optimeDate": ISODate("2023-08-20T07:20:00Z"),
      "pingMs": 2
    }
  ]
}

健康检查应重点关注health(1为健康)、stateStr(PRIMARY/SECONDARY)和optime差异。通过定期比较各节点的optime可以检测复制延迟：

const primaryOptime = rs.status().members[0].optime.ts;
const secondaryOptime = rs.status().members[1].optime.ts;
const lag = primaryOptime - secondaryOptime;
if (lag > 60) console.warn(`复制延迟超过60秒: ${lag}`);

关键指标监控体系

操作计数器

db.serverStatus()返回的opcounters模块记录CRUD操作量。突然的写入激增可能导致复制积压：

const preStats = db.serverStatus().opcounters;
// 1小时后
const postStats = db.serverStatus().opcounters;
const writeIncrease = postStats.insert - preStats.insert;
if (writeIncrease > 10000) alert("写入激增警告");

复制缓冲区监控

replSetGetStatus命令的replicationBuffer字段显示内存缓冲区使用情况。缓冲区溢出会触发较慢的磁盘同步：

"replicationBuffer": {
  "sizeBytes": 104857600,
  "count": 423,
  "maxSizeBytes": 1073741824
}

网络延迟检测

节点间延迟通过pingMs体现。持续高延迟可能导致选举超时：

rs.status().members.forEach(member => {
  if (member.pingMs > 500) {
    console.error(`高网络延迟: ${member.name} ${member.pingMs}ms`);
  }
});

典型故障场景处理

主节点不可用

当rs.status()显示主节点health:0时，复制集会在30秒内触发选举。手动干预前应确认故障持续时间：

const primaryState = rs.status().members.find(m => m.stateStr === "PRIMARY");
if (!primaryState || primaryState.health === 0) {
  setTimeout(() => {
    if (rs.status().members.every(m => m.stateStr !== "PRIMARY")) {
      rs.stepDown(60); // 强制重新选举
    }
  }, 30000);
}

复制链断裂

级联复制结构中，中间节点宕机会导致下游节点失联。通过syncingTo字段检查复制链路：

const topology = rs.status().members.map(m => ({
  node: m.name,
  source: m.syncingTo || "none"
}));
// 可视化检查是否存在断裂点

回滚数据恢复

主节点降级可能导致数据回滚。rollback目录中的BSON文件包含未复制操作：

# 查看回滚文件
ls /data/db/rollback/replSetName/
# 应用回滚
mongorestore --db=test --collection=users /data/db/rollback/replSetName/users.0.bson

高级诊断工具

复制流分析

开启replSetMonitor日志组件可获取详细复制事件：

db.adminCommand({
  setParameter: 1,
  logComponentVerbosity: {
    replication: { verbosity: 2 },
    "replSet": { verbosity: 3 }
  }
});

Oplog窗口计算

oplog时间窗口过小会导致长时间停机后无法全量同步：

const oplog = db.getSiblingDB("local").oplog.rs;
const first = oplog.find().sort({$natural: 1}).limit(1).next();
const last = oplog.find().sort({$natural: -1}).limit(1).next();
const windowHours = (last.ts - first.ts) / 3600;
if (windowHours < 24) console.error("oplog窗口不足24小时");

心跳包分析

调整心跳间隔和超时阈值可优化网络不稳定环境：

cfg = rs.conf();
cfg.settings.heartbeatIntervalMillis = 2000;
cfg.settings.heartbeatTimeoutSecs = 10;
rs.reconfig(cfg);

自动化监控实现

Prometheus指标导出

使用mongodb_exporter采集关键指标：

# prometheus.yml配置示例
scrape_configs:
  - job_name: 'mongodb'
    static_configs:
      - targets: ['mongodb_exporter:9216']

自定义告警规则

基于Grafana设置复制延迟告警：

{
  "alert": "HighReplicationLag",
  "expr": "mongodb_replset_oplog_replication_lag > 30",
  "for": "5m",
  "annotations": {
    "description": "复制延迟超过30秒"
  }
}

节点状态看板

MongoDB Atlas提供的复制集监控界面包含：

• 实时选举计数
• 各节点复制延迟热力图
• 操作类型分布
• 网络吞吐量趋势

性能优化实践

读写关注配置

适当设置writeConcern可平衡安全性与性能：

// 确保操作复制到多数节点
db.products.insert(
  { sku: "xyz123", qty: 250 },
  { writeConcern: { w: "majority", wtimeout: 5000 } }
);

索引同步验证

确保所有节点具有相同索引：

const primaryIndexes = db.getSiblingDB("admin").runCommand({
  listIndexes: "products",
  $readPreference: { mode: "primary" }
});
const secondaryIndexes = db.getSiblingDB("admin").runCommand({
  listIndexes: "products",
  $readPreference: { mode: "secondary" }
});
assert.eq(primaryIndexes.cursor.firstBatch.length, secondaryIndexes.cursor.firstBatch.length);

批量操作优化

大批量写入时采用有序批量操作减少复制压力：

const bulk = db.items.initializeOrderedBulkOp();
for (let i = 0; i < 10000; i++) {
  bulk.insert({ item: `product-${i}` });
}
bulk.execute({ writeConcern: { w: 2 } });