分片与复制集的结合使用

分片与复制集的结合使用

MongoDB的分片和复制集是两种核心的高可用性方案，分别用于水平扩展和数据冗余。分片通过将数据分散到多个节点来提升吞吐量，而复制集通过多副本保障数据安全。实际生产环境中，两者常结合使用以同时实现扩展性和容灾能力。

分片集群的基本架构

一个典型的分片集群包含以下组件：

1. 分片（Shard）：每个分片可以是独立实例，但生产环境推荐使用复制集作为分片
2. 配置服务器（Config Server）：存储集群元数据的特殊mongod实例
3. 查询路由（mongos）：应用程序的访问入口

// 连接mongos的示例
const { MongoClient } = require('mongodb');
const uri = "mongodb://mongos1:27017,mongos2:27017/?replicaSet=rsMongos";
const client = new MongoClient(uri);

复制集作为分片的实现

使用复制集作为分片时，每个分片实际上是一个3节点复制集：

shard1/
  ├── primary: shard1-node1:27018
  ├── secondary1: shard1-node2:27018 
  ├── secondary2: shard1-node3:27018
shard2/
  ├── primary: shard2-node1:27019
  ├── secondary1: shard2-node2:27019
  └── secondary2: shard2-node3:27019

这种架构下，即使某个分片的主节点宕机，复制集机制会自动选举新主节点，保证分片持续可用。

分片策略的选择

基于范围的分片

适合有明显范围特征的查询，如时间序列数据：

sh.shardCollection("logs.events", { timestamp: 1 });

基于哈希的分片

确保数据均匀分布的通用方案：

sh.shardCollection("users.profiles", { _id: "hashed" });

基于标签的分片

将特定数据定向到指定分片：

sh.addTagRange("orders.archive", 
  { _id: MinKey }, { _id: MaxKey }, "ARCHIVE");

读写操作的执行流程

写入过程

1. 应用通过mongos发起写入
2. 配置服务器确定目标分片
3. 写入操作被路由到对应分片的主节点
4. 主节点将操作同步到从节点

读取过程

1. mongos解析查询条件
2. 确定需要访问的分片（可能涉及多个）
3. 从各分片的可用节点读取数据
4. 合并结果返回客户端

// 设置读偏好为最近节点
const options = {
  readPreference: 'nearest',
  maxStalenessSeconds: 30
};
const cursor = collection.find({}, options);

平衡器的工作原理

平衡器是分片集群的后台进程，负责：

• 监控分片间数据分布
• 当数据不均匀时触发块迁移
• 确保迁移过程中不影响正常服务

可以通过以下命令查看平衡状态：

use config
db.locks.find({ _id: "balancer" })

故障恢复机制

分片主节点故障

1. 复制集在30秒内选举新主节点
2. mongos自动检测到拓扑变化
3. 后续请求路由到新主节点

整个分片不可用

1. 集群将标记该分片为不可用
2. 针对该分片数据的查询返回部分结果
3. 分片恢复后自动重新同步

监控关键指标

应重点监控以下指标：

• 分片间的数据均衡性
• 块迁移队列长度
• 各分片复制集的延迟情况
• mongos的连接池使用率

// 获取分片状态示例
db.adminCommand({ listShards: 1 });
// 检查块分布
db.chunks.find().pretty();

性能优化实践

热点分片处理

当某个分片负载过高时：

1. 检查分片键选择是否合理
2. 考虑添加新分片
3. 临时解决方案可手动拆分热点块

// 手动拆分块示例
sh.splitAt("orders.transactions", { _id: "2023-06-01" });

查询优化技巧

1. 尽量使查询条件包含分片键
2. 避免全分片广播查询
3. 合理使用投影减少数据传输

// 好的查询实践
db.orders.find({
  orderDate: { $gte: ISODate("2023-01-01") },
  _id: customerId // _id是分片键
});

实际部署建议

生产环境部署应考虑：

1. 至少3个配置服务器形成复制集
2. 每个分片使用3节点复制集
3. 部署多个mongos实例实现负载均衡
4. 分片数量建议初始为3个，根据需求扩展

// 启动mongos的典型命令
mongos --configdb cfgReplSet/config1:27019,config2:27019,config3:27019 \
       --bind_ip_all

容量规划方法

计算所需分片数量的公式：

总数据量 × 增长系数 × 副本数 / 单节点容量 = 最小分片数

例如：

• 预期数据量1TB
• 年增长率50%
• 3副本
• 单节点最大500GB

(1000 × 1.5 × 3) / 500 = 9个分片

特殊场景处理

超大集合分片

对于已有数据的集合启用分片：

1. 首先创建分片键索引
2. 初始分片可能耗时较长
3. 建议在低峰期操作

// 对已有集合分片
db.adminCommand({
  shardCollection: "bigdata.records",
  key: { timestamp: 1, deviceId: 1 }
});

跨分片事务

4.0+版本支持跨分片事务，但需注意：

• 性能开销较大
• 建议限制事务范围和时长
• 可能需要调整事务超时设置

// 跨分片事务示例
const session = client.startSession();
session.startTransaction();
try {
  await orders.insertOne({...}, { session });
  await inventory.updateOne({...}, { session });
  await session.commitTransaction();
} catch (error) {
  await session.abortTransaction();
}