数据分片与分区策略

数据分片与分区策略

MongoDB通过分片技术实现水平扩展，将大型数据集分布到多个服务器上。这种机制解决了单机存储容量和性能瓶颈问题，核心在于如何高效地划分和路由数据。

分片集群架构

典型分片集群包含三个角色：

1. mongos：路由进程，负责将客户端请求转发到对应分片
2. config servers：存储集群元数据和分片配置
3. shards：实际存储数据的mongod实例

// 连接mongos示例
const { MongoClient } = require('mongodb');
const uri = "mongodb://mongos1:27017,mongos2:27017/?replicaSet=shardRs";
const client = new MongoClient(uri);

分片键选择策略

分片键的选择直接影响查询性能和集群平衡，需考虑以下因素：

基数原则

高基数字段更适合作为分片键，如用户ID、订单号等。避免选择布尔值等低基数字段。

// 不良分片键示例
{
  status: "active", // 只有几种可能值
  created_at: ISODate()
}

写分布优化

避免单调递增的分片键（如自增ID），这会导致"热分片"问题。可采用以下方案：

• 组合键：{ userId: 1, timestamp: -1 }
• 哈希分片：sh.shardCollection("db.users", { _id: "hashed" })

分片策略类型

范围分片（Range Sharding）

按分片键的值范围划分数据，适合范围查询场景。

// 创建范围分片集合
sh.shardCollection("test.orders", { orderDate: 1 })

// 典型数据分布
shard1: orderDate 2020-01-01 ~ 2021-12-31
shard2: orderDate 2022-01-01 ~ 2023-12-31

哈希分片（Hashed Sharding）

通过哈希函数均匀分布数据，解决热分片问题但牺牲范围查询能力。

// 创建哈希分片集合
sh.shardCollection("app.events", { deviceId: "hashed" })

// 数据分布示例
shard1: 哈希值 0x00000000 ~ 0x3FFFFFFF
shard2: 哈希值 0x40000000 ~ 0x7FFFFFFF

区域分片（Zone Sharding）

基于业务规则手动控制数据分布，常用于多租户或地理分区场景。

// 创建区域规则
sh.addShardTag("shard1", "US-East")
sh.addShardTag("shard2", "EU-West")

// 添加区域范围
sh.addTagRange("logs.traffic", 
  { region: "US", timestamp: MinKey },
  { region: "US", timestamp: MaxKey },
  "US-East"
)

分片管理操作

分片集群监控

通过sh.status()查看分片状态，关键指标包括：

• 数据分布均衡性
• 分片区块（chunk）数量
• 迁移操作队列

// 检查分片状态
db.adminCommand({ listShards: 1 })

// 查看区块分布
use config
db.chunks.find({ ns: "products.items" })

分片再平衡

当数据分布不均时触发平衡器：

// 手动触发平衡
sh.startBalancer()

// 设置平衡窗口
use config
db.settings.update(
  { _id: "balancer" },
  { $set: { activeWindow: { start: "23:00", stop: "06:00" } } },
  { upsert: true }
)

特殊场景处理

分片集合的索引策略

每个分片维护自己的索引，需确保：

• 分片键本身必须有索引
• 避免全局唯一索引（除非包含分片键）

// 正确创建索引示例
db.products.createIndex({ sku: 1, vendor: 1 })  // 复合索引包含分片键

// 错误示例（会导致性能问题）
db.products.createIndex({ description: "text" }) // 全文索引跨分片效率低

分片事务限制

跨分片事务在MongoDB 4.2+才支持，但有如下约束：

• 最大影响16MB数据
• 事务时长建议控制在1秒内
• 需要配置复制集为WiredTiger存储引擎

// 跨分片事务示例
const session = client.startSession();
try {
  session.startTransaction();
  await orders.insertOne({ _id: 1001, amount: 199 }, { session });
  await inventory.updateOne(
    { sku: "X100" }, 
    { $inc: { qty: -1 } },
    { session }
  );
  await session.commitTransaction();
} catch (error) {
  await session.abortTransaction();
}

分片性能优化

预分割区块

对于已知数据分布模式的情况，可预先创建区块避免自动分裂开销：

// 预分割100个区块
sh.splitAt("db.collection", { userId: 0 });
for (let i = 1; i < 100; i++) {
  sh.splitAt("db.collection", { userId: i * 1000 });
}

读写关注设置

分片环境下合理设置读写关注级别：

// 强一致性写操作
db.products.insert(
  { sku: "X200", price: 299 },
  { writeConcern: { w: "majority" } }
)

// 本地读优先（降低延迟）
db.orders.find().readPref("nearest")

分片与聚合管道

聚合操作在分片集群中的执行策略：

• $match阶段优先使用分片键可减少分片扫描
• $lookup操作在mongos上执行
• $group阶段可能产生内存限制问题

// 优化后的聚合示例
db.sales.aggregate([
  { $match: { 
    storeId: { $in: [101, 102] }, // 分片键字段
    date: { $gt: ISODate("2023-01-01") }
  }},
  { $group: {
    _id: "$product",
    total: { $sum: "$amount" }
  }},
  { $sort: { total: -1 } }
])