聚合优化与性能调优

聚合优化与性能调优

MongoDB的聚合框架提供了强大的数据处理能力，但复杂的聚合操作可能导致性能问题。通过合理的优化策略，可以显著提升查询效率，降低资源消耗。

索引优化

合理使用索引是提升聚合性能的基础。针对聚合管道中的$match、$sort和$group阶段，创建适当的索引能大幅减少扫描的文档数量。

// 为常见聚合查询创建复合索引
db.orders.createIndex({ status: 1, orderDate: -1 })

// 执行聚合查询时利用索引
db.orders.aggregate([
  { $match: { status: "completed", orderDate: { $gte: ISODate("2023-01-01") } } },
  { $group: { _id: "$customerId", total: { $sum: "$amount" } } }
])

对于包含多个阶段的聚合管道，应考虑创建覆盖索引。当索引包含所有查询字段时，MongoDB可以直接从索引获取数据，无需访问文档本身。

管道阶段优化

聚合管道的执行顺序直接影响性能。应尽早使用$match和$project减少处理的数据量。

// 不优化的管道
db.sales.aggregate([
  { $project: { item: 1, price: 1 } },
  { $unwind: "$items" },
  { $match: { "items.price": { $gt: 100 } } }
])

// 优化后的管道
db.sales.aggregate([
  { $match: { "items.price": { $gt: 100 } } },  // 先过滤
  { $unwind: "$items" },  // 后展开
  { $project: { item: 1, price: 1 } }  // 最后投影
])

避免在管道中使用会导致内存限制的操作，如大数组的$unwind或大型$group操作。可以使用$limit和$skip分阶段处理数据。

内存管理

MongoDB聚合管道默认有100MB内存限制。对于大数据集，应启用磁盘使用选项：

db.orders.aggregate([
  { $match: { status: "processing" } },
  { $group: { _id: "$productId", count: { $sum: 1 } } }
], { allowDiskUse: true })

对于特别大的聚合操作，考虑使用$facet分阶段处理，或使用Map-Reduce替代复杂的聚合管道。

查询计划分析

使用explain()分析聚合查询的执行计划：

db.orders.aggregate([
  { $match: { status: "shipped" } },
  { $group: { _id: "$region", total: { $sum: "$amount" } } }
]).explain("executionStats")

关注executionStats中的totalDocsExamined和executionTimeMillis指标，识别性能瓶颈。

分片集群优化

在分片集群环境中，聚合查询需要特别考虑：

1. 确保$match阶段包含分片键，避免全分片扫描
2. 对于需要合并数据的操作，考虑使用$merge阶段而非$out
3. 在$lookup阶段避免跨分片大量数据传输

// 使用分片键优化的聚合
db.orders.aggregate([
  { $match: { shardKey: "east", orderDate: { $gte: ISODate("2023-01-01") } } },
  { $lookup: {
      from: "customers",
      localField: "customerId",
      foreignField: "_id",
      as: "customer"
  } }
])

缓存策略

对于频繁执行的聚合查询，考虑使用以下缓存策略：

1. 将结果存储在集合中，设置TTL索引自动过期
2. 使用$merge阶段增量更新聚合结果
3. 对历史数据预计算聚合结果

// 使用$merge缓存聚合结果
db.sales.aggregate([
  { $match: { date: { $gte: ISODate("2023-01-01") } } },
  { $group: { _id: "$product", totalSales: { $sum: "$amount" } } },
  { $merge: { into: "monthly_sales", whenMatched: "replace" } }
])

监控与调优

持续监控聚合查询性能：

1. 使用MongoDB Profiler记录慢查询
2. 设置适当的慢查询阈值
3. 定期审查聚合查询执行计划

// 启用慢查询日志
db.setProfilingLevel(1, { slowms: 100 })

// 查看慢聚合查询
db.system.profile.find({ op: "command", "command.aggregate": { $exists: true } })

高级优化技巧

对于特定场景，可采用更高级的优化技术：

1. 使用$expr和$function实现复杂逻辑
2. 利用$indexStats分析索引使用情况
3. 对时间序列数据使用分桶模式

// 时间序列数据分桶示例
db.weather.aggregate([
  { $match: { timestamp: { $gte: ISODate("2023-01-01") } } },
  { $bucketAuto: {
      groupBy: "$timestamp",
      buckets: 24,
      output: {
        avgTemp: { $avg: "$temperature" },
        maxTemp: { $max: "$temperature" }
      }
  } }
])

性能基准测试

建立性能基准，比较不同优化方案的效果：

1. 使用benchRun进行批量查询测试
2. 记录不同数据量下的执行时间
3. 测试不同索引配置的影响

// 简单的基准测试脚本
const testAggregation = function() {
  const start = new Date()
  db.orders.aggregate([...])
  return new Date() - start
}

const times = []
for (let i = 0; i < 10; i++) {
  times.push(testAggregation())
}
print(`平均执行时间: ${times.reduce((a,b) => a+b, 0)/times.length}ms`)