多数据库混合使用策略

多数据库混合使用策略

现代应用开发中，单一数据库往往难以满足所有业务场景的需求。混合使用多种数据库类型，结合各自优势，成为提升系统性能和灵活性的有效手段。Koa2作为轻量级Node.js框架，配合适当的数据库驱动和中间件，能够优雅地实现多数据库协同工作。

混合数据库的典型场景

关系型数据库如MySQL适合处理结构化数据和复杂事务，NoSQL如MongoDB擅长处理非结构化数据和水平扩展，Redis则解决高频读写和缓存需求。电商系统中，用户订单数据存储在MySQL保证事务一致性，商品详情使用MongoDB存储灵活的结构，购物车数据通过Redis实现快速读写。

// 典型的多数据库连接配置
const mysql = require('mysql2/promise');
const mongoose = require('mongoose');
const redis = require('redis');

// MySQL连接池
const mysqlPool = mysql.createPool({
  host: 'localhost',
  user: 'root',
  database: 'order_db',
  waitForConnections: true,
  connectionLimit: 10
});

// MongoDB连接
mongoose.connect('mongodb://localhost:27017/product_db', {
  useNewUrlParser: true,
  useUnifiedTopology: true
});

// Redis客户端
const redisClient = redis.createClient(6379);

数据同步与一致性保障

多数据库环境下，数据同步是关键挑战。采用事件驱动架构，通过消息队列实现最终一致性是不错的方案。订单创建后，通过RabbitMQ发布事件，商品服务和购物车服务分别消费事件更新各自数据库。

// 使用RabbitMQ实现数据同步
const amqp = require('amqplib');

async function publishOrderEvent(order) {
  const conn = await amqp.connect('amqp://localhost');
  const channel = await conn.createChannel();
  await channel.assertExchange('order_events', 'fanout', { durable: false });
  
  channel.publish('order_events', '', Buffer.from(JSON.stringify({
    type: 'ORDER_CREATED',
    payload: order
  })));
}

事务处理的解决方案

跨数据库事务无法使用传统ACID事务，需要采用Saga模式。将大事务拆分为多个本地事务，每个事务完成后发布事件，后续事务订阅事件执行。失败时通过补偿事务回滚。

// Saga事务协调器示例
class OrderSaga {
  async createOrder(orderData) {
    try {
      // 步骤1：创建订单（MySQL）
      const order = await mysqlPool.execute(
        'INSERT INTO orders SET ?', [orderData]);
      
      // 步骤2：扣减库存（MongoDB）
      await ProductModel.updateOne(
        { _id: orderData.productId },
        { $inc: { stock: -orderData.quantity } }
      );
      
      // 步骤3：清空购物车（Redis）
      await redisClient.del(`cart:${orderData.userId}`);
      
      return order;
    } catch (error) {
      // 补偿逻辑
      await this.compensate(orderData);
      throw error;
    }
  }
}

查询聚合与性能优化

混合数据库环境下，复杂查询需要聚合多个数据源。API组合模式是常用方案，由服务层分别查询不同数据库后合并结果。对于高频查询，可使用Redis缓存聚合结果。

// 聚合多个数据源的查询示例
router.get('/order-details/:id', async (ctx) => {
  const orderId = ctx.params.id;
  
  // 从MySQL获取订单基础信息
  const [order] = await mysqlPool.execute(
    'SELECT * FROM orders WHERE id = ?', [orderId]);
  
  // 从MongoDB获取商品详情
  const product = await ProductModel.findById(order.productId);
  
  // 从Redis获取用户信息缓存
  const user = await redisClient.get(`user:${order.userId}`);
  
  ctx.body = {
    ...order,
    product,
    user: JSON.parse(user)
  };
});

错误处理与重试机制

网络分区和数据库故障是分布式系统的常态。实现健壮的重试和回退策略至关重要。指数退避算法可避免雪崩效应，断路器模式防止级联失败。

// 带重试机制的数据库操作
async function withRetry(operation, maxRetries = 3) {
  let attempt = 0;
  while (attempt < maxRetries) {
    try {
      return await operation();
    } catch (error) {
      attempt++;
      if (attempt >= maxRetries) throw error;
      
      const delay = Math.pow(2, attempt) * 100;
      await new Promise(resolve => setTimeout(resolve, delay));
    }
  }
}

// 使用示例
router.post('/orders', async (ctx) => {
  await withRetry(async () => {
    const saga = new OrderSaga();
    return await saga.createOrder(ctx.request.body);
  });
});

监控与运维考量

混合数据库系统需要全面的监控方案。Prometheus配合Grafana可收集各数据库性能指标，ELK栈实现日志集中分析。为每个数据库连接设置合理的连接池参数和超时配置。

// 数据库健康检查中间件
async function dbHealthCheck(ctx, next) {
  const checks = [
    mysqlPool.query('SELECT 1').then(() => 'MySQL: OK'),
    mongoose.connection.db.command({ ping: 1 }).then(() => 'MongoDB: OK'),
    redisClient.ping().then(() => 'Redis: OK')
  ];
  
  try {
    const results = await Promise.all(checks);
    ctx.state.dbStatus = results;
    await next();
  } catch (error) {
    ctx.throw(503, `Database unavailable: ${error.message}`);
  }
}

app.use(dbHealthCheck);

安全最佳实践

不同数据库有不同的安全配置要求。MySQL需要SSL连接和严格的权限控制，MongoDB应启用认证和角色授权，Redis务必设置密码保护。敏感数据应加密存储，连接字符串通过环境变量配置。

// 安全配置示例
// config.js
module.exports = {
  mysql: {
    host: process.env.DB_HOST,
    user: process.env.DB_USER,
    password: process.env.DB_PASSWORD,
    ssl: {
      rejectUnauthorized: true,
      ca: fs.readFileSync('./certs/mysql-ca.pem')
    }
  },
  mongo: {
    authSource: 'admin',
    auth: { 
      user: process.env.MONGO_USER,
      password: process.env.MONGO_PASSWORD 
    }
  }
};

架构演进与数据迁移

随着业务发展，可能需要调整数据库策略。双写模式可实现平滑迁移：新数据同时写入新旧数据库，后台任务逐步迁移历史数据，最终切换读操作到新数据库。

// 双写模式实现
class DualWriter {
  constructor(oldDb, newDb) {
    this.oldDb = oldDb;
    this.newDb = newDb;
  }
  
  async create(data) {
    // 并行写入两个数据库
    await Promise.all([
      this.oldDb.create(data),
      this.newDb.create(data)
    ]);
  }
  
  async migrate() {
    // 迁移历史数据
    const records = await this.oldDb.findAll();
    for (const record of records) {
      await this.newDb.create(record.toJSON());
    }
  }
}