大文件处理策略

大文件处理的核心挑战

Node.js处理大文件时面临内存限制和性能瓶颈。由于V8引擎默认内存限制约1.4GB（64位系统），当文件大小超过可用内存时，传统fs.readFile方式会导致进程崩溃。流式处理（Stream）成为关键解决方案，它允许分块处理数据而不需要一次性加载全部内容。

// 反面示例：会导致内存溢出
const fs = require('fs');
fs.readFile('huge-file.txt', (err, data) => {
  if (err) throw err;
  console.log(data.length);
});

流式处理基础方案

Node.js内置四种基本流类型：Readable、Writable、Duplex和Transform。对于大文件处理，主要使用可读流和可写流的管道连接。fs.createReadStream是处理大文件的起点，配合pipe()方法可以实现高效数据传输。

const fs = require('fs');
const readStream = fs.createReadStream('input.mp4');
const writeStream = fs.createWriteStream('output.mp4');

readStream.on('error', (err) => console.error('Read error:', err));
writeStream.on('error', (err) => console.error('Write error:', err));
writeStream.on('finish', () => console.log('File transfer completed'));

readStream.pipe(writeStream);

高性能分块处理策略

对于需要转换数据的场景，Transform流能实现逐块处理。设置合理的highWaterMark（默认16KB）可优化内存使用和吞吐量平衡。处理CSV等结构化大文件时，建议使用专门模块如csv-parser。

const { Transform } = require('stream');
const fs = require('fs');

const uppercaseTransform = new Transform({
  transform(chunk, encoding, callback) {
    this.push(chunk.toString().toUpperCase());
    callback();
  }
});

fs.createReadStream('large-text.txt', { highWaterMark: 64 * 1024 })
  .pipe(uppercaseTransform)
  .pipe(fs.createWriteStream('output.txt'));

内存控制与背压管理

当写入速度低于读取速度时会产生背压问题。Node.js自动处理基础背压，但复杂场景需要手动控制。stream.pipeline替代pipe方法能更好地处理错误和清理资源。

const { pipeline } = require('stream/promises');
const zlib = require('zlib');

async function processLargeFile() {
  try {
    await pipeline(
      fs.createReadStream('huge-log.txt'),
      zlib.createGzip(),
      fs.createWriteStream('logs-archive.gz')
    );
    console.log('Pipeline succeeded');
  } catch (err) {
    console.error('Pipeline failed:', err);
  }
}

并行处理与工作线程

对于CPU密集型的大文件处理，Worker Threads可以避免阻塞事件循环。将文件分片后通过消息传递实现并行处理，特别适合日志分析等场景。

const { Worker, isMainThread, parentPort } = require('worker_threads');
const fs = require('fs');

if (isMainThread) {
  // 主线程分割文件
  const worker = new Worker(__filename, {
    workerData: { chunk: readFileChunk('large-data.bin', 0, 1024*1024) }
  });
  worker.on('message', processed => console.log(processed));
} else {
  // 工作线程处理分片
  processChunk(parentPort.workerData.chunk)
    .then(result => parentPort.postMessage(result));
}

断点续传与进度监控

大文件上传/下载需要实现进度追踪和中断恢复。通过记录已处理的字节位置，结合HTTP Range头部可以实现断点续传功能。

const progressStream = require('progress-stream');
const fs = require('fs');

const progress = progressStream({
  length: fs.statSync('big-file.iso').size,
  time: 100 // 毫秒
});

progress.on('progress', (p) => {
  console.log(`Progress: ${Math.round(p.percentage)}%`);
});

fs.createReadStream('big-file.iso')
  .pipe(progress)
  .pipe(fs.createWriteStream('copy.iso'));

云存储集成方案

对接AWS S3、Azure Blob Storage等云服务时，各平台SDK通常提供分片上传接口。阿里云OSS的Multipart Upload示例：

const OSS = require('ali-oss');
const client = new OSS(/* 配置 */);

async function multipartUpload(filePath) {
  const checkpointFile = './upload.checkpoint';
  try {
    const result = await client.multipartUpload(
      'object-key',
      filePath, 
      {
        checkpoint: checkpointFile,
        progress: (p, cpt) => {
          console.log(`Progress: ${Math.floor(p * 100)}%`);
          fs.writeFileSync(checkpointFile, JSON.stringify(cpt));
        }
      }
    );
    console.log('Upload success:', result);
  } catch (err) {
    console.error('Upload error:', err);
  }
}

二进制文件处理技巧

处理图像、视频等二进制大文件时，避免字符串转换能显著提升性能。使用Buffer直接操作，配合stream.Readable.from处理内存中的大数据。

const { Readable } = require('stream');
function createBinaryStream(binaryData) {
  return Readable.from(binaryData, {
    objectMode: false,
    highWaterMark: 1024 * 512 // 512KB chunks
  });
}

const pngBuffer = fs.readFileSync('huge-image.png');
createBinaryStream(pngBuffer)
  .pipe(processImageTransform())
  .pipe(fs.createWriteStream('optimized.png'));

数据库大字段处理

MongoDB GridFS或PostgreSQL大对象等场景，需要特殊处理策略。GridFS自动将大文件分块存储，通过流接口访问：

const { MongoClient } = require('mongodb');
const client = new MongoClient('mongodb://localhost:27017');

async function streamGridFS() {
  await client.connect();
  const bucket = new GridFSBucket(client.db('video'));
  const downloadStream = bucket.openDownloadStreamByName('movie.mp4');
  downloadStream.pipe(fs.createWriteStream('local-copy.mp4'));
}