字符编码处理

字符编码是计算机系统中用于表示和存储文本的基础技术。在Node.js中处理字符编码涉及多种场景，包括文件读写、网络传输、数据转换等，正确理解和使用编码对开发至关重要。

字符编码基础概念

ASCII是最早的字符编码标准，使用7位表示128个字符。随着计算机发展，出现了更多编码方案：

• UTF-8：可变长度编码，兼容ASCII，使用1-4字节表示字符
• UTF-16：使用2或4字节表示字符
• GBK：中文编码标准，兼容GB2312
• ISO-8859-1：西欧语言编码

在Node.js中，Buffer对象是处理二进制数据的核心类，也是字符编码转换的关键。创建Buffer时默认使用UTF-8编码：

const buf = Buffer.from('你好世界', 'utf8');
console.log(buf); // <Buffer e4 bd a0 e5 a5 bd e4 b8 96 e7 95 8c>

Node.js中的编码转换

Node.js提供了多种方式进行编码转换，最常用的是Buffer类的toString方法：

const buf = Buffer.from([0xe4, 0xbd, 0xa0, 0xe5, 0xa5, 0xbd]);
console.log(buf.toString('utf8')); // 输出："你好"

处理不同编码的文件时，需要明确指定编码：

const fs = require('fs');

// 读取GBK编码的文件
fs.readFile('gbk-file.txt', (err, data) => {
  if (err) throw err;
  const text = data.toString('gbk');
  console.log(text);
});

// 写入UTF-16编码的文件
const content = '示例内容';
fs.writeFile('utf16-file.txt', content, 'utf16le', (err) => {
  if (err) throw err;
});

处理HTTP请求中的编码

处理HTTP请求时，经常需要处理不同编码的请求体。以下是处理POST请求的示例：

const http = require('http');
const iconv = require('iconv-lite');

http.createServer((req, res) => {
  if (req.method === 'POST') {
    let body = [];
    req.on('data', (chunk) => {
      body.push(chunk);
    }).on('end', () => {
      body = Buffer.concat(body);
      
      // 假设客户端发送的是GBK编码
      const decodedBody = iconv.decode(body, 'gbk');
      console.log('Received:', decodedBody);
      
      res.end('处理完成');
    });
  }
}).listen(3000);

数据库操作中的编码问题

连接数据库时，编码设置不当会导致乱码。MySQL连接示例：

const mysql = require('mysql');
const connection = mysql.createConnection({
  host: 'localhost',
  user: 'root',
  password: 'password',
  database: 'test',
  charset: 'utf8mb4' // 支持完整的UTF-8，包括emoji
});

connection.query('SELECT * FROM users', (error, results) => {
  if (error) throw error;
  console.log(results);
});

常见编码问题解决方案

问题1：文件乱码

解决方案：明确知道文件编码并使用正确方式读取

const fs = require('fs');
const iconv = require('iconv-lite');

// 读取未知编码文件并尝试转换
const data = fs.readFileSync('unknown-encoding.txt');
const tryEncodings = ['utf8', 'gbk', 'big5', 'shift_jis'];

for (const encoding of tryEncodings) {
  try {
    const text = iconv.decode(data, encoding);
    console.log(`尝试编码 ${encoding}:`, text);
    break;
  } catch (e) {
    continue;
  }
}

问题2：HTTP响应乱码

解决方案：设置正确的Content-Type头部

const http = require('http');

http.createServer((req, res) => {
  res.writeHead(200, {
    'Content-Type': 'text/html; charset=utf-8'
  });
  res.end('<h1>中文内容</h1>');
}).listen(3000);

高级编码转换技巧

使用iconv-lite库处理复杂编码转换：

const iconv = require('iconv-lite');

// GBK转UTF-8
const gbkBuffer = Buffer.from([0xc4, 0xe3, 0xba, 0xc3]); // "你好"的GBK编码
const utf8Text = iconv.decode(gbkBuffer, 'gbk');
console.log(utf8Text); // 输出："你好"

// UTF-8转GBK
const newGbkBuffer = iconv.encode('再见', 'gbk');
console.log(newGbkBuffer); // <Buffer d4 d9 bc fb>

处理Base64编码的字符串：

// 字符串转Base64
const text = '编码示例';
const base64 = Buffer.from(text).toString('base64');
console.log(base64); // "57yW56CB5paH5a2X"

// Base64转字符串
const originalText = Buffer.from(base64, 'base64').toString();
console.log(originalText); // "编码示例"

性能优化建议

处理大量文本数据时，编码转换可能成为性能瓶颈。以下是一些优化建议：

1. 尽量使用流处理大文件
2. 避免在循环中进行编码转换
3. 对已知编码的数据直接使用Buffer操作

流式处理大文件示例：

const fs = require('fs');
const iconv = require('iconv-lite');

// 流式转换大文件编码
fs.createReadStream('big-gbk-file.txt')
  .pipe(iconv.decodeStream('gbk'))
  .pipe(iconv.encodeStream('utf8'))
  .pipe(fs.createWriteStream('big-utf8-file.txt'));

编码检测实践

使用jschardet库检测未知文本的编码：

const jschardet = require('jschardet');
const fs = require('fs');

const data = fs.readFileSync('unknown.txt');
const result = jschardet.detect(data);
console.log('检测到的编码:', result); // 例如: { encoding: 'GBK', confidence: 0.99 }

// 根据检测结果转换编码
const iconv = require('iconv-lite');
const text = iconv.decode(data, result.encoding);
console.log('转换后的文本:', text);

处理特殊字符场景

处理包含BOM(Byte Order Mark)的UTF-8文件：

const fs = require('fs');
const stripBom = require('strip-bom');

const content = fs.readFileSync('with-bom.txt');
const cleanContent = stripBom(content);
console.log(cleanContent.toString());

处理URL编码字符串：

const querystring = require('querystring');

// 解码URL编码字符串
const encodedStr = '%E4%B8%AD%E6%96%87';
const decodedStr = querystring.unescape(encodedStr);
console.log(decodedStr); // "中文"

// 编码字符串为URL格式
const str = '测试';
const encoded = querystring.escape(str);
console.log(encoded); // "%E6%B5%8B%E8%AF%95"

多语言环境下的编码处理

处理多语言混合内容时，UTF-8通常是首选编码。以下是一个多语言字符串处理的示例：

const multiLangText = '中文English日本語한국어';

// 转换为UTF-8字节序列
const utf8Buffer = Buffer.from(multiLangText, 'utf8');
console.log(utf8Buffer);

// 计算不同编码下的字节长度
console.log('UTF-8长度:', Buffer.byteLength(multiLangText, 'utf8'));
console.log('UTF-16长度:', Buffer.byteLength(multiLangText, 'utf16le'));
console.log('GBK长度:', Buffer.byteLength(multiLangText, 'gbk'));

文件编码批量转换

批量转换文件夹内所有文件的编码：

const fs = require('fs');
const path = require('path');
const iconv = require('iconv-lite');

function convertFilesInDir(dir, fromEncoding, toEncoding) {
  fs.readdirSync(dir).forEach(file => {
    const fullPath = path.join(dir, file);
    if (fs.statSync(fullPath).isFile()) {
      try {
        const content = fs.readFileSync(fullPath);
        const converted = iconv.decode(content, fromEncoding);
        fs.writeFileSync(fullPath, iconv.encode(converted, toEncoding));
        console.log(`转换成功: ${file}`);
      } catch (e) {
        console.error(`转换失败 ${file}:`, e.message);
      }
    }
  });
}

// 使用示例：将当前目录下所有文件从GBK转为UTF-8
convertFilesInDir(__dirname, 'gbk', 'utf8');