Node.js文件编码格式的转换的方法
作者：meteoric_cry
项目很多 lua 文件不是 utf-8格式，使用 EditPlus 查看的时候，显示为ASCII。还有的是带BOM的，带BOM倒好处理，之前写过，有一定规律。
ASCII编码就比较蛋疼，通过搜索网上资源，反复测试对比，最终形成下面比较靠谱的方法（有一些 EditPlus显示编码为utf-8但node.js库返回的却是其它编码>_<）
判断修改是否无误，只需要在修改完之后，通过SVN提交，浏览提交列表，双击任意一项待提交文件，如果显示下图所示的对话框，则说明修改成功，其它都会看到中文反而变成乱码了
var fs = require('fs');
var chardet = require('chardet');
var jschardet = require("jschardet");
var encoding = require("encoding");
var path = "lua目录";
function readDirectory(dirPath) {
if (fs.existsSync(dirPath)) {
var files = fs.readdirSync(dirPath);
files.forEach(function (file) {
var filePath = dirPath + "/" + file;
var stats = fs.statSync(filePath);
if (stats.isDirectory()) {
// console.log('/n读取目录：\n', filePath, "\n");
readDirectory(filePath);
} else if (stats.isFile() && /\.lua$/.test(filePath)) {
var buff = fs.readFileSync(filePath);
if (buff.length && buff[0].toString(16).toLowerCase() == "ef" && buff[1].toString(16).toLowerCase() == "bb" && buff[2].toString(16).toLowerCase() == "bf") {
//EF BB BF 239 187 191
console.log('\n发现BOM文件：', filePath, "\n");
buff = buff.slice(3);
fs.writeFile(filePath, buff.toString(), "utf8");
}
// { encoding: 'UTF-8', confidence: 0.99 }
// var charset = chardet.detectFileSync(filePath);
var info = jschardet.detect(buff);
if (info.encoding == "GB2312" || info.encoding == "ascii") {
var resultBuffer = encoding.convert(buff, "UTF-8", info.encoding);
fs.writeFile(filePath, resultBuffer, "utf8");
}
else if (info.encoding != "UTF-8" && chardet.detectFileSync(filePath) != "UTF-8")
{
if (buff.toString().indexOf("\r\n") > -1)
{
var resultBuffer = encoding.convert(buff, "UTF-8", "GBK");
fs.writeFile(filePath, resultBuffer, "utf8");
}
}
}
});
} else {
console.log('Not Found Path : ', dirPath);
}
}
readDirectory(path);
注意上面的判断，第一个明确是 GB2312或者ascii时，直接将相应的编码转为 utf-8。而如果返回是格式，先判断是否有PC下的换行符，如果有则全部将它视为GBK进行处理。
整个思路其实是比较简单，难点在于如果判断文件编码格式。这个真的很难>_<，获取原编码格式后，调用 encoding.convert(buff, 目标编码格式 , 原始编码格式 ); 便可得到所需要的编码。如果有空而且有兴趣，可以下载Notepad++的源码，看它是如何判断文件的编码格式
注：上面的方法所修改的文件，跟 Mac 上需要提交的文件列表是一致的，至少能解决我目前遇到的问题。如果有特殊的，可对上面的代码进行修正。
用到的第三方库：
encoding https://github.com/andris9/encoding
jschardet https://github.com/aadsm/jschardet
node-chardet https://github.com/runk/node-chardet
编码相关的基础知识，可以参考这篇文章： https://www.jb51.net/article/31045.htm
维基百科和其它资料太过专业化了，而且对 ASCII 编码的介绍不多，不再一一列举出来了
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。