UTF-8编码中BOM的检测与删除
- 競 - 火丁笔记所谓BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序（Big/Little Endian），除此以外还可以标识编码（UTF-8/16/32），如果出现在文本中间，则解释为zero width no-break space. 注：Unicode相关知识的详细介绍请参考UTF-8, UTF-16, UTF-32 & BOM.
UTF-8编码中BOM的检测与删除
标签：
Technical
BOM
Shell
UTF-8
| 发表时间：2011-05-14 18:28 | 作者：老王 競
出处：http://huoding.com
所谓BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序（Big/Little Endian），除此以外还可以标识编码（UTF-8/16/32），如果出现在文本中间，则解释为zero width no-break space。
注：Unicode相关知识的详细介绍请参考UTF-8, UTF-16, UTF-32 & BOM。
对于UTF-8/16/32而言，它们名字中的8/16/32指的是编码单位是多少位的，也就是说，它们的编码单位分别是8/16/32位，换算成字节就是1/2/4字节，如果是多字节，就要牵扯到字节序，UTF-8以单字节为编码单位，所以不存在字节序。
UTF-8主要的优点是可以兼容ASCII，但如果使用BOM的话，这个好处就荡然无存了，除此以外，BOM的存在还可能引发一些问题，比如下面错误便都有可能是BOM导致的：
- Shell: #!/bin/sh: No such file or directory
- PHP: Warning: Cannot modify header information – headers already sent
在详细讨论UTF-8编码中BOM的检测与删除问题前，不妨先通过一个例子热热身：
shell> curl -s http://phone.10086.cn/ | head -1 | sed -n l \357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\ //EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$
如上所示，前三个字节分别是357、273、277，这就是八进制的BOM。
shell> curl -s http://phone.10086.cn/ | head -1 | hexdump -C 00000000 ef bb bf 3c 21 44 4f 43 54 59 50 45 20 68 74 6d |...<!DOCTYPE htm| 00000010 6c 20 50 55 42 4c 49 43 20 22 2d 2f 2f 57 33 43 |l PUBLIC "-//W3C| 00000020 2f 2f 44 54 44 20 58 48 54 4d 4c 20 31 2e 30 20 |//DTD XHTML 1.0 | 00000030 54 72 61 6e 73 69 74 69 6f 6e 61 6c 2f 2f 45 4e |Transitional//EN| 00000040 22 20 22 68 74 74 70 3a 2f 2f 77 77 77 2e 77 33 |" "http://www.w3| 00000050 2e 6f 72 67 2f 54 52 2f 78 68 74 6d 6c 31 2f 44 |.org/TR/xhtml1/D| 00000060 54 44 2f 78 68 74 6d 6c 31 2d 74 72 61 6e 73 69 |TD/xhtml1-transi| 00000070 74 69 6f 6e 61 6c 2e 64 74 64 22 3e 0d 0a |tional.dtd">..|
如上所示，前三个字节分别是EF、BB、BF，这就是十六进制的BOM。
注：用到了第三方网站的页面，不能保证例子始终可用。
实际做项目开发时，可能会面对成百上千个文本文件，如果有几个文件混入了BOM，那么很难察觉，如果没有带BOM的UTF-8文本文件例子，可以用vi杜撰几个，相关命令如下：
#设置UTF-8编码 :set fileencoding=utf-8 #添加BOM :set bomb #删除BOM :set nobomb #查询BOM :set bomb?
如何检测UTF-8编码中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path
如何删除UTF-8编码中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'
推荐：如果你使用SVN的话，可以在pre-commit钩子里加上相关代码用以杜绝BOM。
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk '/^[UA]/ {print $2}'`
for FILE in $FILES; do
if $SVNLOOK cat -t "$TXN" "$REPOS" "$FILE" | grep -q $'^\xEF\xBB\xBF'; then
echo "Byte Order Mark be found in $FILE" 1>&2
exit 1
fi
done
本文用到了很多shell命令，篇幅所限，恕不详述，如果有不明白的就请自己搜索吧。
相关 [utf 编码 bom] 推荐：
java UTF-8 和 UTF-8 without BOM工具处理类
- - CSDN博客推荐文章作者：shefron 发表于2014-8-27 15:52:22 原文链接. 阅读：6 评论：0 查看评论.
utf-8编码已经成为主流
- hongleij - 阮一峰的网络日志今天，我在网上看到一张图，据说是来自Google内部的统计——世界上所有网页编码统计图. 第一眼看到这张图，我感到很振奋，utf-8编码终于成为了主流. 可是再看第二眼，顿时就泄气了. 因为份额下降的是ASCII和ISO 8859-1这两类编码，而GB类的中文编码份额几乎保持不变. 那样的话，utf-8编码份额的上升，其实没有多大实际意义，因为ASCII和ISO 8859-1本身就是同utf-8兼容的，转不转化无所谓.
字符编码笔记：ASCII，Unicode和UTF-8
- - 移动开发 - ITeye博客今天中午，我突然想搞清楚Unicode和UTF-8之间的关系，于是就开始在网上查资料. 结果，这个问题比我想象的复杂，从午饭后一直看到晚上9点，才算初步搞清楚. 下面就是我的笔记，主要用来整理自己的思路. 但是，我尽量试图写得通俗易懂，希望能对其他朋友有用. 毕竟，字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得一点字符编码的知识.
关于BOM模型
- - CSDN博客编程语言推荐文章当我们使用浏览器打开一个网页程序时，那么，js系统会自动创建对象，首先创建浏览器对象window,然后再为window对象创建它的子级对象，最后形成一个树状模型，这个就是BOM模型. BOM定义了JavaScript可以进行操作的浏览器的各个功能部件的接口. BOM 主要处理浏览器窗口和框架，不过通常浏览器特定的 JavaScript 扩展都被看做 BOM 的一部分.
JAVA ,SSH中文及其乱码问题的解决 6大配置点 使用UTF-8编码
- - CSDN博客编程语言推荐文章JSP,mysql,tomcat下(基于struts2)中文及其乱码问题的解决 6大配置点 使用UTF-8编码. 目前对遇到J2EE 开发中 中文及其乱码问题，参考网上资料做个总结， 主要是6大配置点:. 1 struts2配置 2 数据库 3 页面 4 jdbc连接 5 tomcat 6.hibernate配置.
扯谈下UTF-8
- - CSDN博客推荐文章本来想翻译这篇文章的（作者是utf-8编码，golang发明者之一）：. 一则翻译起来很痛苦，二则觉得这篇文章有些地方可能说得不是太明白，所以结合其它的一些东东扯谈下utf-8. Unicode就是为每一个字符（各种语言的各种字符）分配一个数字. 所以它实际上是一个表，记录了字符和数字的对应关系. 比如汉字“你”，对应的数字是20320，16进制是4F60.
BOM 和 JavaScript 中的 trim
- - JerryQu 的小站今天遇到一个 IE7 下 JSON.parse 失败的问题. 经过排查发现：服务端某个配置文件编码是 UTF-8 + BOM，输出的字符串最开始包含了 BOM 字符，不是合法的 JSON. IE7 不支持原生 JSON，我们项目中使用的是 json2.js，但解析不了开头有 BOM 字符的 JSON 不是 json2 的错，其他浏览器正常是因为它们忽略了响应正文开头的 BOM.
C++：UTF-8与GB2312之间的互换
- 张家良 - C++博客-首页原创精华区本文章由李木空间 www.limou.net 发布，转载请注明链接. 话不多说，前几天我就遇到了字符之间的麻烦，在网页中出现了乱码，为此我还写了个百度经验，呵呵. 现在就是解决这个问题的时候了，当然用txt自带的“另存为”就可以简单的转换，但是现在讨论的是如何利用c++中的函数来改变的. 下面介绍一下WinAPI的两个函数：WideCharToMultiByte、MultiByteToWideChar.
JSP, C 写入文件添加BOM头实例
- - CSDN博客推荐文章注： 以下的状况不加BOM头也不会有中文乱码问题， 只是演示一下JSP输出文件如何加BOM头. out.write()是字节输出流的方法. out.print()是字符输出流的方法. 作者：oscar999 发表于2012-1-10 10:41:44 原文链接. 阅读：3 评论：0 查看评论.