python3.x读写文件及BOM处理详解
作者:梯阅线条
1 python3.x读写文件及BOM处理
1.1 python3.x读取和写入Unicode
python3.x的字符串为unicode,可以调用encode()方法手动将字符串编码为字节串(原始字节),也可以通过文件输入输出自动编码。
1.1.1 手动编码
描述
python3.x的字符串通过encode(编码名)方法,将字符串转换为原始字节串。
示例
>>> s='梯' # python3.x 字符串 str 对应 unicode >>> s,type(s) ('梯', <class 'str'>) >>> s_gbk=s.encode('gbk') >>> s_utf8=s.encode('utf-8') # 1个汉字,gbk编码为2个字节, utf-8 编码为3个字节 # 2位16进制 占1个字节 >>> s_gbk,s_utf8 (b'\xcc\xdd', b'\xe6\xa2\xaf') >>> len(s_gbk),len(s_utf8) (2, 3)
1.1.2 写文件编码
描述
open写文件时,指定的encoding为文件保存到磁盘时的编码格式。
示例
# 写文件时 encoding 表示文件存储到磁盘的编码格式 >>> open('gbk.txt','w',encoding='gbk').write('梯') 1 >>> open('utf8.txt','w',encoding='utf-8').write('梯') 1 # 'rb' 二进制模式,读取文件内容为bytes类型,为文件实际存储的字节串 # gbk编码,1个中文占2个字节 >>> open('gbk.txt','rb').read() b'\xcc\xdd' # utf-8编码,1个中文占3个字节 >>> open('utf8.txt','rb').read() b'\xe6\xa2\xaf'
1.1.3 读文件编码
描述
open读文件时,指定的encoding为解释器读取文件字节串解码使用的编码格式。
示例
# 读文件时 encoding 表示解释器读取文件字节串解码使用的编码格式 # 需与文件存储时编码格式相同 >>> open('gbk.txt','r',encoding='gbk').read() '梯' >>> open('utf8.txt','r',encoding='utf-8').read() '梯' >>> dgbk=open('gbk.txt','rb').read();dgbk b'\xcc\xdd' >>> dutf8=open('utf8.txt','rb').read();dutf8 b'\xe6\xa2\xaf' # 二进制模式,读取文件内容后进行手动解码 # python3.x 解释器默认编码为utf-8 >>> dgbk.decode('gbk');dutf8.decode() '梯' '梯'
1.2 python读写文件默认编码
1.2.1 locale.getpreferredencoding()
用法
import locale locale.getpreferredencoding()
描述
python的locale**.getpreferredencoding()**用于获取用户的首选编码。
入参为False,表示不使用任何额外设置。
入参为True或空,表示考虑当前语言环境设置。
用户的首选编码用于python的open()函数读写文件的默认编码。
示例
>>> import locale >>> locale.getpreferredencoding() 'cp936' >>> locale.getpreferredencoding(False) 'cp936'
1.2.2 获取梯的编码字节串
>>> '梯'.encode() b'\xe6\xa2\xaf' >>> '梯'.encode('utf-8') b'\xe6\xa2\xaf' >>> '梯'.encode('gbk') b'\xcc\xdd' >>> '梯'.encode('cp936') b'\xcc\xdd' # utf-16 带小端字节序 >>> '梯'.encode('utf-16') b'\xff\xfe\xafh' # utf-16 忽略小端字节序(little BOM) >>> '梯'.encode('utf-16-le') b'\xafh'
1.2.3 python3.x读写文件默认编码
描述
python3.x通过文本模式的open()打开文件,
encoding未传时,默认编码取locale.getpreferredencoding(False)。
open().encoding获取文件对象的编码方式。
open()打开文件时指定encoding编码格式。
示例
>>> fpath='temp.txt' # open()函数encoding未传时默认编码取 locale.getpreferredencoding(False) # 'r+' 文本模式打开文件 >>> f=open(fpath,'r+') # f.encoding 获取文件对象的编码方式 >>> f.encoding 'cp936' # 文件指针会停留在文件结尾 >>> f.write('梯') 1 # 文件指针移动到开头 >>> f.seek(0) 0 >>> f.read() '梯' >>> f.close() # 'rb' 二进制模式直接读取文件的字节串 # 与 cp936 编码一致 >>> open(fpath,'rb').read() b'\xcc\xdd' # 通过 相同的编码 cp936或gbk 读取文件内容 >>> open(fpath,'r',encoding='cp936').read() '梯' >>> open(fpath,'r',encoding='gbk').read() '梯' >>> open(fpath,'r',encoding='utf-8').read() Traceback (most recent call last): File "<pyshell#24>", line 1, in <module> open(fpath,'r',encoding='utf-8').read() File "D:\python3\lib\codecs.py", line 322, in decode (result, consumed) = self._buffer_decode(data, self.errors, final) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 0: invalid continuation byte
1.2.4 python2.x读写文件默认编码
描述
python2.x通过文本模式的open()打开文件,没有encoding入参,
写文件时默认编码取locale.getpreferredencoding(False),
读文件时直接读取字节串。
python2.x通过codecs.open(encoding)指定文件编码格式。
如果要向文件写入write中文,需用Unicode字符串,通过u’梯’进行创建后写入。
示例
# python2.x内置open()函数没有encoding入参,无法指定编码方法 >>> fpath='temp.txt' >>> f=open(fpath,'w') >>> f.write('a梯') >>> f.close() >>> open(fpath,'r').read() 'a\xcc\xdd' # 'rb' 二进制模式直接读取文件的字节串 # 与 cp936 编码一致 >>> open(fpath,'rb').read() 'a\xcc\xdd' >>> len('a梯') 3 # python2.x通过 codecs.open(encoding)指定编码 >>> import codecs >>> f=codecs.open(fpath,'w','utf-8') # 写入汉字时需要通过u'汉字'创建Unicode字符串 # 因为python2.x解释器默认编码为ASCII码, # '梯'字符串str用操作系统cp936自动编码为 '\xcc\xdd' # 解释器需要对其解码为Unicode,解码时 \xcc 不在ASCII范围内,会报错 >>> f.write(u'梯') >>> f.close() # 'rb' 二进制模式直接读取文件的字节串 # 与 utf-8 编码一致 >>> codecs.open(fpath,'rb').read() '\xe6\xa2\xaf'
1.3 python3.x处理BOM
描述
文件开始的字节顺序标记(BOM,Byte Order Mark)。
UTF-8的BOM:’\xef\xbb\xbf’,对应Unicode:'\ufeff’。
UTF-16的小端BOM:’ \xff\xfe’ 对应Unicode: ‘\ufeff’。
NO | 写文件 | 文件开头带BOM读文件 | |
---|---|---|---|
1 | UTF-8 | 文件开头不添加BOM | 显示BOM的Unicode |
2 | UTF-8-sig | 文件开头添加BOM | 不显示BOM |
3 | UTF-16 | 文件开头默认添加当前系统字节序BOM | 不显示BOM |
4 | UTF-16-le | 文件开头不添加BOM | 显示BOM的Unicode |
示例
>>> fpath='utf8bom.txt' # encoding='utf-8-sig', 写文件时,会在文件开头加入 字节顺序标记 >>> open(fpath,'w',encoding='utf-8-sig').write('梯') 1 >>> open(fpath,'rb').read() b'\xef\xbb\xbf\xe6\xa2\xaf' >>> open(fpath,'r',encoding='utf-8').read() '\ufeff梯' # encoding='utf-8-sig', 读文件时,忽略字节顺序标记 >>> open(fpath,'r',encoding='utf-8-sig').read() '梯' >>> import sys # sys.byteorder 当前系统的字节序, 'little'(小端)或 'big'(大端) >>> sys.byteorder 'little' # 写文件时,encoding='utf-16' ,默认添加当前系统字节序(little) >>> open(fpath,'w',encoding='utf-16').write('梯') 1 # 二进制模式,读取实际存放字节串,utf-16小端字节序为 \xff\xfe >>> open(fpath,'rb').read() b'\xff\xfe\xafh' >>> open(fpath,'r',encoding='utf-16').read() '梯' # encoding='utf-16-le',读文件时,忽略字节顺序标记 >>> open(fpath,'r',encoding='utf-16-le').read() '\ufeff梯' # encoding='utf-16-le',写文件时,不添加BOM >>> open(fpath,'w',encoding='utf-16-le').write('梯') 1 >>> open(fpath,'rb').read() b'\xafh' >>> open(fpath,'r',encoding='utf-16-le').read() '梯' # encoding='utf-16-le',写文件后,不能用 utf-16 读取 >>> open(fpath,'r',encoding='utf-16').read() Traceback (most recent call last): File "<pyshell#102>", line 1, in <module> open(fpath,'r',encoding='utf-16').read() File "D:\python3\lib\codecs.py", line 322, in decode (result, consumed) = self._buffer_decode(data, self.errors, final) File "D:\python3\lib\encodings\utf_16.py", line 67, in _buffer_decode raise UnicodeError("UTF-16 stream does not start with BOM") UnicodeError: UTF-16 stream does not start with BOM
到此这篇关于python3.x读写文件及BOM处理详解的文章就介绍到这了,更多相关python3.x读写文件及BOM处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!