python3里gbk编码的问题解决
作者:哈哈的狮子
本文主要介绍了python3里gbk编码的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
在python3有关字符串的处理当中,经常会遇到
'gbk' codec can't encode character '\xa0'
这个问题,原因是在str里面存在着不能正确编码的字符。
通过以下方法即可解决。
import requests from bs4 import BeautifulSoup url = "http://jecvay.com/2015/03/learning-compilers-1.html" url = url.encode('gbk','ignore').decode('utf-8') //忽略 response = requests.get(url) print(response) soup = BeautifulSoup(response.text) print(soup.body.text)
以上方法在必须要记录数据的时候会出现数据不准确问题
python3 字符串无法将 gbk 完全转换为utf8
对于必须存储的情况,将gbk -> 十六进制字节码文本 保存,需要的时候在转换为gbk以便显示。
def string_hex(data): lin = ['%02X' % i for i in data] return "".join(lin).upper() def __ToUTF8(tuple): lists = [] for itme in tuple: tmp = itme if type(itme) == bytes: try: tmp = itme.decode('gbk') except UnicodeDecodeError: tmp = string_hex(itme) lists.append(tmp) return lists
def readFileAll(file): with open(file, 'rb') as f: data = f.read() return data
s = readFileAll('gkb.txt') //gbk 字符串文件 sx = string_hex(s)//转化为16进制文本 print(sx)
到此这篇关于python3里gbk编码的问题解决的文章就介绍到这了,更多相关python3 gbk编码内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!