使用 chardet 可以方便的实现字符串/文件的编码检测。尤其是中文网页,有的页面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些页面,知道网页编码很重要的。
chardet的安装
pip install chardet
chardet实例
import urllib
import chardet
def detectEncoding(self,website):
self.encoding=’gbk’
response = urllib.request.urlopen(website).read()
json=chardet.detect(response)
if json[“encoding”].find(‘utf-8’) >= 0 :
self.encoding = ‘utf-8’
- 本文固定链接: http://jingyan.idoubi.net/822.html
- 转载请注明: 游戏创作者大陆 于 逗分享开发经验 发表