两种要领获取网页编码python版

在web开拓的时候我们常常会碰着网页抓取和阐明，各类语言都可以完成这个成果。我喜欢用python实现，因为python提供了许多成熟的模块，可以很利便的实现网页抓取。

可是在抓取进程中会碰着编码的问题，那本日我们来看一下如何判定网页的编码：

网上许多网页的编码名目都纷歧样，概略上是GBK,GB2312，UTF-8等。

我们在获取网页的的数据后，先要对网页的编码举办判定，才气把抓取的内容的编码统一转换为我们可以或许处理惩罚的编码，制止乱码问题的呈现。

下面先容两种判定网页编码的要领：

要领一：利用urllib模块的getparam要领

import urllib
 
fopen1 = urllib.urlopen('http://www.baidu.com').info()
 
fopen2 = urllib.urlopen('http://www.pythontab.com').info()
 
print fopen1.getparam('charset')# baidu
 
print fopen2.getparam('charset')# pythontab

执行功效为：

gbk

None

PS: 呵呵，其实，上面的获取的编码都是不正确的，我们可以本身打开网页查察源代码，发明baidu的是gb2312，而pythontab是utf-8。唉，这个要领确实有点坑爹啊。检测禁绝确、检测不到，它都占了，所以很不靠谱，下面先容一个靠谱的要领。

要领二：利用chardet模块

#假如你的python没有安装chardet模块，你需要首先安装一下chardet判定编码的模块哦
import chardet 
import urllib
#先获取网页内容
data = urllib.urlopen('http://www.pythontab.com').read()
#用chardet举办内容阐明
chardit = chardet.detect(data)
 
data1 = urllib.urlopen('http://www.baidu.com').read()
 
chardit1 = chardet.detect(data1)
 
print chardit['encoding'] # pythontab
 
print chardit1['encoding'] # baidu

执行功效为：

utf-8

gb2312

这两个功效都是正确的哦，列位可以去亲自验证一下~~

总结：第二个要领很精确，在网页编码阐明的时候用python模块阐明内容是最精确的，而利用阐明meta头信息的要领是不太精确的。