1.urlib库是Python自带的访问网络的模块。在Python2中和Python3中有区别,最大的差别:
python2中:urlib库分为urlib和urlib2这2个库;
Python3中:统一为urlib模块了,其中urlib.request约等于python2中的urlib库,urlib.parse约等于python2中的urlib2库。

2.urlib.request中常用的有2个方法:urlopen和urlretrieve

打开网址response = urlib.request.urlopen(url=网址)返回值是一个对象,类型是http.client.HTTPResponse
urlib.request.urlretrieve(url=网址,文件路径)可以直接把所给网址处的资源保存到本地。

3.urlib.parse中的:
quote(url)百分号编码;
unquote(url)百分号解码;
urlencode(dict)将字典拼接为参数同时完成百分号编码。

4.response中:read()、geturl()、getheaders()、getcode()、readlines()

response.read()得到的是二进制格式的字符串,二进制字符串和普通字符串可以相互转化。

response.geturl()根据响应内容也可以获取url

response.getheaders()获取头部信息,列表里有元组。dict(response.getheaders())把元组可以转换为字典,取值就方便了。

response.getcode()获取状态码

response.readlines()按行读取,也是二进制数据。

5.打开网址response = urlib.request.urlopen(url=网址)如果报错响应码400``时`,则尝试在url字符串最后面添加一个/
“`再重试。

6.构建请求头(反爬虫的关键一步):

7.总的来说,如果我们在获取请求对象时,不需要过多的参数传递,我么可以直接选择urllib.request.urlopen();如果需要进一步的包装请求,则需要用urllib.request里的urlopen()进行包装处理。

8.当使用代码去爬虫时,如果访问某一地址报错,则通常是没有真正模拟浏览器去访问。此时,请重点检查请求头中的内容。
通常不需要以下2点,有的话易出错:
'Accept-encoding':'gzip, deflate'表示是否是接收压缩后的数据格式
'Content-length':'120'表示接收的数据长度。

9.urllib.request.urlopen()给一个url会去发送请求。缺点是无法定制请求头。

urllib.request.Request()该类用来创建一个请求对象,可以设置请求头。

以上2种却无法满足更高级的需求:设置代理、设置cookie

10.使用handler和opener设置代理服务器然后去请求:

handler = urllib.request.ProxyHandler({'http':'代理IP:port'})

# 创建opener对象,后续使用opener.open()去发送网络请求即可
opener =  urllib.request.build_opener(handler)

后续使用opener.open()去发送网络请求即可

11.XMLEXtensible Markup Lauguage可扩展标记语言的缩写。其设计宗旨就是来传输数据,而非显示数据,格式很类似HTML。不同的是,XML的标签没有被预定义,需要使用者自行定义,HTML不可以自定义标签。目前被用来传输数据的另一种主流格式json.

12.xpath用于在XML中通过路径表达式选取节点的语言。

安装xpath模块:pip3 install lxml
导入模块:from lxml import etree

13.xpath中,有7种类型的节点:元素、属性、文本、命名空间、处理指令、注释、文档(根)节点。爬虫中,常用的有3个:元素、属性、文本。

14.常用的路径表达式:
/表示从根节点选取;
//表示从匹配选择的当前节点选择文档中的节点,而不考虑他们的位置;
.表示选取当前节点;
./表示从当前位置开始向下查找子节点;
..表示选取当前节点的父节点;
@表示按属性选取;
nodename表示选取此节点名的所有子节点;

15.contains(attributeName, str)用来获取属性名中包含有指定字符串的节点;
start-with(attributeName, str)用来获取属性名中以指定字符串开头的节点;

16.获取文本:找到对应的节点后,只需要在后面加上/text()即表示获取文本;

17.获取属性值:找到对应的节点后,只需要在后面加上/属性名即表示获取属性值;例如:/href/class/id

18.xpath使用方式:将HTML文档变成一个对象,然后调用对象的方法去查找指定的节点。
一.本地文件
tree = etree.parse(文件名)

二.网络文件
tree = etree.HTML(网址字符串)

mat = tree.xpath("路径表达式")

注意:这里找到的匹配结果mat总是一个list

文章来源于互联网:【Python爬虫笔记】urlib库1~20

发表评论