Requests是什么?

我个人理解的是,Requests是一个基于python的urllib模块的封装包。对比与python自带的urllib模块,requests的代码理解起来更人性化、更流畅(不过这个特点慢慢被urllib3赶上了)。

我可以用Requests做什么?

见名释义,Requests就是用来请求网络资源用的,例如访问网址,下载视频等。早期很多python爬虫都是基于Requests来实现的,我曾经用Requests做过多个爬虫以及刷投票的爬虫,本文就带大家做一个最简单的爬虫,从0学会使用Requests。这里着重强调一下:我反对大家用爬虫去做任何违法的事,爬虫写得爽,监狱进得早(严肃脸)。

为什么说是早期的爬虫呢?因为现在python的爬虫工具越来越多、越来越强大,Requests需要大量的代码才能实现的功能,对于scapy这种爬虫工具来说不过几行代码的事,所以大家慢慢也不再使用Requests做爬虫。但这个不碍于你学习Requests,并领略他的有趣之处。

安装Requests

pip install requests 

这里注意不要漏了Requests最后的s,因为Request是另外一个库

检验是否安装成功

打开CMD,输入python,随后输入

import requests

按回车,如果没有报错信息,则代表已经安装好了

一般报错信息为:ImportError: No module named requests


Requests的基础用法

访问一个网页

r = requests.get('https://www.jianshu.com/p/a82e76881121')
print (r.content) #打印获得网页内容。你也可以使用r.text的方式

一般我们使用Requests的时候,只会用到get或者post两种方式。
简单的科普一下:get的请求方式一般是不附带请求表单。如果进行请求直接附带在链接后类似http://x.x.com?id=1
post的方式一般是附带请求表单,不会展示在链接后
附带w3school-get以及post的比较

返回的信息

403代表的是禁止访问。我们可以通过r.status_code来看返回的访问码

这个码有什么用呢?以前我也觉得没啥用,当有次我在连续爬取某个网站的内容并保存在本地,执行完后,我随机抽看第1000+个的文件,发现后续保存的内容都有问题,因为中途爬虫被识别出来了,后续保存的信息都是错误的。之后我加入了code的判断->本次爬取获得的code跟上次获得的不一样并且不是200,代表爬虫不再适用,就会停止爬虫并报警。

print (r.status_code)
#附带基本的code含义
#200 正常响应
#302 重定向
#403 禁止访问
#404 没有这个网址
#500 服务器没有响应
#502 服务器没有响应

现在一般的网站都有防爬虫机制,所以我们需要给爬虫制作一个user agent,来伪装成一个浏览器

我有一个文件保存了1000+个不同浏览器的user agent,但简书不支持上传附件。为什么要这么多?以后你就知道了

userAgent =  "Mozilla/5.0 (Linux; Android 6.0; PLK-AL10 Build/HONORPLK-AL10; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043305 Safari/537.36 MicroMessenger/6.5.6.1020 NetType/WIFI Language/zh_CN"
headers = {
  'User-Agent' : userAgent #伪装成火狐的手机浏览器
}
r = requests.get('https://www.jianshu.com/p/a82e76881121',headers = headers)
print (r.content)
正确获得了网页内容

headers是告诉服务器你是谁,你从什么网页过来,你做了什么等,headers的内容不单只有一个user-agent,可以通过在Chrome”右键”->“检查”->”网络”,点击某一个请求来看当前的headers是什么,然后把程序请求的headers变成浏览器的即可


怎样把获得的内容提取出你需要的信息,一般get获得的方式都是以网页内容为主,你可以使用正则匹配,或者多次切割字符串的方式来获取。如果获取的是json数据,那就可以直接用访问json的方式获取。

一般值得爬的网站,类似小说网等,他们的链接都是有一定的规律的,于是我们通过自动化去生成链接的方式,让程序不断执行上面的get方式,然后保存获得的。

向网站提交表单(POST)

#并不能正确登录,只是做一个简单的例子
#data对象是你要提交的数据,key和value
r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'}

其实post和get在Requests上区别并不大,所以并不细讲post。什么时候用get,什么时候用post不是取决于你,而是取决于服务器对当前链接是采用get还是post,利用查看header的方式可获得请求的方式。


接下来我爬取来展示一下整个流程,以及讲解一下里面的注意地方

打开网站
找到链接间的规律

发现下一章地址就是当前章的地址加1。另外,这个网站并没有做防爬限制,所以大家可以很开心的开始爬,是的就这么简单就做好一个爬虫了。

import requests, time
url = 'http://www.xbiquge.la/1/1693/%d.html' #把链接不变的地方构造出来,%d代表的是把这个位置预留出来,之后填补数字进去
thisHerf  = 1269354 #当前页面的地址
filename = '第%d章.txt' #保存成文本,也是预留一个位置之后填补数字
n = 1 #用来保存文章的时候填充章节数
while 1:
    r = request.get(url%thisHerf) #获取对应页面内容,%代表的是把数字放到%d这个位置。
    thisHerf += 1 #下一个页面的地址 # 当前地址加1,获取下一个地址
     with open (filename % n, 'w') as f: #把获取到的网页内容保存成txt文件。
         f.write(r.content) #这里有一个字符问题,大家可以自行研究一下
     n += 1 #下一个章节数
     time.sleep(3) #停止3秒再爬下一章,做个好人

除了%d之外,还有%s,%c等,具体大家可以百度一下占位符即可。
with open里的参数给大家一个参考:

r :只能读已存在的文件;
r+:可读可写,不会创建不存在的文件。从顶部开始写,会覆盖之前此位置的内容; 
w+ :可读可写,如果文件存在,则覆盖整个文件不存在则创建; 
w :只能写,覆盖整个文件,不存在则创建; 
a: 只能写,从文件底部添加内容,不存在则创建; 
a+: 可读可写,从文件顶部读取内容,从文件底部添加内容,不存在则创建

well,本来不想告诉大家的,其实这个脚本是有问题的XD。问题如下:

  1. 保存这种网页编码本来就是比较反人类,正常人类无法阅读,需要二次处理字符问题。
    2.到了一定的章节数,网址其实变化了,跳跃了一大段(小说网站通常都这样),不再连续了。也就是说,后续下载的都是错的文章
    那我们那要怎么解决这些问题呢?请保持好奇心,继续往下看

思路

一、文章转码,正确显示文章
二、找到“下一章”这3个字的标签,获取它对应的链接

不再是构建链接的方式,而是获取下一章链接的方式

一、文章转码,正确显示文章

s = str(r.content, 'utf8')
print (s)
加这句前:
服用前
加了之后:
服用后

二、找到“下一章”这3个字的标签,获取它对应的链接

1.找到“下一章”的一种方法

可以通过切割的方式。所谓切割方式,就是根据你想要的字符,在出现该字符的地方切一刀(切多少刀可以由你自己决定)。随后根据获得的内容继续切割,直到获得所需要的字符串。

keyWord = '下一章'
#方法一:切割大法,只保留把“下一章”前的内容
s1 = s.split('下一章')[0] #简单理解split的作用是将“下一章”作为切割点,把字符串切成两块,0代表只保留第一块,1代表第二块
print (s1)#看看有啥

展示末尾部分截图

切割后的结果末尾

很明显了,就是把“章节目录”后的那部分切割好就行了

#这里我一步到位切割了
nextHref = s1.split('章节目录')[1].split('href="')[1].split('">')[0]  
print (nextHref)
# 结果输出:/1/1693/1269356.html

split获得的是列表,所以采用[0]、[1]的方式提取。我们这里没有指定切割多少刀,默认只要出现”章节目录”的地方都切一刀,所以split有时候会获得多个元素。附上split的用法

2.找“下一章”的另一种方法

用正则匹配的方式定位并获取对应的内容

keyWord = '下一章'
#方法一:匹配大法,直接寻找“下一章”的标签
import re
#compile里的是正则表达式,具体语法百度就好.
nextHref = re.compile(r'(? → 下一章)')
l = nextHref.findall(s) #用findall的方式,得到的是列表形式
print (nextHref) # ['/1/1693/1269356.html', '/1/1693/1269356.html']
#提取出来就可以用了

python的re模块不支持变长的后发断言,?下一章)效果更佳

整合代码

等等,为什么没有提取正文内容的讲解0.0?因为提取正文内容这部分是与提取“下一章”链接的用法是一致的。这里我建议大家直接使用split就可以了
其实不提取也不影响阅读,要更个性化的用户体验就需要自己动手了XD

没有提取正文,直接展示整个文章
import requests, time, re

# host用于跟我们获得下一章的链接组装成正确的下一章链接
host = 'http://www.xbiquge.la/' 
targetHref = 'http://www.xbiquge.la/1/1693/1269354.html'# 第一章的地址

# 保存成文本,也是预留一个位置之后填补数字
filename = '第%d章.txt' 
n = 1 # 用来保存文章的时候填充章节数

while 1:
    r = requests.get(targetHref) # 获取对应页面内容,%代表的是把数字放到%d这个位置。
    # 对文章内容进行转码
    s = str(r.content, 'utf8')

    # 找到下一章的方法一
    #s1 = s.split('下一章')[0]
    #nextHref = s1.split('章节目录')[1].split('href="')[1].split('">')[0]  
    
    # 找到下一章的方法二
    nextHrefRgx = re.compile(r'(? → 下一章)')
    l = nextHrefRgx.findall(s) #用findall的方式,得到的是列表形式
    # 组装下一章的链接并赋值给targetHref
    targetHref = host + l[0]

    with open (filename % n, 'w') as f: #把获取到的网页内容保存成txt文件。
        f.write(s) # 把已转码的内容写入
    n += 1 #下一个章节数
    time.sleep(3) #停止3秒再爬下一章,做个好人
  
部分结果截图

代码还有个地方没有完善,没有跳出这个循环的break语句。大家可以自行思考一下如何控制跳出循环


That‘s all,Thank you for reading it

文章来源于互联网:真·从零开始使用Requests制作简单爬虫

发表评论