爬虫框架是很好用的,它可以很好地帮助我们完成爬虫,也更加省力。

Scrapy是由执行的核心引擎(engine)控制,流程是这样的:

1、爬虫引擎ENGINE获得初始请求开始抓取。

2、爬虫引擎ENGINE开始请求调度程序SCHEDULER,并准备对下一次的请求进行抓取。

3、爬虫调度器返回下一个请求给爬虫引擎。

4、引擎请求发送到下载器DOWNLOADER,通过下载中间件下载网络数据。

5、一旦下载器完成页面下载,将下载结果返回给爬虫引擎ENGINE。

6、爬虫引擎ENGINE将下载器DOWNLOADER的响应通过中间件MIDDLEWARES返回给爬虫SPIDERS进行处理。

7、爬虫SPIDERS处理响应,并通过中间件MIDDLEWARES返回处理后的items,以及新的请求给引擎。

8、引擎发送处理后的items到项目管道,然后把处理结果返回给调度器SCHEDULER,调度器计划处理下一个请求抓取。

9、重复该过程(继续步骤1),直到爬取完所有的url请求。


首先要先安装scrapy

pip install scrapy 一般会报错的,所以需要先安装一个 twisted

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到对应版本下载下来,安装一下

在重新安装scrapy就可以正常安装了


先创建一个scrapy项目

scrapy startproject 项目名称

然后 cd 项目名称

开始创建爬虫

scrapy genspider country 域名  –template=crawl          –后面的是继承那个类,也可以不写,域名可以先随意写,用的时候再修改

我们以这个网页为例:https://www.qidian.com/free/all?chanId=21

将域名和爬取的网页url填入

1-1

我们以这个网页的页码为主

发现了这个页码url的规律,url中都有/free/ ,我们先匹配一下这个

1-2

然后将我们发现的规律填入,这个就是页面的匹配规则

1-3

callback表示运行完这一步会调到parse_item的方法继续运行,follow=True表示会在新的url中继续寻找符合规则的url继续爬取

下一步我们就把这个url保存起来,需要在items.py中定义一个变量来保存我们的数据

1-4

然后就可以用这个变量接受我们的数据了,我们这里匹配页面数据的方法也可以用xpath

1-5

现在运行一下我们的爬虫 ,cd到我们的项目文件夹,scrapy crawl 爬虫名称。

运行会发现我们的数据已经获取到了

1-6

密密麻麻的,因为我没有设置日志的优先级,有兴趣的可以自行设置。

可以看到我们获取的数据中出来了许多我们不想要的数据,这个要注意了,因为我们的的url匹配规则中/free/在页面中有很多,这个匹配的时候就选好匹配规则了。

在这里不做处理,下面开始说保存部分。

数据的持久化保存需要我们在创建的项目中pipelines.py中保存,因为图片1-5中的retrue会把数据传到pipelines中,因为要使用pipliens,需要在settings中配置相关的配置选项

1-6

找到这个配置将注释打开即可。然后我们在piplines中写一个比较明显的查看测试代码。

1-7

然后运行一下。发现我们写的“—————————-”已经可以输出了,就说明我们的数据已经可以进行传过来了。

1-8

这时我们就可以在piplines写保存数据的代码了,文本或者数据库。


那么如果我们不需要一次爬取那么多,而只需要其中一部分数据呢?

我们可以自己写爬虫部分。类继承spider

2-1

我们的start_urls可以注释掉了,因为我们重写的Spider中的方法可以帮我们访问页面

2-2

后续操作都和前面部分的一样。下面是项目爬虫中的代码。

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule, Spider

from ..items import JiangjieItem

class CountrySpider(Spider):

    name =’country’

    allowed_domains = [‘www.qidian.com’]

    def start_requests(self):

        url =”https://www.qidian.com/free/all?chanId=21&orderId”

        “=&vip=hidden&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=1&page={0}”

        for i in range(1,11):

            url1 = url.format(i)

            yield scrapy.Request(url1,callback=self.parse_item)

    def parse_item(self, response):

        i = JiangjieItem()

        #i[‘domain_id’] = response.xpath(‘//input[@id=”sid”]/@value’).extract()

        #i[‘name’] = response.xpath(‘//div[@id=”name”]’).extract()

        #i[‘description’] = response.xpath(‘//div[@id=”description”]’).extract()

        i[“url”] = response.url

        print(i[“url”],”================================”)

        return i

在这里也说一下如何实现单线程爬虫的暂停和停止?就是在启动爬虫时添加

-s JOBDIR=生成记录文件的路径

scrapy crawl country -s JOBDIR=生成记录文件的路径

这样就会在爬虫项目中生成一个记录爬取状态的文件,下次重新启动之后就会继续上次暂停的地方的开始爬取,不要强行停止,强行停止是无法继续爬取的。

如果想要在不同处理函数中获取数据,在yield的时候加一个参数

i = TaobaoItem()

i[“url”] = response.url

yield scrapy.Request(i[“url”],meta={‘i’: i},callback=self.parse_item1,dont_filter=True)

在下一个处理函数中

i = response.meta[“i”]

i[“name”] =”#” *30

就可以将将两个函数中的数据整合到一块的了

文章来源于互联网:爬虫框架 之 scrapy

发表评论