爬虫的架构是什么样的呢?当我们想要设计一个我们适用于现实的爬虫时,应该考虑到什么呢?接下来将会得到答案!

来自慕课网python爬虫课程

来自慕课网python爬虫课程

上图为一个简单爬虫的架构,完成这个简单的爬虫需要包括如图几个方面:

(1)爬虫调度端:负责启动、停止、监视爬虫的运行情况

(2)URL管理器:管理即将要下载和已经下载的url资源

(3)网页下载器:根据URL管理器所提供的url资源,对其中的网页内容下载,并将下载获得内容一字符串的形式进行保存

(4)网页解析器:根据网页下载器所下载的内容,有针对的进行内容提取,一般是对返回的html代码部分进行解析,取出网页中的(带有逻辑等)信息(价值信息、新的url资源)。

(5)价值数据:获得网页解析过后的有用信息

文章来源于互联网:python爬虫学习(1)——简单爬虫架构

发表评论