当你忙完一天的工作,打开豆瓣,想要找一部2010年以后,评分在9分以上的科幻片来看时,我们通常是怎么做的呢?最快的办法也许是在百度或者知乎里搜索一下口碑好的科幻片,一个个打开其豆瓣链接,然后发现有的也许已经看过了,有的也许评分不算特别高,有的也许太老了,折腾半个小时以后,也许好不容易找到一部自己觉得不错的想看,才发现,网上居然找不到资源……我想,此时你的心情也许是崩溃的。

“要是有一个为自己量身打造的影库该多好。”

同样的问题还有很多,比如我们想自动知道车市的变化情况、房产的变化情况,甚至股市、区块链市场的变化情况和跟家乡有关的微博新闻等等,我们有各种各样的想要搜集的信息,这也就是现在最火的词“大数据”最初最朴素的想法和需求。想到大数据,似乎这是一个唬人的词,其实其背后的各种原理和工具都很简单,如果能用大数据的一些工具用于我们的工作和生活,那将极大地简化我们的工作。

那么如何获取网络上的各种信息来搭建我们的私人数据库呢?这就需要一个工具“爬虫(Crawler)”。

什么是爬虫呢?百度百科的解释很简单:

网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

说白了,网络爬虫就是用来抓取网页的技术和工具。

想想就感觉很复杂,会不会很麻烦呢?其实一点都不麻烦,最简单的爬虫只需要不到10行代码就可以搞定。

下面我们以当前热播的《猩球崛起3》为例,来一起实现一个最简单的爬虫去抓取其标题和评分信息吧。

在实际进行抓取前,我们需要一些必备的基础知识,都很简单,可以通过下面几篇文章了解一下。

  1. 安装Python环境,会使用Python命令行即可,可以参考廖雪峰的“安装Python”一文。
  2. 了解HTML的基本信息,知道每一个网页都是由HTML来描述的,以及HTML文档的基本结构是什么就好啦,可以参考w3school的HTML简介。

一个基本的爬虫至少包括三个步骤:抓取、分析和保存。

首先是抓取网页内容

经常上网的我们都知道,每一个网页都是有一个url地址的,比如www.baidu.com, www.taobao.com等。而每个网页展现给我们的内容,都是用HTML语言描述的,也就是说,每个网页看着无论多么花哨,其本质上都是html,用chrome浏览器打开每个网页后,右键选择查看源码,就可以看到这个网页的HTML文档的内容了,当然你也可以右键选择“检查元素”来查看网页内容和HTML代码的对应关系。

网页和html.png

那么在python中如何获取一个网页的html页面呢?很简单,Python为我们提供了强大的urllib2库。

抓网页.png

这样,仅需要2行代码,我们就拿到了这个网页的html文档,下面要做的,就是从这个html文档中,提取我们想要的内容啦。

其次是对网页内容进行分析,得到自己想要的信息。

其实html文档没什么特别的,就和我们在记事本中写的文章一样,只是具有很规整的格式罢了,如下图所示,我们想要拿到电影的打分信息,分析其html文档,我们发现,评分信息是被class为”rating_self clearfix”的div所包含的内容,如下图所示,而且class叫这个名字的div就这么两个,那就简单啦,只要我们从html中把这个标签中的内容提取出来,就能拿到我们想要的评分啦。

Snip20170921_4.png

怎么拿到具体的评分值呢?这里有很多办法,下面我们用Python中一个非常好用的库叫BeautifulSoup,下面我们就用BeautifulSoup来解析这个html文档,拿到我们想要的豆瓣评分。BeautifulSoup每一步的意义和使用方法可以直接搜索和查看其官方文档,非常简单,这里就不再赘述。

Screen Shot 2017-09-21 at 19.41.13.png

这样我们就拿到豆瓣评分啦。

最后,分析的结果的保存。

爬取的结果,最终想要让我们看,一定要把结果保存下来,并以一个自己喜欢的形式展示给自己。我们可以把爬下来的数据转换成一个网页,或者转换成一个EXCEL表格,或者最简单的写成普通的记事本文件,都可以。

Screen Shot 2017-09-21 at 19.42.05.png

最后附上整个过程的代码,只需要不到10行代码,就完成了我们的需求,后面我们可以根据自己实际的需求,给这最简单的代码加上其他功能,批量地爬取豆瓣上的所有电影页面,然后做成一个完整的网站来展示给自己自己最终想要的结果。

相信对爬虫技术有了一个直观感受的你,可以尝试用爬虫来完成自己多年来一直没机会实现的奇思妙想了吧?比如爬知乎、爬财经网站、爬汽车之家、爬各种你想爬的信息~

文章来源于互联网:[人人都该懂的技术系列]用爬虫简化你的生活

发表评论