前几天在大神指导下动手写了年轻人第一个算得上程序的程序。
一个豆瓣电影 TOP250 爬虫
完整代码已经开源,放在我的 GitHub 上

Mindnode

网络爬虫

什么是网络爬虫?

用人话讲,爬虫就是一个从互联网上抓取信息的程序,比如我们需要一些电影信息,可以上新闻网站,或者我们需要一些新闻,可以上新闻网站,当然我们最多的是使用搜索引擎,关于搜索引擎后边会讲到。
当然这只在获取少量信息的时候管用,如果我想要找的有几千几万条的信息呢,这时候靠人工就显得太费时了。当我们想获取数据,只要网络上有的,都可以通过爬虫程序去抓取,所以爬虫就是一种获取数据的程序。

当我们上网的时候,我们在干什么?

下边以我们经常用来测试网络的一个网站为例
当我们在浏览器中输入baidu.com按下回车之后发生了什么?

  1. 浏览器会自动帮我们补齐https://www.baidu.com
  2. 浏览器首先向 DNS 服务器请求了baidu.com对应的 IP 地址;
  3. 浏览器得到 IP 地址之后,就会向这个地址发送一个 HTTP 请求;
  4. 然后从百度的服务器端请求到首页的 HTML 源码;
  5. 最后通过浏览器引擎解析源码,再次向服务器发请求得到里面引用的 Javascript、CSS、图片啊一些资源,最后就得到了百度首页。

爬虫要干什么?

大多数情况下,爬虫其实就是在模拟上面说的过程。
当然爬虫不会全部模拟一遍,而是会选择合适的步骤模拟。
比如大多数情况下只需要请求 HTML 源码,并不需要请求 CSS 和 Javascript 。在得到源码后,就像浏览器会解析 HTML 源码一样,爬虫也会解析 HTML,然后筛选出我们想要的内容保存。

爬虫在哪儿?

  • 最大的爬虫是什么?
    当然是 Goolge,百度等等这些搜索引擎,当然这种说法只是通俗意义上的,搜索引擎大致分为下载系统、分析系统、索引系统和查询系统,爬虫是搜索引擎的第一道门槛。

  • 再譬如,据说有几亿人在用的新闻客户端,没错,就是今日头条,其就是依靠爬虫,在网易新闻、腾讯新闻、搜狐新闻和其他新闻网站上爬取新闻数据,虽然这种做法有点不道德吧…

爬虫有什么用?

  • 第一个例子是一个另类的资讯 APP——即刻,它不制造新闻,也不同今日头条无节操的从友商那拿东西,他完全可以自己定制或是选择别人已经制作好的话题来进行追踪,比如什么电脑病毒在全世界爆发了,像这些天闹得比较火热的比特币病毒,比如宫崎骏新作的最新消息啦,比如谁谁谁男神女神点赞微博了,又比如哪部电视剧更新了,这么多的提醒如果完全靠人工编辑审核那不得累死,估计即刻都活不过几个月,但是这些提醒大多数靠的并不是人工,而是网络爬虫,这些爬虫从社交网络,比如微博,从视频网站,从其他地方抓取想要的信息然后推送。

  • 第二个例子也是一个 App —— Price Tag,一个 IOS 上的查价 App,也是一位在杭州的独立开发者 61 开发的,他就利用了爬虫在 App Store 服务器中爬取应用的价格,然后将 App 的价格用图表的形式直观的显示出来。当然你也会说爬取到价格之后有什么用呢?说的直白点,如何变现呢?还是以 Price Tag 为例,61 在两方面进行变现,一个是通过 App 的内购,还有一个是通过和 Apple 合作,获取联盟令牌,这样用户在 Price Tag 中查询点击进行的购买行为,61 就能分到 7% 的佣金。

Python

什么是 Python?

从我的感官来说,Python 是一种类似于我们学过的 C 和 C++ 的高级语言,但其语法比 C 和 C++ 简单的多的多。
同时,Python 更多的又被叫做脚本语言。
Python 被大量应用于 WEB 开发中,比如在国内不存在的网站 YouTuBe、Instagram,还有小资文艺聚集地豆瓣、知乎、果壳,这些都是完全用 Python 开发的,为什么呢?

因为文艺青年都穷,所有东西都得一个人搞,于是就只能用 Python 了。
——这是在知乎上看到的一个回答

当然这不只是说笑,从这个回答也可以看出 Python 的强悍,因为它的各个模块都是现成的 ,拿过来就能用,不用像 C++ 那样要用到一个模块还得自己去写。

为什么选择 Python?

  • 其一:语法简单
    举个实例,完成一个最简单的程序,显示请输入你的名字然后从键盘输入名字最后显示Hello,名字

    用 C 语言写

    #include`
    #include`
    int main()
    {
    char name[20];
    printf(“Please enter U name:”);
    scanf(“%s”,name);
    printf(“Hello,%s”,name);
    }
    

    用 C++ 写

    #include
    #include
    using namespace std;
    int main()
    {
    char name[20];
    cout>name;
    cout

    用 Python 写

    print('Hello,',input('Please enter U name:'))
    

    结果显而易见

  • 其二:Python 有成熟的爬虫脚本语言,正因为是脚本语言,编写调试方便,而且有多线程更加高效。

豆瓣电影 TOP250 实战

搭建开发环境

我在这里装了 Python 3.6
接着再需要安装两个第三方库,Requests 和 BeautifulSoup
Requests 用于处理 HTTP 请求;
BeautifulSoup 用来解析 HTML 源码;
这两个库在接下来会用到。

分析 HTML 结构

开发环境搭建完成,编写爬虫之前,我们需要先思考爬虫需要干什么?目标网站有什么特点。
今天我们的目标是把豆瓣电影 TOP250网站上所有的电影名称,上映年份,评分,拍摄地区和电影简介爬下来。
先打开豆瓣电影 TOP250,检查分析网站源码。

OK,在 HTML 源码中我们可以得到一些信息了。

  • 每页有25条电影,共有10页。
  • 电影列表在页面上的位置为一个class属性为grid_viewol标签中。
  • 每条电影信息放在这个ol标签的一个li标签里。
  • 电影名称放在一个class属性为titlespan标签中。
  • 上映年份,拍摄地区放在一个class属性为bddiv标签下的一个p标签中。
  • 评分放在一个class属性为stardiv标签下的一个 class 属性为rating_numspan标签中。

下载网页源码

import requests as r
url = 'https://movie.douban.com/top250'
html = r.get(url).text
print(html)

只需要三句,最后一句打印出来用来判断下载源码是否成功。
网页源码已经在控制台打印出来。

解析网页

OK,当我们拿到网页源码之后,就需要解析 HTML 源码了。
这里,我们使用 BeautifulSoup 来搞定这件事。

import requests as r
from bs4 import BeautifulSoup as bs
url = 'https://movie.douban.com/top250'
html = r.get(url).text
items = bs(html).find_all('div','item')
for item in items:
    movie_name = item.find('span','title').string
    movie_rating = item.find('span','rating_num').string
    movie_quote = item.find('span','inq').string
    movie = (movie_name,movie_rating,movie_quote)
    print(str(movie))

正则表达式

电影名称,评分,简介就在父标签中,从电影信息的父标签匹配就可以拿到,但是上映年份和拍摄地区和其他的信息一起在一个父标签中,无法单独拿出来,这时候就需要用到正则表达式了。
如何从这里取出上映年份呢,年份都是四个数字吧,所有只要取出四个数字,用正则表达式是 d{4}
那拍摄地区又该怎么取出呢?拍摄地区在两个斜杠之间,所以我们只要取出两个斜杠之间的信息,所以正则表达式是 (?
这边解释一下
(? 匹配1个数字后面跟斜杠,但是输出结果不包含斜杠
(?=/) 匹配后面跟斜杠,但是输出不包括斜杠。
.* 代表除换行符外任意字数的任意字符

movie_info = item.find('div','bd').find('p','').get_text()
movie_year = re.findall('d{4}',movie_info)[0]
movie_nation = re.findall('(?

如何翻页

到这一步,我们已经得到了当前页想要的数据,那么如何处理翻页的问题呢?

  • 第一个想到办法是找到页码导航页的“下一页”的链接,也很容易实现。
  • 第二个办法是观察 URL 结构发现的
    所以可以用列表推导的方式来实现翻页
url = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,226,25)]

多线程

在完成基本的架构之后,就要开始进行优化了。
爬虫一定要多线程,不然当爬大量数据时就太慢了
比如说,如果你用单线程发送一个请求,那必须在等结果返回之后再去发送下一个请求,而多线程呢,在发送完一个请求之后,不用等到结果返回,继续发送下一个请求,这样就减少了 CPU 的等待时间,也提高了 CPU 的使用效率。

拼装

OK,到了最后一步,完成写入模块后把程序拼装成一个完整的程序。但这个时候又遇到了一个问题,每次都只能爬到 107 个数据,之后就开始报错。
然后进网站去看了第 108 个数据,发现……

……

这丫的疯狂动物城没有简介……
所以在简介这里加个判断进去。
OK,到这里一段完整的豆瓣电影 TOP250 爬虫就写完了。

#!/usr/bin/env python
# encoding=utf-8

from bs4 import BeautifulSoup as bs
import requests as r
import csv
import re
import codecs
from multiprocessing.dummy import Pool
movies = []
url = ['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,226,25)]
def soup(url):
    html = r.get(url).text
    items = bs(html).find_all('div','item')
    for item in items:
        movie_name = item.find('span','title').string
        movie_rating = item.find('span','rating_num').string
        try:
            movie_quote = item.find('span','inq').string
        except:
            movie_quote='none'
        movie_info = item.find('div','bd').find('p','').get_text()
        movie_year = re.findall('d{4}',movie_info)[0]
        movie_nation = re.findall('(?

运行

运行程序,生成一个 CSV 文件。

CSV

数据浅析

筛选结果
  • 电影拿走不谢,请叫我雷锋
  • 美国,中国,日本上榜电影排前三
  • 主要的电影内容:信仰,青春,科幻,情怀等
  • 电影数最多的几年为 1995~2013,近几年电影较少,总结了一下原因,大概是:虽然制片投入和电影效果越来越好,但内容却没以前那么好了,换句话说,人人可以当导演的年代,编剧才是最重要的。

文章来源于互联网:我写了一个爬虫…

发表评论