前言

刀枪剑戟,斧钺钩叉,镋镰槊棒,鞭锏锤抓。

神兵在手,妖魔不怕,劈荆斩棘,溅血生花。

行走江湖,谁没有件趁手的兵器。

但是,兵器有带楞的,有带刃儿的,有带戎绳的,有带锁链儿的,五花八门,对于新手来说,真的是“乱花渐欲迷人眼”。

不过,古有江湖百晓生,今有 Python 百媚生。百晓生所著的《兵器谱》让江湖血雨腥风,这百媚生也编纂了一部 Python 《神兵谱》,不知能否让 Python 江湖掀起什么暴雨狂风?

我们今天就来讲讲这《神兵谱》的“数据分析”篇。这“数据分析”篇又分为上、中、下三篇,分别针对数据分析的数据采集、数据处理及数据可视化三个方面。

本文不光是神兵的展示,更要教会大家简单的使用,能够帮助大家挑选合适趁手的兵器,才能在刀光剑影的江湖,立于不败之地。

话不多说,直入主题。

上篇:数据采集

说到数据采集,那最大名鼎鼎的方式就是“爬虫”啦,让我们来看看百媚生带给我们的“爬虫”利器吧,是不是真如传言的“见血封喉”呢?

Requests

啥?为什么 requests 是“爬虫”?

可不要小瞧了它!虽说 requests 是网络请求库,但它却如高手手中的「木剑」一般,用好了,一样招招致命。

使用 requests 发起攻击(请求),犹如疾风般迅速,犹如落叶般轻盈。

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
'{"type":"User"...'
>>> r.json()
{'private_gists': 419, 'total_private_repos': 77, ...}

这就完了?

如果对方是返回 Json 格式的 API 服务,是的,这就完了。我们已经拿到数据了。

如果对方是返回 XML 格式的 API 服务,那么,我们再搭配上原生的 xml 或者 lxml 解析器,灭敌于百步之外。

"""
content 是 xml 格式的字符串,即 r.text
例如

"""
import xml.etree.ElementTree as ET

tree = ET.parse(content)
root = tree.getroot()
# 遍历节点
for child in root:
    print(child.tag, child.attrib)

lxml 更快更凶残。

from lxml import etree

root = etree.XML(content)
for element in root.iter():
    print("%s - %s" % (element.tag, element.text))

lxml 更是支持强大的 xpathxlst 语法(语法文档详见参考)。

# 使用 xpath 语法快速定位节点,提取数据
r = root.xpath('country')
text = root.xpath('country/text()')

xlst 进行快速转换。

xslt_root = etree.XML('''
    ''')
transform = etree.XSLT(xslt_root)
f = StringIO('Text')
doc = etree.parse(f)
result_tree = transform(doc)

对手更凶残了,是 HTML 文档!这下就需要 BeautifulSouplxml 解析器出马了。

BeautifulSoup 虽然速度不快,好在利于理解。

from bs4 import BeautifulSoup

# content 即 html 字符串, requests 返回的文本 text
soup = BeautifulSoup(content, 'html.parser')

print(soup.title)
print(soup.title.name)
print(soup.find_all('a'))
print(soup.find(id="link3"))
for link in soup.find_all('a'):
    print(link.get('href'))

上房揭瓦(解析网页),那是手到擒来。

而用 lxml 还是那么干净利落。

html = etree.HTML(content)
result = etree.tostring(html, pretty_print=True, method="html")
print(result)
# 接下来就是 xpath 的表演时间

可见,木剑虽朴实,在高手手中,也能变化无穷。如果是“接骨木”,那更是了不得。最快速便捷的数据采集神兵,非 requests 莫属!

Scrapy

接下来让我们看看数据采集的百变神兵 —— Scrapy,分分钟让我们全副武装。

# 创建一个项目
scrapy startproject tutorial
cd tutorial
# 创建一个爬虫
scrapy genspider quotes quotes.toscrape.com

然后编辑项目下 spiders/quotes.py 爬虫文件。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        """
        生成初始请求。
        """
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        """
        处理请求返回的响应。
        """
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

然后就是启动爬虫。

scrapy crawl quotes

这还没有发挥 Scrapy 的能力呢!

解析网页

# CSS 解析
response.css('title::text').getall()
# xpath 解析
response.css('//title/text()').getall()

自动生成结果文件

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        # parse 函数直接返回字典或者 Item 对象。
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

在爬取的命令上加上 -o 参数,即可快速将结果保存到文件,支持多种格式(csv,json,json lines,xml),也可方便地扩展自己的格式。

scrapy crawl quotes -o quotes.json

数据分页了,还有下一页怎么办?抛出请求,让 Scrapy 自己去处理。



class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        """
        parse 函数 yield 字典或者 Item 对象,则视为结果,
        yield 请求对象(follow 方法即是跟随链接,快速生成对应的请求对象)即继续爬取。
        """
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a').get()
        if next_page is not None:
            yield response.follow(next_page, callback=self.parse)

这就完了吗?当然不会,Scrapy 还提供了多种数据采集需要用到的功能。

  • 强大的扩展能力,快速编写扩展和中间件。
  • 灵活的配置,并发控制,限速控制等。
  • 自定义的爬取对象处理流水线。
  • 自定义的爬取对象存储。
  • 自动统计数据。
  • 整合邮件。
  • Telnet 控制台等等。

这只是核心功能,还没见到它的社区能力呢!

  • Scrapyd:工程化部署爬虫。
  • Scrapy-Splash:为 Scrapy 提供了 JS 渲染能力。
  • Scrapy Jsonrpc:Json RPC 服务控制爬虫。
  • Gerapy:Web 爬虫管理平台。
  • ScrapyWeb:另一个 Web 爬虫管理平台。
  • ScrapyKeeper:还是一个 Web 爬虫管理平台。
  • Portia:无需编码的交互式爬虫平台。

这些就不再展开了。

快速而又强大的数据采集利器,当属 Scrapy

Pyspider

强大的瑞士军刀 —— Pyspider。

Pyspider 可不得了,它提供了一整套完整的数据采集解决方案,堪称爬虫界的“瑞士军刀”。

  • 原生提供 Web 管理界面,支持任务监控、项目管理、结果查看等等。
  • 原生支持众多的数据库后端,如 MySQL、MongoDB、SQLite、Elasticsearch、Postgresql。
  • 原生支持多种消息队列,如 RabbitMQ,Beanstalk、Redis、Kombu。
  • 支持任务优先级、自动重试、定时任务、支持 JS 渲染等功能。
  • 分布式架构。

爬虫,就是这么简单!

from pyspider.libs.base_handler import *

class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://scrapy.org/', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

启动爬虫框架。

pyspider

然后,我们就可以通过 http://localhost:5000/ 进行爬虫的管理和运行了。

我们可以使用 css 选择器快速提取网页信息。

    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            if re.match("http://www.imdb.com/title/ttd+/$", each.attr.href):
                self.crawl(each.attr.href, callback=self.detail_page)
        self.crawl(response.doc('#right a').attr.href, callback=self.index_page)
        
    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('.header > [itemprop="name"]').text(),
            "rating": response.doc('.star-box-giga-star').text(),
            "director": [x.text() for x in response.doc('[itemprop="director"] span').items()],
        }

启用 PhantomJS 来渲染网页上的 JS。

pyspider phantomjs

使用 fetch_type='js'

class Handler(BaseHandler):
    def on_start(self):
        self.crawl('http://www.twitch.tv/directory/game/Dota%202',
                   fetch_type='js', callback=self.index_page)

    def index_page(self, response):
        return {
            "url": response.url,
            "channels": [{
                "title": x('.title').text(),
                "viewers": x('.info').contents()[2],
                "name": x('.info a').text(),
            } for x in response.doc('.stream.item').items()]
        }

还能执行一段 JS 代码,来获取那些动态生成的网页内容。

class Handler(BaseHandler):
    def on_start(self):
        self.crawl('http://www.pinterest.com/categories/popular/',
                   fetch_type='js', js_script="""
                   function() {
                       window.scrollTo(0,document.body.scrollHeight);
                   }
                   """, callback=self.index_page)

    def index_page(self, response):
        return {
            "url": response.url,
            "images": [{
                "title": x('.richPinGridTitle').text(),
                "img": x('.pinImg').attr('src'),
                "author": x('.creditName').text(),
            } for x in response.doc('.item').items() if x('.pinImg')]
        }

好了,接下来我知道,问题就是 PyspiderScrapy 选哪个?

简单说下它们的对比。

Scrapy 有更强大的扩展能力,社区更活跃,周边更丰富。而 Pyspider 本身功能更全,但扩展能力较弱。许多 Scrapy 需要扩展实现的功能,如 Web 界面、JS 渲染等,Pyspider 原生都提供了。

Pyspider 的整套生态上手更容易,实现更快速。Scrapy 对复杂的场景有更多的选择余地,更灵活。

所以,诸位选哪款?

成年人需要做选择吗?

后记

此上篇介绍了数据采集领域的三款神兵。

  • 朴实而又神奇的“接骨木剑” —— Requests
  • 快速而又强大的“百变神兵” —— Scrapy
  • 简单而又全能的“瑞士军刀” —— Pyspider

有此三款神兵在手,不信你不能驰骋“爬虫”的江湖!

百媚生 Python《神兵谱》之数据分析-上篇,如果觉得有用,请点赞关注收藏哦!

来自 知乎专栏。

参考

  • Requests
  • Python xml
  • Python lxml
  • XPath
  • XLST
  • BeautifulSoup
  • Scrapy
  • Pyspider

文章来源于互联网,如有雷同请联系站长删除:Python 神兵谱之数据分析-上篇:数据采集

发表评论