1. 实战任务:运用正则表达式爬取豆瓣电影排行

  • 爬取网站:https://movie.douban.com/top250
  • 爬取内容:电影排行(rank),名称(name),演员(actor),评分(score),评价(comment),引用(quote)

2 实战练习

2.1 爬虫思路
  • 用requests库get请求爬取相关信息,加入请求头,防止被绊;
  • 用re库对爬取的数据进行筛选(主要使用findall方法,并添加re.S修饰符);
  • 爬取的数据进行csv存储;
  • 为防止被绊,代码中加入time sleep(2),每爬取一次休息2s;
  • 由于进行的是跨页筛选,url找规律并使用循环语句,爬取信息策略封装为1个小函数,进行循环爬取。
2.2 爬虫步骤
## 利用正则表达式爬取豆瓣电影排行(rank,name,actor,score,comment,quote)
# 导入库,做好存储预备工作
import requests
import re
import time
import csv

f = open('C:/Users/home/Desktop/3.csv','w+',encoding='utf-8',newline='')
writer = csv.writer(f)
writer.writerow(['rank','name','actor','score','comment','quote'])


# 加入请求头,利用requests请求,爬取数据
headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
 }

url = 'https://movie.douban.com/top250'

# 利用findall方法筛选所需数据,将该步骤封装为函数get_info
def get_info(url):
    res = requests.get(url, headers=headers)
    ranks = re.findall(' (.*?)',res.text,re.S)
    names = re.findall('(.*?).*? / (.*?).*? / (.*?)  /  (.*?)',res.text,re.S)
    actors = re.findall('

.*?(.*?)   (.*?)...
.',res.text,re.S) scores = re.findall('(.*?)',res.text,re.S) comments = re.findall('.*?(.*?)人评价.*?

文章来源于互联网:【爬虫练习】运用正则表达式爬取豆瓣电影排行

发表评论