爬虫第二天

其实一直想爬个妹子图,因为网上的教程不计其数,好像都是拿这个作为案例教材来入门的。毕竟实战出真知。昨天晚上在网上找了个精品学习贴子,然后经过不断调试,终于成功。再次记录一下。主要参考的是https://cuiqingcai.com/3179.html/comment-page-6#comments
感觉这个个人博客非常不错。以后就打算看这个博客学爬虫了。

  • 必需软件:anaconda3 Pychram
    主要按照流程走,注意在新建项目的时候将anaconda3里面的python.exe作为project interpreter。因为ananconda3里面已经安装里许多包,其中就有所需的requests 和 bs4 包。所以就不用安装直接用了。
    下面就按流程走,记录一下问题。
    贴子在后面要获取每一个套图的最后一个页码(也就是要获取每一个套图到底有多少张图片)的时候讲的没听懂。但是其实没必要这么说,直接看代码就理解了。
for a in all_a:
      title =  a.get_text()
      href = a['href']
      html = requests.get(href, headers = headers)
      html_Soup = BeautifulSoup(html.text, 'lxml')
      max_span = html_Soup.find('div', class_= "pagenavi").find_all('span')[-2].get_text()

这一步就是在随便打开一个套图,打开其中的任何一张,F12,Ctrl+shift+c找到显示页码的图标,你会发现在div class= pagenavi的那一块下面的所有span元素中,倒数第二个永远都是总页码。所以[-2]就是获得总页码。然后我运行就会报错。我看到评论区也有人报错。报错内容一样 “NoneType” object has no attribute ‘find_all’。在网上搜了半天,还以为选取内联元素有特别的方式。但是其实却是根本我就没有选取到内容,find_all当然就找不到东西了。所以当我改了一下代码:

for a in all_a[1:]:
      title =  a.get_text()
      href = a['href']
      html = requests.get(href, headers = headers)
      html_Soup = BeautifulSoup(html.text, 'lxml')
      max_span = html_Soup.find('div', class_= "pagenavi").find_all('span')[-2].get_text()

跳过all_a[0]就没有报错了。之后一切顺顺利利。具体还得去看一下在all_a[0]那个界面的span到底是如何安排的。就这样!

文章来源于互联网:爬虫妹子图

发表评论