R爬虫实践—抓取国自然基金信息【上篇】简单介绍了如何爬取2016-2019年某一关键词下的国自然信息,当需要一次获取多种关键词下的国自然信息时该怎么做?比如咱们需要获取lncRNA、miRNA、circRNA、肠道菌群、外泌体,细胞焦亡等多个关键词的国自然信息。

首先,分析各个关键词下的首页网址特征,如下所示。

#lncRNA:'http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#miRNA: 'http://fund.zsci.com.cn/Index/index/title/miRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#circRNA: "http://fund.zsci.com.cn/Index/index/title/circRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
#肠道菌群:"http://fund.zsci.com.cn/Index/index/title/%E8%82%A0%E9%81%93%E8%8F%8C%E7%BE%A4/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
......

发现由关键词首页网址由以下几部分组成:

[http://fund.zsci.com.cn/Index/index/title/]
[关键词]
[/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html]

接着,分析每个关键词下的网址特征,以lncRNA为例,如下所示。

#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/2.html
#.......
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/lastpage_number.html

发现关键词所有网址由以下几部分组成:

[http://fund.zsci.com.cn/Index/index/title/]+
[关键词]+
[/start_year/2016/end_year/2019/xmid/0/search/1/p/]+
[页码]+
[.html]

然后,根据以上分析出的网页规律,提前构建网页地址的各个部分。

s1 

正式开始爬取~~~利用两次循环,依次爬取各个关键词下的国自然信息。具体过程:先获取第一个关键词检索首页——获取末页的网址——获取最大页码——依次循环抓取1到最大页码的信息——结束后再进行第二个关键词(同样过程,循环往复)——直到最后一个关键词的最后一页——爬取结束。

results % html_nodes("div.layui-box a") %>% html_attr("href")
  lastpage_link % html_nodes("div.layui-box span.current") %>% html_text() %>% as.integer()
  print(lastpage_number)
  
  for(i in 1:lastpage_number){
    keysite % html_nodes('ul a li h3') %>% html_text() # 标题内容解析
    Title
    #---获得众多信息---
    Information % html_nodes('ul a li span') %>% html_text()  #获取了负责人和单位信息
    Information
    #---获取负责人信息---
    Author 

最终爬取结果如下,每个关键词条件下生成一个文件。

image

往期回顾
R爬虫在工作中的一点妙用
R爬虫必备基础——HTML和CSS初识
R爬虫必备基础——静态网页+动态网页
R爬虫必备——rvest包的使用
R爬虫必备基础——CSS+SelectorGadget
R爬虫必备基础—Chrome开发者工具(F12)
R爬虫必备基础—HTTP协议
R爬虫必备—httr+POST请求类爬虫(网易云课堂)
R爬虫必备基础—rvest为什么不用于动态网页?
R爬虫必备——httr+GET请求类爬虫(解螺旋课程)
R爬虫实战—抓取PubMed文章的基本信息
R爬虫实践—抓取国自然基金信息【上篇】

文章来源于互联网:R爬虫实践—抓取国自然基金信息【中篇】

发表评论