000

神箭手

我接到一个客户需求是这样的,要采集通过 “城市运营” 这个keyword搜索到的百度网页的关键信息,title标题,新闻简介,网页a标签链接地址。正好我刚接触了一个叫 “神箭手” 的云采集平台,体验了一次感觉不错,拿来用用看效率如何!

大家可以看上面那个图,这个平台一个很好玩的东西就是这个webide,你可以直接在这写代码,直接测试,看日志,直接运行,导出结果。
这些操作都可以在一个界面完成,编程人员只需要关心最核心的采集逻辑就可以了。

001

讲讲 “神箭手” 核心采集逻辑,首选注意这个引擎的开发语言是js,你需要具备一点js基础,最先看下面两句:

EBA61292-58EF-402A-8AF4-22F92AC8656A.png

每个采集爬虫都会用这两句启动,所以你的核心工作是编写 configs这个变量,下面看这个变量结构:

051763D4-9E87-4255-AAED-8D47D4E0B1AB.png

我们只需要改4个地方,1个是入口url,1个是采集的字段及其xpath,1个是下一页的规则,1个是对字段内容做必须的处理,这四个问题都通过config变量唯一规定了函数或变量名字,这4个问题也是采集程序最核心要解决的事。

002

那么具体到我客户的这个采集任务,我是怎么填写这些变量的呢

  • url 这个简单,把百度搜索结果的首页url填进去

    922D22A8-A1F3-40FE-A061-1045B7359470.png
  • 数据字段咋办?这里还是用到xpath,具体的我们要采集的 title标题,新闻简介,网页a标签链接,xpath的规则可以自己去调试。调试过程在神箭手平台还是挺方便的,都在一个界面内可以完成!

    7FA709BE-F4AC-435D-8772-39B76C18658E.png
  • 至于下一页问题,需要开启百度的html源码,找到下一页的html代码就可以了,这个比较简单。

    0288BAA8-77CD-4B9E-8FEE-40AEE0FD4F7A.png

注意 addUrl 这一句,写上这一句平台就会继续采集 nextUrl,不写的话就停止在当前采集页上,其实平台可以循环不停的抓取下一页,关键就靠这个 addUrl

  • 最后说一点,我们采集到的字段如果需要做转化,比如做trim操作,做数值计算,那就可以编写 afterExtractField 函数,这里我们以title为例子:

    81D45CD5-F56C-4B6C-8E6D-E590ECC57B6D.png

注意 fieldName ‘items.title‘,因为这个 afterExtractField 函数是每个item都会回调,所以要用fieldName来区分下,这里我们做了啥过滤,就是简单的把 这两个标签去掉了。

003

从编写 -> 测试 -> 运行 – 出数据,不到1小时,这效率,挺神的!
需要源码的,想学习的,正在自学大数据的,想交流,求人带的 都注意啊!可以联系我,留言私信也可以的!API1024记住我的暗号哦~

文章来源于互联网,如有雷同请联系站长删除:前沿!一个很神的云采集平台“神箭手”可以帮你提高开发效率

发表评论