最近在采集中碰到一个post数据的随机值问题,平常我们在post数据的时候基本上会有常见的变量词,比如page,num等,一看就知道post请求值的变化位置,这次变量值都是一些随机值,不仔细分析还真让我绕了很久。

分析网址:http://59.175.169.110/web/QyManage/QyList.aspx?qymc=

先抓包一个分页的post值,看图

post请求值

图片中箭头指向的都是随机值变化的,我这边主要搞乱在了,EVENTTARGET上面,就是第一个随机值问题,没注意到这个变化值只变化了两次,首先采集数据前,我们要先抓包首页数据的post数据,

post首页请求

这个EVENTTARGET值,我以为一直是 lbtnTop,而这个EVENTTARGET源代码里是没有的,算是固定值,然后在采集中发现,首页和分页用的是不一样的值,从两张图看出,首页用的是lbtnTop,分页用的是 lbtnNext,这个一定要注意了,后面的两个变量值获取,都是通过上一页源代码里的直接获取调用的。

这种采集方式还是比较特殊的,需要处理post值前要先获取到上一页的随机值进行组合处理的 。

不懂抓包方法可以看一下这篇文章:https://www.jianshu.com/p/ae34cb6ab446

投稿人:八维数据

文章来源于互联网,如有雷同请联系站长删除:爬虫数据采集Post随机值问题之一

发表评论