从现在开始,会随机对各大网站的一些信息进行分析采集

1.目标

今天采集大众点评。先从简单点的开始:采集大众点评的美食类商家店铺信息。其中包括类别、店名、图片、星级、点评数、人均消费、口味评分、环境评分、服务评分、地址、推荐菜。

2.请求分析

首先先看一下链接跟页面:
http://www.dianping.com/guangzhou/ch10/g103

采集页面一览

这里不同的类别下均有很多店铺,由于看其他页信息需登录,所以这里我们先采集第一页。
再看该页的请求头信息:

请求头信息

这是一个get请求,而且没有传递参数,比较简单
到这里基本的请求分析已经完成了,下面我们开始采集。

3.采集

首先,通过请求起始url,我们拿到所有类别的地址

    def get_response(self, req_url):
        """
        请求
        :param req_url:
        :return:
        """
        response = requests.get(f'{req_url}', headers=self._headers)
        if response.status_code == 200:
            return response.content.decode('utf-8')
        return None
    def run(self):
        # 1. 获取所有类别地址
        response = self.get_response(self._start_url)
        content = etree.HTML(response)
        url_list = content.xpath('//div[@id="classfy"]//a/@href')

然后,通过请求这些地址,逐个去解析页面,在这里问题来了,我们先看一下其中一个商家的相关信息:

店铺图片跟名称

店铺其他信息

从这里已经找到了我们所有需要采集的信息了,但是除了店铺图片名称星级推荐菜之外,其他的信息都是通过不同的符号来表示的,没有显示出真正的信息出来。到这里,我们可能就想到了反爬,其中的主要信息都被加密处理了,那这种是怎样加密的呢?这里就牵扯到了一种加密方法:CSS字体加密,先来简单了解下。

CSS字体加密

css字体加密是一种自定义字体映射加密,简单来说就是通过自定义的字体文件来渲染网页中的文字,网页上看到的文字,在网页源码中不再用文字表示,而是用相应的字体编码来表示。我们从页面上复制也复制不出来,以此达到了反爬的效果。

那这种反爬怎样去解决呢,接下来我们通过大众点评的小例子来分析一下。
首先要解决css字体反爬,要先找到他在哪,我们来看一下:

字体加密文件

开放字体格式地址

通过上面我们可以看出加密的标签svgmtsi对应有个class属性,点击这个标签,可以看到对应的css样式,最上面有个字体类型的属性也就是font-family,我们进入相应的css文件中看到后面有个.woff的文件url地址,.woff后缀的文件就是一种开放字体格式文件,同时,我们也看到前面有.eot后缀的文件,这也是一种字体格式文件,不过他是支持ie的,我们这里用的google,所以使用后面一种。
那么,找到这个文件后,我们将它下载下来,同时用FontCreator这个软件可以打开此类文件,打开后就是这样子的,通过对比发现,跟网页上的编码是对应的。

字体文件内容

上面初步认识了一下css字体加密,接下来继续我们采集的代码:
前面我们到了信息提取这一部分,又通过css字体加密的分析,可以以以下步骤来完成解析(以点评数为例,附核心操作代码):

  • 1.找到加密标签对应的css文件,文件中找到对应的字体文件,下载
            response = self.get_response(url)
            content = etree.HTML(response)

            # 找到相关css文件
            css_path = content.xpath('//link[contains(@href, "svgtextcss")]/@href')[0]
            time.sleep(3)
            css_content = self.get_response(f'http:{css_path}')

            # 点评数
            self.parse_review_num(css_content, content.xpath('//a[@class="review-num"]'))
  • 2.对字体文件转换,这里用到了fontTools库,可以将.woff文件中的字体编码提取出来
        # 下载字体文件,如没有则下载,已存在则直接解析
        if not os.path.exists(woff_path):
            # 下载字体文件
            response = requests.get(f'http:{woff_url[0]}.woff', headers=self._headers)
            with open(woff_path, 'wb') as f:
                f.write(response.content)
            # 这里转为xml格式是为了前期的分析跟后面的信息提取
            time.sleep(2)
            # 解析成xml文件
            font_content = TTFont(woff_path)
            font_content.saveXML(xml_path)
            # 获取字体对应的编码列表
            uni_list = font_content['cmap'].tables[0].ttFont.getGlyphOrder()
            uni_list = [uni_code for uni_code in uni_list if uni_code.startswith('uni')]
  • 3.将字体文件转换为xml文件后,通过xml文件跟woff文件对部分加密文字跟对应编码一一映射
        # 判断拿到的编码在不在字体编码列表中
        if f'uni{str(code_one, encoding="utf-8")[2:]}' in uni_list:
            # 如存在,则解析对应的xml文件
            DOMTree = parse(xml_path)
            rootNode = DOMTree.documentElement
            # 找到字体文件的坐标标签
            contentNodes = rootNode.getElementsByTagName("glyf")[0].getElementsByTagName('TTGlyph')[1:]
  • 4.根据映射关系将页面源码中的编码替换为相应的文字,至此解析完成

看下解析成功后的结果(内容较多,拿出一条来举例):

# 解析之前的编码
[b'\ue7e9', b'\uecd9', b'\uf1eb', b'\uf350']
# 解析完成之后的真实数据
['2', '5', '6', '3']

最最后,看下存到MongoDB中的结果

最终结果

至此,CSS字体文件加密已经基本上分析完成,上面红框的部分信息不全的原因是字体映射我只做了其中一部分,所以有些加密的字体还没有做映射,有兴趣的可以自己研究一下。

文章来源于互联网,如有雷同请联系站长删除:爬虫实战2.1 解决CSS字体加密—大众点评店铺信息采集

发表评论