Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开发

浅谈我对于python的看法

         在我眼中,python相较于其他语言,最明显的就是方便,简单。没有复杂的框架,没有眼花缭乱的循环,没有艰深晦涩的报错。写完几百行的代码,换人来仅仅几分钟就可看懂,用到之前自己写的代码也无需再次编写,只要一句简单的import * 即可多次调用。唯一的美中不足就是相对于其他语言处理较慢。

第三方库源

         Python用pip安装第三方库的时候经常会出现下载中断,是因为国外下载通道不稳定,一但波动就终止下载,这里我推荐将pip源地址更换为国内地址

阿里云http://mirrors.aliyun.com/pypi/simple/

豆瓣http://pypi.douban.com/simple/

清华大学https://pypi.tuna.tsinghua.edu.cn/simple/

中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/

详细方法访问:https://www.jianshu.com/p/2d74cfa6a754

Python是一种解释型脚本语言,可以应用于以下领域:

Web 和 Internet开发                               

(1)数据分析

(2)人工智能

(3)桌面界面开发

(4)软件开发

(5)后端开发

(6)网络爬虫

我用的最多的是网络爬虫,本次来讨论一下爬虫

网络爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中,更经常的称为网页追逐者),是按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。

Web网络爬虫系统的功能是下载网页数据,为搜索引擎系统提供数据来源,很多大型的网络搜索引擎系统都是基于Web数据采集的搜索引擎系统,由此可见Web网络爬虫在搜索引擎中的重要性。在网络爬虫的系统框架中,主过程由控制器、解析器、资源库三部分组成。控制器的主要工作负责给多线程中各个爬虫线程分配工作任务;解析器的主要工作是下载网页,进行网页的处理,处理的内容包括JS脚本标签、CSS代码内容、空格字符、HTML标签等内容。资源库是用来存放下载到的网页资源,-般会采用大型的数据库存储,并对其建立索引。

         爬虫和数据分析一样,也可以用第三方库来轻松划学习,常用的库为selenium。Lxml.html,requests,bs4,xpath。在平时上网的时候,每天会经常去光顾一个页面,像我之前就每天起床去看一下全球的疫情数据,但是全世界国家这么多,城市更是数不胜数,一个个页面看过去显然有些耗时间,于是我自己写了一个自动化爬虫,加起来仅两三百行的代码,一键运行即可获取每日疫情数据并且合成表格,打开表格时,我想要的数据引入眼帘一目了然。

爬虫的分类

1.通用爬虫:通用爬虫是搜索引擎(Baidu、Google、Yahoo等)“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。简单来讲就是尽可能的;把互联网上的所有的网页下载下来,放到本地服务器里形成备分,在对这些网页做相关处理(提取关键字、去掉广告),最后提供一个用户检索接口。

.

搜索引擎如何抓取互联网上的网站数据?

1.

门户网站主动向搜索引擎公司提供其网站的url

2.

搜索引擎公司与DNS服务商合作,获取网站的url

3.

门户网站主动挂靠在一些知名网站的友情链接中

2.聚焦爬虫:聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如:获取豆瓣上电影的名称和影评,而不是获取整张页面中所有的数据值。

爬虫的工作原理

         先选择初始的url,并经过dns服务器转换获得ip地址。访问到该页面之后,会根据设定好的自动化程序过滤掉和主题不相关的链接,爬取需要的页面或者信息。保存到本地之后,解析内容再进行数据清洗最终得到我们想要的效果。

自动化代码的编写

[if !supportLists](1)      [endif]第三方库的导入

我常用python的requests,selenium,lxml.html,xpath,bs4来进行爬取

[if !supportLists](2)      [endif]访问url并获取主网页信息

通常我使用get的方式访问网页,访问到网页后根据动静态网页来选择解析方式,以较难的动态网页来就来,driver.get(url)获取到网页源码之后,用这两行代码将字符串形式转换成xpath能解析的html格式

html_source=driver.page_source和

html=lxml.html.fromstring(html_source)

[if !supportLists](3)      [endif]数据爬取

获取到html格式的网页源码,根据信息的xpath位置使用html.xpath获取到本地,视情况添加循环语句,进行多次爬取

[if !supportLists](4)      [endif]数据清洗

获取到的数据必然会存在很多的缺失值,多余的括号,引号。此时就要用jieba和flatten库进行数据清洗

[if !supportLists](5)      [endif]数据储存

获取完所有的信息的最后一步,将信息统计成一个表格,输出到本地文件夹方便打开观看,通常使用的都是pandas库的DataFrame函数:

pd.DataFrame.from_dict(z, orient=’index’)

再用to_xlsx输出成xlsx表格

df.to_xlsx(‘1.xlsx’,encoding=’utf-8-sig’)

网络爬虫技术的最新发展

传统的网络爬虫技术主要应刷于抓取静态Web网页,随着AJAX/Web2.0的流行,如何抓取AJAX等动态页面成了搜索引擎急需解决的问题,因为AJAX颠覆了传统的纯HTTP请求/响应协议机制,如果搜索引擎依旧采用“爬”的机制,是无法抓取到AJAX页面的有效数据的AJAX采用了JavaScript 驱动的异步请求/响应机制.以往的爬虫们缺乏avaScript语义上的理解.基本上无法模拟触发JavaScript的异步调用并解析返回的异步回渊逻辑和内容另外.在AJAX的应用中,JavaScript 会对DOM结构进行大量变动,甚至页面所有内容都通过JavaScript直接从服务器端读取并动态绘制出来。这对习惯了DOM结构相对不变的静态页面简直是无法理解的由此可以看出.以往的爬虫是基于协议驱动的,而对于AJAX这样的技术,所需要的爬虫引擎必须是基于事件驱动的。要实现事件驱动,首先需要解决JavaScript的交互分析和解释的问题。

文章来源于互联网:Python-爬虫

发表评论