如何Pycharm中Scrapy环境搭建及遇见的坑


       最近在学习python爬虫,用到了一个叫scrapy的爬虫框架。首先要用到这个框架要先安装scrapy,在安装过程中遇到各种坑,想写篇博客记录一下这些坑,希望对大家有一定的帮助。

       我最开始是在pycharm中settings属性中安装scrapy

   但是安装好了之后运行发现报错,百度很久也无法解决。大佬都建议用pip手动安装,于是乎卸载了scrapy

由于scrapy框架功能十分强大,所以依赖很多库,不能够直接安装,需要先安装依赖库。

简单来说分为三个部分:

1.lxml下载:使用pip安装

pip install lxml

2.twisted下载链接

(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)

●提示:1号坑—-尤其要注意对应的python版本号和操作系统位数,不然因为导致不兼容而导致安装失败

3.pyOpenSSL下载链接

(https://pypi.org/project/pyOpenSSL/#files)

●提示:2号坑—-twisted和pyOpenSSL下载完成之后放入C:Usersasus(也就是命令行默认的目录位置)

这样就不需要在命令行中更改目录,对小白很友好。

前面的步骤只是下载好了,现在打开命令行进行安装:

pip install pyOpenSSL-19.1.0-py2.py3-none-any.whl

pip install Twisted-20.3.0-cp36-cp36m-win_amd64.whl

4.安装scrapy:

pip install scrapy

这一步完成之后就差不多完成了环境搭建(提示:3号坑—-不需要去高级设置

提示:4号坑—-scrapy.cfg文件必须存在并且在工程的兄弟目录下

接着在命令行中输入:

scrapy

得到scrapy版本号信息、bench属性等等

做到这儿,还算不上真正的完成。经过我在b站看教学视频,得知验证是否完成搭建的关键是输入:

scrapy bench

这时候我们打开pycharm,如果能接收到服务器返回的空消息,才算大功告成!

如果能得到上面的界面,就证明scrapy已经安装好了!

接着试着访问bilibili,terminal正确返回数据!任务完成!!

因为是第一次写博客,写的不好或者错误的地方,请大家指正^.^

文章来源于互联网:爬虫框架Scrapy环境搭建及遇见的坑

发表评论