自学了好长时间的爬虫,今天终于自己亲自动手实打实的敲了一波代码,写了一个在爬虫案例中都烂大街的案例爬取豆瓣电影top250。因为平时只是动手练习一些技术性的东西比如解析库的语法,几乎没有写过完整的爬虫代码,在学习大神们发的案例时只是把代码读一遍,哪里不懂才会去动手写一下,所以导致了一个问题在看案例时都懂而到动手是确出现了不少的麻烦,为此决定痛改前非踏踏实实一步一个脚印的做好每一步,争取做一个攻城狮大佬。

总结一下出现的问题:1.花的时间太长;因为动手经验不足,在进行每一个步骤时都会回忆一下别人是怎么做的时间自然而然就耗过去了。2.选择器还是不太熟悉;刚开始我是打算用pyquery解析网页的,但是写出来的选择器一直报错说是语法错误,我也翻出大佬们的

案例照着写依旧报错,索性就换成了用xpath来解析网页。3.对python的基础语法掌握的还是不太牢固,会在这上面上犯一些小错误。4.太欠缺动手经验,从而带来了一些根本没有必要产生的麻烦。

所以说不管任何事只有你去动手做了才能发现问题所在,才能不断提升自己。

最后也晒一下自己写的成果。

文章来源于互联网:来自一个自学爬虫技术的小伙做的总结

发表评论