简书遵循“简单书写”的原则,限制了我的一些想法,比如我想添加个背景音乐,又或者想添加个表情,或做个分类查询等,此外我有一个放杂物的网站空间,放着浪费了,所以就打算建设自己的空间。

当然不是因为那个“饱醉豚”事件,在它越演越烈之前,我就看到那篇争议的文章,顺便看了他几篇文章,我一笑置之,与一个哗众取宠、低智商低情商、毫无论据,甚至毫无文笔的生物有啥好计较的?只是没想到关注的几个人,鉴于简书及简书CEO的态度都纷纷清空简书,叹哉!不过也可以理解一下,一个签约作者写这样的文章居然还能得到简叔的支持:

· 饱醉豚:《我不骂程序员低素质,我只是去证明他们是低素质群体》
· 饱醉豚:《为什么有这么蠢的程序员?难道程序员真是低智商福利职业?》
· 饱醉豚:《为什么简书的程序员用户里有那么多mother fucker和恋尸癖?》
· 饱醉豚:《为什么中国的程序员巨婴这么多》
· 饱醉豚:《为什么程序员是出轨率最高的群体》
· 饱醉豚:《笨到学不懂中学物理怎么办?逻辑极差怎么办?当程序员去!》
· 简叔——简书CEO:《饱醉豚对简书的意义》

分析下简书,还挺好爬取的,写个简单的爬虫还是有挺多开发语言可选择。本来我用C#也写过一个简单的爬虫框架,只是用Mac后.Net的相关代码基本全放在家里的旧电脑里了,便打算用比较顺手的Go来写,但是又有点嫌写正则表达式麻烦,便搜索了下有没有现成的拿来用,结果还真搜到志同道合的人😊:node.js爬虫-爬取简书特定作者的所有文章

只是它没有实现爬取【文集】和【专题】的功能。里面主要用到了node-crawler,也开放了爬取的源码,因为node-crawler我没用过,它还集成了Jquery来方便提取节点,我反倒想自己写一下,于是重新写了一份,包含爬取【文集】和【专题】,同时修改了存储方式为本地文件和远程服务两种方式。

安装node-crawler

直接按github上的文档使用npm install crawler安装,会不行的,提示以下警告:

image.png

意思是没有package.json,所以我们先创建此文件,首先先创建一个目录(mkdir命令为建立新目录make directory的意思,取缩写而成):

mkdir jianshu-crawler

然后进入目录并用命令行生成一个package.json文件,其中遇到交互询问图方便的话就一路按回车就行了:

cd jianshu-crawler && npm init

接着才是:

npm install crawler

最后新建一个index.js文件,写入github示例,再执行node index.js即可看到打印结果:

var Crawler = require("crawler");
var c = new Crawler({
    maxConnections : 10,
    // This will be called for each crawled page
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var = res.;
            // is Cheerio by default
            console.log(("title").text());
        }
        done();
    }
});
c.queue('http://www.163.com');
node index.js

爬虫原理及分析

所谓爬虫,就是把网页文档内容下载下来分析提取有用信息,技术难点在于如何绕过网站的反爬策略,方法有如伪装终端、代理IP等等,然后是如何有效提取信息。

关于页面基本信息的提取思路上面链接文章已经给出,我就不重复了,主要说下怎么爬取【文集】和【专题】,这两个内容不懂技巧的话,比页面基本信息爬取难度大一些,就是下面的内容:

image.png

为啥说有难度呢?单纯在Chrome上看是正常的:

image.png

然而当我们下载该页面文档内容时,实际是这样的:“专题和文集”文字下面的div标签之间为空,因为【文集】和【专题】是通过js异步加载的,在获取到页面文档时它们还没有加载出来。

文集和专题没有加载出来

那好吧,想方设法做个延时加载再爬取,结果又发现这个问题:部分文集并不会显示出来,只有点击【展开更多】时才会显示,这就涉及到网页交互操作的复杂处理。

image.png

那行,既然我知道你数据是通过js异步加载来的,那我们尝试读取js返回来的数据,找到这个网络请求:

网络请求地址

网络请求结果

然而当我们直接在浏览器打开请求地址:http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe,直接返回了一个406错误:

网页406错误

可以百度下406错误是:HTTP 406错误是HTTP协议状态码的一种,表示无法使用请求的内容特性来响应请求的网页。一般是指客户端浏览器不接受所请求页面的 MIME 类型。

那尝试设置下请求头:Content-Type:application/json; charset=utf-8,居然在node-crawler的官方文档找不到设置headers的内容,只好先用Go来写测试代码:

package main
import (
    "fmt" 
    "net/http" 
    "io/ioutil"
)

func httpRequest(url string) (content string, statusCode int) {
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("Accept", "application/json")
    client := http.DefaultClient
    resp, err := client.Do(req)
    if err != nil {
        fmt.Printf("Get请求%s返回错误:%s", url, err)
    }
    if resp.StatusCode == 200 {
        body := resp.Body   
        defer body.Close()
        bodyByte, _ := ioutil.ReadAll(body)
        content = string(bodyByte)
        fmt.Println(content)
    }
    statusCode = resp.StatusCode
    fmt.Println(resp.StatusCode)
    return
}

func main() {
    httpRequest("http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}

运行打印出来的数据是正确的:

image.png

方案一:

在node-crawler里调用go命令行运行,把命令行输出内容保存:

var Crawler = require("crawler");
// var mysql   = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec; 
/**
 * 执行命令行
 * @param {* } cmdStr 命令行
 * @param {* } callback 回调
 */
function execCmd(cmdStr, callback){
    //创建一个实例
    exec(cmdStr, function(err,stdout,stderr){
        callback(err,stdout,stderr);
    });
}
execCmd('go run crawler.go', function(err,stdout,stderr){
    //stdout为命令行打印输出的内容
    var _savePath = '../src/assets/data';
    if (!fs.existsSync(_savePath)) {
        fs.mkdirSync(_savePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_savePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

这样已经是大功告成了!!!

方案二:

不过强迫症还是不想捆绑一个Go,于是直接看node-crawler源码,然后分析出可以这样设置headers并调用:

/**
 * 支持添加头部请求
 * @param {*} headers 请求头
 * @param {*} url 请求路径
 * @param {*} callback 回调
 */
function crawlerRuest(headers, url, callback){
    var c = new Crawler({
        jQuery: false,
        maxConnections : 10,
        headers: headers,
        // This will be called for each crawled page
        callback : function (error, res, done) {
            if(error){
                console.log(error);
            }else{
                //var = res.;
               callback(res.body);
            }
            done();
        }
    });
    c.queue(url);
}

crawlerRuest({"Accept": "application/json"}, 
'http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
    if (!fs.existsSync(_baseSavePath)) {
        fs.mkdirSync(_baseSavePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

至此数据爬取告一段落。

文章来源于互联网:【两天完成简书搬家】——第一天,NodeJS爬取简书数据

发表评论