spidermap v1.0.0

Spider.io

极简网络蜘蛛爬虫，适用任何网站，只需设置一条规则，就可以把你想要网站上的内容整理出来，非常方便，简单！

最新更新

v5.0.9 2019/7/8

1. 修复错误

v5.0.8 2019/7/8

1. 优化程序
2. 保证输出的数据不会影响到核心程序的处理
3. 在 rules 中 cb 增加参数 hash，data
4. 完善说明文档

v5.0.7 2019/7/7

1. 修复程序无法识别多条规则，导致每次只显示最后一条的问题

v5.0.6 2018/11/21

1. 修复因为无法解析网页内容导致程序终止

v5.0.3 2018/11/18

1. 修复程序无法成功启动问题

v5.0.0 2018/4/14

1. 弃用 crawler.js, 改用 superagent 模块
2. 增加 debug 颜色分类
3. 重构代码

v4.2.7

1. 新添加 rules.cb 函数，处理复杂的值，最后一定要用 return 返回
2. 优化核心程序，能够访问更多的网页
3. 增加完成操作'done'返回函数
4. 添加线程处理
5. 修改规则
6. 添加一些规则示例（在 test 目录）使用时不设置 links 将自动运行示例

使用说明

npm install spider.io --save

const Spider = require("spider.io");
new Spider({
  callback: function(hash, data) {
    console.log(hash, data);
  },
  run: true //立即运行
});

OR

const Spider = require("spider.io");
new Spider({
  callback: function(hash, data) {
    console.log(hash, data);
  }
}).run();

参数说明

参数格式如下

const options = {
  init: {
    debug: false,
    delay: 1000,
    timeout: 5000,
    retrys: 3,
    threads: 1,
    loop: false
  },
  links: {
    title: "",
    hash: "",
    url: "",
    rules: [
      // 列表类型的数据，带下一级处理
      {
        list: "a",
        rule: {
          url: {
            // 同级包含links的，必须有此参数
            type: "href",
            text: ""
          },
          title: {
            type: "text",
            text: ""
          }
        },
        links: []
      },
      // 普通类型的数据
      {
        rule: {
          url: {
            // 同级包含links的，必须有此参数
            type: "href",
            text: ""
          },
          title: {
            type: "text",
            text: ""
          }
        }
      },
      // 数组形式的数据
      {
        key: "",
        list: "",
        rule: {
          url: {
            // 同级包含links的，必须有此参数
            type: "href",
            text: ""
          },
          title: {
            type: "text",
            text: ""
          }
        }
      },
      // 自定义处理返回数据，会合并上一级数据
      {
        cb: ($, init) => {
          // $ -> 为格式化的dom对象，可以直接操作，语法规则请查看 jQuery
          // init -> {hash, data}
          // ...code
          // 如果同级包含links，必须要有返回值，并且要包含url；可以返回 array 或 object
          // return [{url: ''}] or {url: ''};
        }
      }
    ]
  },
  callback: (hash, data) => {
    // 数据以单条记录返回，并不会一次返回所有值
  },
  done: () => {
    // 全部处理完毕后回调该函数
  }
};

init (主参数）

headers (主参数）(具体说明请查看 superagent）

links (主参数）

rules

rule （使用 jquery 选择器规则）

使用方法：

{
    <key>: {
        type: 'text|val|html|href|src|....', //可以自己设置属性
        text: ''                             //对于循环事件中，可以不设置值
    }
}

links

在使用 links 时，此规则中必须包含 list，并且 rule 中必须包含\为 url 在连接的规则中会自动将列表中获取的 url，对 links 的 url 逐个替换，生成新的规则。

callback (主参数）

获取数据后的返回函数，返回值：