1.0.2 • Published 5 years ago
easy-node-spider v1.0.2
easy-node-spider
介绍
这是个基于request和async模块的简单爬虫，参数和request参数相同
软件架构
软件架构说明
安装教程
- npm install
使用说明
- var Spider = require('easy-node-spider')
- var esp = new Spider(paramList,limit,timer);
- esp.run(dealcallback,callback);
参数说明
paramList是一个request的请求参数的数组
| 参数 | 是否必须 | 示例 | 备注 |
|---|---|---|---|
| paramList | 是 | 'http://www.baidu.com' | 请求参数的数组或url数组 |
| limit | 否 | 1 | 设置最大线程默认是1 |
| timer | 否 | 1000 | 设置每个请求间隔的时间默认是0 |
| dealcallback | 是 | dealcallback(err,body,data,callback) | 单个数据的处理函数 |
| callback | 是 | callback(result) | 处理最后的结果数组 |