1.5.51 • Published 6 years ago
crawlercore v1.5.51
crawlercore
crawlercore是一套强大的爬虫库,有以下特点:
- 组件式,可配置出各种类型的爬虫。
- 使用
async/await
语法,上层编码更人性化。 - 自动的编码处理(uft8、gbk)。
- 支持
headless chrome
。 - 可配置的持久化模块。
- 强大的爬虫管理器,会自动重试,支持分布式管理。
- 强大的数据分析模块,除了常用的html选择器外,还有js虚拟机,方便直接爬取js数据。
安装说明
npm i crawlercore --save
即可安装,具体使用方法,见 https://github.com/zhs007/crawler-js
项目。
更新日志
- 1.0 - 正式发布,基本功能正常。
- 1.1 - 增加redis缓存集中管理缓存,初步支持分布式,支持各种重启多开。
- 1.2 - 对
headless chrome
有进一步支持,提供了一些实际例子,譬如js断点取瞬时内存数据等。 - 1.3 - 和
jarvis-task
项目结合,支持更复杂的上层任务调度。 - 1.5 - 调整架构,去掉cache管理,任务调度统一交给
jarvis-task
。
1.5.51
6 years ago
1.5.39
6 years ago
1.5.38
6 years ago
1.3.37
6 years ago
1.3.36
6 years ago
1.3.35
6 years ago
1.3.33
6 years ago
1.3.32
6 years ago
1.3.31
6 years ago
1.3.30
6 years ago
1.3.29
6 years ago
1.3.28
6 years ago
1.2.26
6 years ago
1.2.25
6 years ago
1.2.24
6 years ago
1.2.23
6 years ago
1.2.22
6 years ago
1.2.21
6 years ago
1.2.20
6 years ago
1.2.19
6 years ago
1.1.16
7 years ago
1.1.15
7 years ago
1.1.13
7 years ago
1.1.12
7 years ago
1.1.11
7 years ago
1.1.10
7 years ago
1.1.9
7 years ago
1.1.8
7 years ago
1.0.6
7 years ago
1.0.5
7 years ago
1.0.3
7 years ago
1.0.2
7 years ago
1.0.1
7 years ago
1.0.0
7 years ago