0.0.19 • Published 5 years ago
scrano v0.0.19
What is scrano
scrano 是一个用js编写,模仿python scrapy的爬虫框架,它在使用方法上力求与scrapy一致,让用户将注意力集中于如何解析网页,以及如何存储解析到的数据,而不用在意如何发送请求。
Install
npm install -g scrano
Usage
- 创建项目
首先进入任意的你想存放项目的文件夹,随后执行
scrano genproject <project_name>
其中project_name是你的项目名 执行以上命令后,scrano会在当前目录生成一个用你传入的项目名命名的项目 这里需要注意: 我们安装的scrano是在全局的,所以为了能在当前项目引入scrano,需要执行
npm link scrano
来将scrano连接到当前项目中
- 创建spider
你可以使用scrano内置的命令在当前项目生成一个spider,进入项目目录执行:
scrano genspider <spider_name>
这条命令仅仅是在当前项目添加一个spider文件,为了能够使用这个spider,你还需要手动在config.js文件中的SPIDER_MODULES项目下添加相应条目,其中键是spider的名字,用于crawl命令,值是该spider的类名
- 开始爬取
当你编写好spider以后,就可以执行
scrano crawl <spider_name>
来启动抓取流程,这里需要注意, spider_name是你在配置文件中在SPIDER_MODULES中写入的键
0.0.19
5 years ago
0.0.18
5 years ago
0.0.17
5 years ago
0.0.16
5 years ago
0.0.15
5 years ago
0.0.14
5 years ago
0.0.13
5 years ago
0.0.13-0
5 years ago
0.0.11-0
5 years ago
0.0.10
5 years ago
0.0.8
5 years ago
0.0.7
5 years ago
0.0.6
5 years ago
0.0.5
5 years ago
0.0.4
5 years ago
0.0.3
5 years ago
0.0.2
5 years ago
0.0.1
5 years ago