rapid-crawler v0.1.1

Rapid-crawler

Rapid-crawler

Rapid是一个爬虫框架(你也可以认为是工具集)，可以帮助开发者快速开发爬虫。内置请求器,Log和解析器。

Rapid-crawler

首先Rapid使用的是Typescript。这不会让你写着写着就晕头转向了。

其次这个框架之所以叫Rapid是因为我们追去速度，不管是开发速度还是请求速度（其实这个和你的网络质量，ISP和目标服务器有关）

Rapid还有很强的容错和提示能力，有时即便你出错了，除非是致命的错误，否则一般不会停止整个程序，而是通过日志的方式通知开发者，让开发者自行中断程序或让程序接着运行

快速入门

/*app.ts*/
import Rapid from "rapid-crawler";
/*
    @Program Entry app; 告知Rapid这是程序入口;
*/
// H:\Code\rapid\develop\dist\app\app.ts
async function app(){
    let url:string[] = ["https://www.baidu.com"];
    Rapid.setUrl(url);
    console.log((await Rapid.parse("title"))[0].text())
}

PS C:\>cd H:\code\rapid\dist\app;
PS H:\code\rapid\dist\app>rapid -s app;

Q&A

• 为什么使用TypeScript开发
  • 因为不会写着写着忘记变量类型

• 找到了bug怎么办

  • fork仓库===>clone到本地===>修复他===>验证被修复了===>在Develop.md的开发者一项中写上自己的名字+所做的事情+日期+Email/Github地址/博客地址/任何你的联系方式===>PUSH到bugFix-自己的名字分支===>Pull Request请求合并到Develop分支===>合并