webprobe v0.4.0

文件内容的 web 资源探测器：webprobe

文件内容的 web 资源探测器，根据规则匹配文件内的 web 资源，然后探测资源是否可访问、其内容是否存在某些关键字。

可用在 https 改造中，例如：匹配模板内通过 <script src=""> 和 <link href=""> 方式加载的资源，并检测该资源的源码内是否存在 http:// 关键字（如果存在则该资源有可能会发起 http 请求，所以该资源需要改造）

安装

安装 webprobe

$ sudo npm install -g webprobe

使用

当前目录运行

$ webprobe

会以当前目录为根目录，递归遍历并查找所有以 <script src=""> 和 <link href=""> 方式加载的资源，并进行 http:// 关键字的探测（如果该文件内存在则会进行记录）

默认查找的文件后缀是：types = ['vm', 'html', 'xtpl', 'php'];

通过配置文件运行

配置文件示例1：

module.exports = {

	//需要遍历的目录列表，绝对路径
	dirs: [
		'/github/dir1',
		'/github/dir1'
	],

	//需要查找并进行正则匹配的文件后缀，如果不指定，则用默认文件类型
	types: ['html', 'xtpl']
};

将上面内容保存为config.js，运行：

$ webprobe config.js

更多配置项，请参考 config.js

配置文件示例2，多个独立的配置：

module.exports = [
	{
		dirs: [
			'/github/dir1'
		],
		types: ['vm', 'html']
	},
	{
		dirs: [
			'/github/dir2'
		],
		types: ['xtpl', 'php'],

		//可以不设置charset选项，会使用jscharset自动检测每个文件的编码
		charset: 'gbk'
	}
];

将上面内容保存为config.js，运行：

$ webprobe config.js

更多用法，请参考 config2.js

注意：如果没有指定charset参数，将会用 jscharset 模块自动检查文件编码

报告

程序最后会在控制台输出运行报告，报告内容采用 markdown 语法，最后的显示如 report.md 所示。

为了获得更佳的阅读体验，推荐将输出结果保存入文件然后用 markdown 可视化工具打开：

$ webprobe > report.md

自定义格式

你可以把 webprobe 安装到本地目录，然后自己调用 run 方法得到 report 对象，进行自定义输出：

$ tnpm install webprobe
$ touch index.js
$ vim index.js

index.js：

var webprobe = require('webprobe');
webprobe.run({
	dirs: [
		'/Users/alvin/Documents/www/ali/git/wuji/webprobe/test/demo'
	],
	types: ['vm', 'html'],
	ignores: [
		'ignoreme'
	],
	replaces: [
		{
			from: ['$!{uiModule}', '$!{guiModule}'],
			to: 'http://g.tbcdn.cn'
		}
	]
}, function(err, report){
	if(err) throw err;

	//show report logic
	//report = {
	//	errorURLs : [], // 所有错误的 URL
	//	ignoreURLs : [], // 所有忽略掉的 URL
	//	errorProbes: [], // 所有探测失败的 URL
	//	probeURLs : [], // 所有探测过的 URL
	//	allURLs: [] // 所有匹配到的 URL
	//}
});

高级用法

如 config3.js 所示，你可以自己指定匹配的正则和需要探测的内容。

例如，我需要匹配所有通过 <test link=""> 加载的资源，并探测其内容中是否含有关键字 KISSY：

tags: [
	{
		name: 'Test',
		reg: /<test .*?link=(['"])(.*?)\1.*?>/g,
		match: function(response, body){
			return body.match(/KISSY/) ? true : false;
		}
	}
]

甚至是：匹配所有图片资源，找出大小大于 10kb 的图片（参考 config4.js 的配置和运行结果 report4.md）：

tags: [
	{
		name: 'Image',
		reg: /<img .*?src=(['"])(.*?)\1.*?>/g,
		match: function(response){
			return response.headers['content-length'] > 10000;
		}
	}
]