1.0.7 • Published 7 years ago
fetch-car-tree v1.0.7
fetch-car-tree
使用 NodeJs 抓取汽车之家品牌、车系、车型,存储于 mongodb,备份 json 文件
特性
- 基于 ES6 规范
- 终端时时显示抓取进度
- 按品牌首字母抓取(可配置)
- 提供抓取前环境检查
- 基于 mongodb 存储,导出 json 文件
- 增加年份、指导价信息
环境要求
- NodeJs 6.0 +
- ES2016
用法
const fetchCarTree = require('fetch-car-tree');
// 你的抓取配置文件路径(请勿使用相对路径),格式参照profile.json,置空使用默认配置文件
const configPath = path.join(__dirname, '../profile.json');
fetchCarTree(configPath);
存储结果实例
/* 1 */
{
"_id" : ObjectId("598920d6907a37672e02d5c7"),
"brand_name" : "帕加尼",
"type_list" : [
{
"type_name" : "Huayra",
"model_list" : [
{
"model_name" : "2016款 Dinastia 特别版",
"year" : "2016",
"guide_price" : 29000000
}
],
"url" : "http://www.autohome.com.cn/2263/#levelsource=000000000_0&pvareaid=101594"
},
{
"type_name" : "Zonda",
"model_list" : [],
"url" : "http://www.autohome.com.cn/366/#levelsource=000000000_0&pvareaid=101594"
}
]
}