crawler-result-store v1.0.25

queueItem数据字段

  queueItem                            Object                    当前爬取地址对象
  queueItem.analysisUrlResult          Array<Object>             分析html页面得出的url地址数组
  queueItem.analysisResult             Object                    分析html页面得出的数据结果
  queueItem.analysisResultUrls         Array<String>             分析页面解析结果中的地址数组
  queueItem.analysisResultUrlResult    Array<Object>             分析页面解析结果中的地址数组，经过queue处理
  queueItem.aiAnalysisResult           Array<Object|String>      分词解析后的结果
  queueItem.responseBody               String                    页面的html
  queueItem.statusCode                 Number                    下载页面得到的返回码
  queueItem.protocol                   String                    地址协议
  queueItem.host                       String                    host地址
  queueItem.query                      String                    querystring
  queueItem.port                       Number                    地址
  queueItem.url                        String                    完整地址
  queueItem.depth                      Number                    深度