crawler-me v0.0.5

CRAWLER-ME

Установка

npm install crawler-me

Использование

Для демонстрации возможностей создайте файл script.js со следующим содержимым:

const crme = require('crawler-me');
const fs   = require('fs');

const CONST_OUT = __dirname+'/log-out.log';
fs.writeFileSync(CONST_OUT, '');

crme.start({
    url: 'https://vlad-ku.github.io/',
    callback: (props) => {
        fs.appendFileSync(CONST_OUT, props.url+'\n');
    },
});

Форматы файлов и аргументов

Файлы, помеченые * являются служебными. Они могут быть полезны для функции "догрузки" (не реализована).

crawler-me-log-error.log

[CODE|STATUS|OTHER] [url] [text]

crawler-me-log-done.log *

[url]

crawler-me-log-tmp.log *

Файл состоит из строк, каждая из которых формата JSON.

{"parse": "[parse]", "parent": "[parent]", "url": "[url]"}

callback()

На вход передается следующий объект:

{
    "parse":            "[parse]",
    "parent":           "[parent]",
    "url":              "[url]",
    "real_url":         "[real_url]",
    "count_redirect":   "[count_redirect]",
    "is_curr_domain":   "[is_curr_domain]",
    "$":                "[$]",
    "response":         "[response]"
}