The-fool NPM | npm.io

The Fool

The Foolは、jsonを渡すとスクレイピングしてきてくれます。

Breaking changes

v1.0.0

Nightmare.jsは外から注入して使うようになりました！

スクレイピング

サイト内の情報を取得します。

用意するjson

{
  "data": [
    ["goto", "https://www.google.co.jp/"],
    ["type", "form[action='/search']", "fool"],
    ["click", "form[action*='/search'] [type=submit]"],
    ["wait", "._NId h3 a"],
    ["snatch", "._NId h3 a", "innerText"]
  ]
}

サンプルコード

import Nightmare from 'nightmare';

const data = {
  data: [
    ["goto", "https://www.google.co.jp/"],
    ["type", "form[action='/search']", "fool"],
    ["click", "form[action*='/search'] [type=submit]"],
    ["wait", "._NId h3 a"],
    ["snatch", "._NId h3 a", "innerText"]
  ]
};

const fool = new Fool(Nightmare({ show: true }));

fool.travel(data)
  .then(result => {
    console.log(result);
  });

/**
* CONSOLE
*
[ [ 'foolの意味 - 英和辞典 Weblio辞書',
    'FOOLの番長ブログ - アメーバブログ',
    'foolの意味・用例｜英辞郎 on the WEB：アルク',
    'foolの意味 - goo辞書 英和和英',
    'FooL',
    'FOOLとは (フールとは) [単語記事] - ニコニコ大百科',
    'フール(FOOL)｜ホットペッパービューティー',
    'FOOL THE PUBLIC OFFICIAL WEB SITE - Jimdo',
    'Shaqtin\' A Fool - NBA.com',
    'Fool.com: Stock Investing Advice | Stock Research' ] ]
*/

その他の操作について

nightmare.jsを使用しています。下記は主なコマンドです。 Intaract with the pageの詳細は、nightmareをご参照ください。

https://github.com/segmentio/nightmare/blob/master/Readme.md#interact-with-the-page

概要	intaract with the page	json.dataの例
WEBページを開く	goto	"goto", "https://www.google.co.jp/"
テキストボックスに入力	type	["type", "formaction='/search'", "fool"]
セレクターで指定された要素の表示を待つ	wait	"wait", "._NId h3 a"
セレクターで指定された要素をクリックする	click	["click", "formaction*='/search'"]
セレクターで指定された単一の要素のpropertyを取得する	scrape	"scrape", "._NId h3 a", "innerText"
セレクターで指定された要素のpropertyを配列で取得する	snatch	"snatch", "._NId h3 a", "innerText"