scraper-sede v3.1.0

Scrapeo de sede catastro

Introduccion

El proyecto obtiene los .cat con informacion cartografica de todas las provincias y municipios de españa.

Lo hace a traves del scrapeo de la web Sede catastro.

Tecnologias utilizadas

• Node.js
• Puppeteer

Ejecucion

npm start

Implementaciones

Puppeteer

Se encarga de emular una version de chromium con la que se ejecuta la autenticacion y el bypass de captachas en la web.

Zip

Se encarga de la administracion y el manejo de archivos zip

getAxios

Obtencion de un cliente unico de axios para ahorrar rendimiento

Scraper/Municipio

Se encarga de las peticiones a los archivos cat de un municipio. Obtencion de id de peticion y stream del archivo.

Scraper/Provincia

• Se encarga de iterar los municipios de una provincia.
• Agrega a chunks de promises la obtencion de cada archivo para trabajarlos de manera mas eficiente
• Obtencion de token de peticion

Scraper/Scraper

Implementacion de clase Zip, Puppeteer y Provincia para obtener la autenticacion, archivos y subir un zip final.