Tabla de Contenido
Qué es un Web Crawler?
Un programa automatizado que navega por las páginas web de forma metódica y automatizada. Este proceso se llama rastreo o crawling. Muchos sitios legítimos, en particular los motores de búsqueda, utilizan el «crawling» como medio para proporcionar datos actualizados.
El crawling tambien esta asociado al web scraping, con la finalidad de extraer la información de las urls crawleadas.
En este post les enseñaré como programar un web crawler con NodeJS.