Qué es un Web Crawler?
Un programa automatizado que navega por las páginas web de forma metódica y automatizada. Este proceso se llama rastreo o crawling. Muchos sitios legítimos, en particular los motores de búsqueda, utilizan el «spidering» como medio para proporcionar datos actualizados.
En este post les enseñaré como programar un web crawler con NodeJS.