¿Alguna vez te has encontrado en el problema que tienes verificar el estado de miles de Dominios o URLs?
Programando un Web Crawler con NodeJS
Qué es un Web Crawler? Un programa automatizado que navega por las páginas web de forma metódica y automatizada. Este proceso se llama rastreo o crawling. Muchos sitios legítimos, en particular los motores de búsqueda, utilizan el «crawling» como medio para proporcionar datos actualizados. El crawling tambien esta asociado al web scraping, con la finalidad …