Cómo usar Proxies con Requests y Python

Enviar peticiones HTTP con Proxies en Python no es dificil. Tenemos módulos incorporados como urllib, urllib2 para tratar las peticiones HTTP. Además, disponemos de herramientas de terceros como Requests. Muchos desarrolladores utilizan Requests porque es de alto nivel y está diseñado para hacer extremadamente fácil el envío de peticiones HTTP.

Pero elegir la herramienta que mejor se adapte a sus necesidades es sólo una cosa. En el mundo del raspado de la red, hay muchos obstáculos que tenemos que superar. Un gran desafío es cuando scraper se bloquea. Para resolver este problema, es necesario utilizar proxies. En este artículo voy a mostrarte cómo utilizar los proxies al usar el módulo de Requests para que tu scraper no sea baneado.

Requests y Proxies

En esta parte vamos a cubrir cómo configurar los proxies en Requests. Para empezar necesitamos un proxy que funcione y una URL a la que queramos enviar la petición.

def request_proxy(url):
    import requests
    proxies = { "http": "http: // 10.10.10.10: 8000 ",
                "https": "http: // 10.10.10.10: 8000"
    }
    html = requests.get( url , proxies = proxies).text
    return html

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.