Web Scraping Herramientas y Técnicas para No bloquearte en el paso

SERGIO ROJAS — Mon, 30 Oct 2023 01:34:38 +0000

El mundo del desarrollo web es un viaje en constante evolución, y en mi propia travesía decidí dar un giro inesperado. Siendo un desarrollador Front-end apasionado por el diseño web, me aventuré a dar un salto hacia el desarrollo Back-end.

Esta transición no solo amplió mis horizontes, sino que también me permitió explorar una herramienta fascinante: el web scraping.

En este artículo, compartiré mi experiencia y algunas de las lecciones aprendidas que me ayudaron a superar el desafío de cambiar mi enfoque de desarrollo y sumergirme en este mundo del web scraping. Posiblemente desarrolle un proyecto más complejo en el futuro donde se demuestre de manera práctica el desarrollo y los usos de Selenium en web scraping.

Inicialmente, partí investigando casos expuestos en la red sobre web scraping, incluyendo las mejores herramientas y los escenarios en los que se pueden aplicar. Esto me ayudó a seleccionar Python como lenguaje de programación inicial para comenzar con el desarrollo, permitiéndome obtener, manipular y usar los datos generados mediante web scraping.

Te recomiendo investigar cómo realizar web scraping en la página que tengas en mente. Es posible que puedas obtener la información usando Beautiful Soup o Selenium. Para páginas donde la información está cargada de forma dinámica, se recomienda el uso de Selenium.

La diferencia principal radica en cómo deseas obtener los datos de la página. Beautiful Soup realiza una especie de captura de pantalla del DOM en el momento, mientras que Selenium permite interacciones más dinámicas.

Para comenzar, descarga Selenium, una herramienta de pruebas de software para aplicaciones web que permite extraer información de las páginas y realizar acciones dinámicas de forma automática:

pip install Selenium

Es importante saber que necesitarás un driver para que Selenium interactúe con tu navegador. Aquí algunos de los drivers más populares:

En este caso, usaré Chrome como ejemplo, ya que al ser uno de los navegadores más utilizados, hay abundante información sobre su uso con Selenium. Luego, configura Selenium para acceder a una URL establecida y realizar web scraping:

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

#Options

browser = webdriver.Chrome()

browser.get('http://www.pagina_prueba_aqui.com')
elem = browser.find_element(By.NAME, 'p')  # Find the search box
browser.quit()

Para esta configuración, es esencial incluir herramientas como WebDriverWait, que permite controlar el tiempo de carga de la página, y By, que facilita la búsqueda de elementos HTML.

Encontrarás numerosos artículos, blogs y videos con valiosa información para desarrollar proyectos que utilicen web scraping.

El propósito de este artículo es ofrecerte orientación sobre posibles errores que podrías enfrentar durante tu desarrollo. Muchos de estos obstáculos me llevaron tiempo entender y resolver, por lo que compartiré mis soluciones para ayudarte a avanzar con éxito en tu proyecto.

Uno de los errores más comunes es ignorar los tiempos de carga de información en una página web. Aunque estimes un intervalo de 5 segundos, no siempre es suficiente para que la información esté disponible. Es importante verificar la existencia de los elementos antes de extraerlos.

delay = 3 # seconds
try:
    myTag = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, 'id_element')))
    print "Page is ready!"
except TimeoutException:
    print "Loading took too much time!"

Otro error frecuente es ignorar cambios dinámicos en el DOM. Estos pueden ocurrir después de una interacción, como un clic o un desplazamiento, haciendo que el scraper falle al intentar acceder a elementos que ya no existen o han cambiado de lugar.

Por último, recuerda respetar los términos de servicio del sitio web objetivo para evitar problemas legales o el bloqueo de tu scraper.

Próximamente exploraremos más errores y mejores prácticas para maximizar la eficiencia de tu scraper con Selenium.

¡Mantente atento! 🚀

How to handle surprise changes within the project 😌🙌

SERGIO ROJAS — Thu, 16 Apr 2020 03:42:11 +0000

Web development field has been growing over time, the community frequently contributes and strengthens new and early technological generations, each person, each taste is divided into back or front, each a fundamental part of the other, darkness and light as fundamental as the same existence.

If you do front-end development, you must understand that the needs that are established by the design team are the most important to guarantee a correct, excellent and primordial user experience providing clear contents and designs that fit the requirements. This seems easy and as end users or consumers we usually categorize the pages depending on its design and web usability, which includes the ease with which a user navigates through a website; to achieve this you must build a simple, intuitive and fluid navigation. It is even possible to say that it is of little use to have a good design if the texts are very long or not very explanatory.

For those who are independent developers, whose approach to the client is constant and who do not have any knowledge of the design or internal functioning of a website, do not despair, they want both the project they commissioned and their tastes to be reflected in the website they want. The changes they will ask you for as the project develops will increase, some changes will be simple while others will be tedious and unnecessary, in these cases patience will be a great companion, try to mitigate, if not eliminate, the discussions that arise from changes in functionality and design, either by color, by position, by size, and so on. This type of changes will be present throughout the life cycle of the project.

I can assure you that those moments will be very impertinent, but that is why must be clear from start to end, explaining to the client in a common way the steps that you are going to follow, the life cycle that you will carry in the project, showing him periodic progress and letting them know what you are going to develop after showing what you already achieved. It is important to establish documents where you specify how you will design the page (look and feel) so the client knows how it will look at the end, that way, your process will be very comfortable. Do not be impatient, at the beginning this can be annoying, but it will help you build a skill that will increase your professional capacity.

DEV Community: SERGIO ROJAS

Web Scraping Herramientas y Técnicas para No bloquearte en el paso

How to handle surprise changes within the project 😌🙌

Go for it!😉