DEV Community: karen

Un acercamiento al proceso de extracción y manipulación de datos con scrapy.

karen — Tue, 09 Aug 2022 02:09:00 +0000

Vision General

En este blog hare web scraping con un solo script utilizando scrapy y crawlerprocess, generando así un csv. Limpiaré los datos obtenidos y crearé una gráfica simple con ellos.

Haciendo el web scraping

Iniciamos la spider, vamos a escraperar el sitio books.toscrape.com

class BooksSpider(scrapy.Spider):
    name = "books_spider"
    def start_requests(self):
        yield scrapy.Request(url="http://books.toscrape.com/",callback=self.parse)

Parseamos los datos de la página con xpath

    def parse(self, response):
        t = response.xpath('//article[@class="product_pod"]/h3/a/text()').extract()
        p = response.xpath('//article[@class = "product_pod"]/div[@class="product_price"]/p[@class="price_color"]/text()').extract()
        a = response.xpath('//article[@class = "product_pod"]/div[@class="product_price"]/p[contains(@class,"instock")]/text()').extract()

A continuación una forma correcta de generar un csv, con un for recorrer las listas creadas en el paso anterior y hare una prelimpieza de estos datos con .strip() que eliminara los espacios restantes.

        for i in range(len(t)):
            yield {'title': t[i].strip(),'price': p[i].strip(),'availability': a[i].strip()}

Generamos el csv

indicamos que el archivo de salida tendra el formato csv y se llamara books.csv


process = CrawlerProcess(settings={
    'FEED_FORMAT': 'csv',
    'FEED_URI': 'books.csv',
    'DOWNLOADER_MIDDLEWARES': {#esta configuracion es para user agents

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
            'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
        },

})
process.crawl(BooksSpider)
process.start()

utilizando el jupyter notebook

importamos las librerias que utilizaremos que son: pandas y numpy

import numpy as np
import pandas as pd

leemos el csv y vemos los primeros 5 elementos con el metodo .head()

df = pd.read_csv("books.csv") 
df.head()

veemos que algunas filas no tiene todos sus datos asi que inspeccionamos el csv con .isna que nos devuelve true si faltan datos y tambien ponemos .any() para ver si faltan datos en cada columna

df.isna().any()

solo faltan datos en availability que indica si hay o no stock, vamos a llenar los datos faltantes poniendo que no hay stock

df.fillna("Not in stock")

Graficando

importamos el submodulo pyplot

import matplotlib.pyplot as plt

Ahora queremos graficar el precio y la disponibilidad pero la columna "availability" es de tipo string asi que la mapearemos a valores numéricos indicando que si hay stock vale 1 y si no 0

df["cantidad_disponible"] = df["availability"].map({"In stock": 1,"Not in stock":0,np.nan:0})

Generamos la grafica indicando que el precio estará en la abscisa x y la cantidad disponible en la abscisa, donde haya datos lo marcaremos con circulo "o", indicamos que la grafica sera de color azul con color = "b" y el estilo de la linea sera dasheado

fig, ax = plt.subplots()
ax.plot(df["price"],df["cantidad_disponible"],color="b",marker="o",linestyle="--")

Ahora agregaremos labels y un título al gráfico

ax.set_xlabel("precio (en euros)")
ax.set_ylabel("disponibilidad")
ax.set_title("precio de libros")
plt.xticks(rotation=90)
plt.show()

si quieren pueden ver mi deepnote con el codigo de pandas y matplotlib Aqui el código

Introducción a Regex

karen — Sat, 16 Jul 2022 02:34:31 +0000

Visión General

En este blog veremos una introducción a regex en python. Es importante al utilizar regex saber manipular strings y utilizar el modulo re, a continuación mostrare ejemplos básicos.

Syntax Requerida

strings

para este ejercicio recorreremos un string para aplicar regex más fácilmente vamos despedazar un string en substrings, esto lo logramos con el metodo split

.split(separator,maxsplit)

sus parámetros opcionales son separator y maxsplit
separator: sirve para indicar en que carácter del string se va a hacer la separacion del string, por defecto es un espacio en blanco
maxsplit: es el número máximo de veces que se separara la string

Ejemplo:

example_string = "Hello World"
print(example_string.split())

output:

>> ["Hello","World"]

modulo re

El modulo re es usado principalmente para generar expresiones regulares o regex para su previo uso.

regex: son usados para "filtrar" substrings específicos de textos, estan compuestos de caracteres y metacaracteres.

caracteres: hacen match consigo mismo.

ejemplo: todas los caracteres conocidos incluso los especiales.
metacaracteres: son propios de regex hacen match a caracteres específicos o números
ejemplo: \d \D \w \W \s \S ^ $ [] . |
cuantificadores: indican cuantas veces aparece o no un caracter o metacaracter
ejemplo: ? {} + *

Ejemplo 1

Queremos extraer los substrings que contengan un numero.

import re
example_string = "4abc a solo $100"
pattern = re.compile(r'\$?\d{1,3}')
for numero in example_string.split():
    if pattern.match(numero):
        print(numero)

output:

>> 4abc
>> $100

Explicación

primero importamos el módulo .
teniendo example_string queremos extraer los substrings que contengan un número.
Aqui generamos el patron o "pattern", tenemos dos numeros el primero empieza con un signo de dolor "$" como es un metacaracter lo escapamos con un backslash, pero como el otro número no tiene agregamos el cuantificador "?" que indica que el carácter a la izquierda puede aparecer cero o una vez, luego ponemos el metacaracter \d que indica que hay un dígito de 0 a 9 y con el cuantificador "{}" indicamos que el numero aparece 1 a 3 veces, lo cual esta bien ya que tenemos el 4 de 1 dígito y el 100 de 3 dígitos.
recorremos el string, con un bucle for, dividiéndolo en una lista de substrings con split()
vemos si hace match el patron con el substring en numero, "filtramos" el string
finalmente imprimimos el numero

Ejemplo 2

Tenemos un texto del que queremos extraer hashtags.

import re
my_string = "esta es mi canción #favorita de toda la vida #4ever"
hashtags = []
for hashtag in my_string.split():
    if re.match(r'\#4?[a-z]',hashtag):
        hashtags.append(hashtag)
print(hashtags)

output:

>> ["#favorita","#4ever"]

Explicación

primero importamos el módulo
teniendo my_string queremos extraer los hashtags
creamos una lista de hashtags para contener los hashtags filtrados
recorremos el string, con un bucle for, dividiéndolo en una lista de substrings con split()
vemos si hace match el patron, esta vez para variar lo generamos en el mismo método, con cada substring. En el patron generado primero escapamos el hashtag, luego ponemos un 4 con el cuantificador "?" ya que un hashtag tiene 1 cuatro y el otro tiene 0 cuatros y ponemos un rango con "[]", un rango sirve para indicar un rango de caracteres, indicamos de la a-z en minúsculas, ya que los hashtags son en minúsculas, asi abarcamos todo el hashtag.
agregamos a la lista de hashtags los substring que sean hashtags
finalmente imprimimos la lista de hashtags.

Web Scraping con scrapy y regex

karen — Wed, 06 Jul 2022 13:58:01 +0000

Visión General

En este post mostrare una manera de usar regex en un proyecto de scrapy coon CrawlerProcess, tomando como ejemplo el sitio web pagina12.com.ar

Requirements

las librerias utilizadas en este proyecto son las siguientes
Scrapy==2.6.1 scrappy-user-agents=0.1.1

Primero crearemos el código base de la Spider

empezamos creando la clase de nuestra spider llamada PaginaDoceSpider que hereda de scrapy.Spider
le damos el nombre 'pagina_doce'
como solo tenemos un url se la pasamos directamente a scrapy.Request como string y el callback lo dirigimos a nuestro segundo metodo parse_frontpage donde parseamos la pagina
- url = "https://www.pagina12.com.ar"
- callback = self.parse_frontpage por ahora en el metodo parse_frontpage que recibe una response solo creamos una lista vacia y con el cual generaremos un json con los valores de esa lista

#importamos los modulos necesarios
import scrapy
from scrapy.crawler import CrawlerProcess

#creamos la clase de nuestra spider
class PaginaDoceSpider(scrapy.Spider):
    name = 'pagina_doce'
    def start_requests(self):
        yield scrapy.Request(url="https://pagina12.com.ar",callback=self.parse_front_page)
    def parse_frontpage(self, response):
        links = []#aqui almacenaremos los selectores que agregaremos al json
        yield{'links': links} #generamos el json

Generar Lista de Selectores

con xpath hago scraping del sitio web y con la función extract() extraigo una lista de selectores para almacenarlos en la variable hrefs

hrefs = response.xpath('//a[@class="p12-dropdown-item"]/@href').extract()
for link in hrefs:
    print(link)

imprimo los links del hrefs para ver que tengo mas anchors de los que queria y bueno como yo se la url de los links que necesito puedo crear una expresión regular para filtrar los hrefs.

Utilizar Regex

Creamos una expresión regular, para utilizar en nuestra araña, a la funcion compile le pasamos una string con el regex anteponiendole una 'r', para indicar que es de forma recursiva.
Dado que el url en el que necesitamos hacer match es https://www.pagina12.com.ar/secciones nos quedaría la expresion regular r'https:\/\/w{3}.[a-r1-2.\/]+secciones'
generamos el patron y lo agregamos como variable de clase a nuestra clase PaginaDoceSpider

p = re.compile(r'https:\/\/w{3}\.[a-r1-2\.\/]+secciones')

como los hrefs obtenidos son mas de los que queremos podemos especificar mas nuestro xpath o aplicar nuestra espresión regular

links = []
for link in hrefs: # Parsear cada seccion
    if self.p.match(link):
        links.append(link)

filtramos los links con un if y el patron generado 'p', luego los agregamos a la lista links

Nuestra clase final

class PaginaDoceSpider(scrapy.Spider):
    name = 'pagina_doce' # Nombre del spider
    p = re.compile(r'https:\/\/w{3}\.[a-r1-2\.\/]+secciones')
    def start_requests(self):
        yield scrapy.Request(url=get_proxy_url("https://pagina12.com.ar"), callback=self.parse_frontpage)

    def parse_frontpage(self, response):
        links = []
        hrefs = response.xpath('//a[@class="p12-dropdown-item"]/@href').extract()
        for link in hrefs: # Parsear cada seccion 
            if self.p.match(link):
                links.append(link)
        yield{'links': links}

Agregando settings especificos para la Spider

instanciamos un objeto process

process = CrawlerProcess(settings={
        'FEED_URI': 'pagina_doce.json',
        'FEED_FORMAT': 'json',
        'DOWNLOADER_MIDDLEWARES': {
            'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
            'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
        }
    })

con FEED_URI especificamos ej archivo output que tendra nuestra araña, con FEED_FORMAT el tipo del archivo y DOWNLOADER_MIDDLEWARES es la configuración que tenemos que poner para nuestros user agents de la libreria scrapy-user-agents

Iniciamos el Scraping

tenemos que pasarle el nombre de nuestra clase Spider a la funcion crawl

process.crawl(PaginaDoceSpider)
process.start()