DEV Community: Alexander

JSON en PostgreSQL

Alexander — Sat, 20 Mar 2021 23:07:45 +0000

PostgreSQL incluye soporte para el tipo de dato JSON desde la versión "9.2". En este tutorial se verán ejemplos de cómo trabajar con inserciones y consultas de campos JSON.

¿Qué es JSON?

JSON, es el acrónimo de "JavaScript Object Notation" o "notación de objeto de JavaScript". Es un formato de texto sencillo utilizado para el intercambio de datos.

Su estructura es similar a la del siguiente ejemplo:

{
  "autor": "Isaac Asimov",
  "pais": "Rusia",   
  "libros":[
    {
      "titulo": "Yo robot",
      "isbn": "9780739312698"
    },{
      "nombre": "El hombre bicentenario",
      "isbn": "9788440677778"
    } 
  ]
}

Creación de una tabla que utiliza un campo de tipo JSON

La declaración de una columna JSON solo requiere el nombre del campo + el tipo de dato "json", por ejemplo:

CREATE TABLE book (
   id serial,
   info json
);

En la tabla anterior almacenaremos información sobre grupos de libros por autores.

Inserción de registros

INSERT INTO book (info)
    VALUES ('{"autor": "Isaac Asimov","pais": "Rusia","libros":[{"titulo": "Yo robot","isbn": "9780739312698"}]}');

o para insertar varios registros al mismo tiempo:

INSERT INTO book (info)
    VALUES ('{"autor": "Patrick Rothfuss","pais": "EEUU","libros":[{"titulo": "El nombre del viento","isbn": "9788499082479"}]}'),
    ('{"autor": "Arthur C. Clarke","pais": "Reino Unido","libros":[{"titulo": "Cánticos de la lejana Tierra","isbn": "9788401322013"}]}');

Consultas

Para ver la información que ya tenemos almacenada podemos usar:

SELECT id, info FROM book;

y para mostrar un atributo del json, podemos utilizar el operador "->":

::sql
SELECT info->'autor' FROM book;

autor (json)
"Isaac Asimov"
"Patrick Rothfuss"
"Arthur C. Clarke"

Noten que el operador nos retorna un tipo "json", pero si utilizamos la versión "->>" se transforma en un tipo "text":

SELECT info->>'autor' as autor, info->'pais' as pais FROM book;

autor (text)	pais (json)
Isaac Asimov	"Rusia"
Patrick Rothfuss	"EEUU"
Arthur C. Clarke	"Reino Unido"

Consultas con condicionales (WHERE)

Por ejemplo, si deseamos obtener los registros cuyos autores pertenezcan a un país, podemos realizar una consulta similar a:

SELECT info FROM book WHERE info->>'pais' = 'Rusia';

Nótese que para comparar un valor del json con un "text" debemos utilizar el operador: "->>".

Se pueden realizar consultas y operaciones más complejas, pero como al menos como introducción, espero que este post les haya sido de ayuda.

Referencias

Este post apareció primero en: JSON en Postgresql

Capturar la pantalla con Python (Selenium)

Alexander — Thu, 11 Jun 2020 17:59:43 +0000

Sabemos que en Python podemos obtener el código de HTML de una página web con muchas herramientas como: urllib, requests, faster_than_requests entre otras, pero para renderizar el contenido de un website, necesitamos herramientas como selenium.

Selenium es un entorno de pruebas para websites, el cual nos permite automatizar muchas tareas relacionadas al uso de un navegador mediante código.

Para nuestro ejemplo, necesitaremos dos cosas:

Instalar selenium
```
pip install selenium
```
Instalar chomedriver, el driver oficial para manipular Chrome.

Para ello debemos descargar el driver de la página oficial según nuestro sistema operativo, y agregar el directorio que lo contiene al PATH.

Nota: debemos descargar la versión adecuada según la versión de nuestro navegador.

El código

Ahora podemos escribir el código necesario. Noten que usaremos chrome en su versión headless, de este modo podemos interactuar con el navegador en entornos donde no necesitamos su interfaz gráfica.

from selenium import webdriver

url = 'https://www.djangoproject.com/'
options = webdriver.ChromeOptions()
options.add_argument('--window-size=1024,768')
options.add_argument('--headless')
options.add_argument('--disable-gpu')

browser = webdriver.Chrome(options=options)

browser.get(url)
browser.save_screenshot('django.png')
browser.close()

Lo que nos produce la siguiente salida:

Notamos el uso de algunos parámetros como:

--windows-size: para ajustar el tamaño de la ventana a capturar
--headless: para que chrome se ejecute sin necesidad de iniciar la interfaz gráfica
--disabled-gpu: parámetro necesario si usamos Windows como sistema operativo.

Nota: podemos deshabilitar la visualización del scrollbar con la opción extra --hide-scrollbars

Tomando una captura de la página completa

En la captura anterior, se observa que solo fue tomada una sección de la página. ¿Cómo podemos capturar la pantalla completa del navegador?

Para ello podemos ejecutar un código javascript para conocer el tamaño de la página y tomar una nueva captura:

import time
from selenium import webdriver

url = 'https://www.djangoproject.com/'
options = webdriver.ChromeOptions()
options.add_argument('--window-size=1024,768')
options.add_argument('--headless')
options.add_argument("--hide-scrollbars")
options.add_argument('--disable-gpu')

browser = webdriver.Chrome(options=options)
browser.get(url)
time.sleep(2)  # esperamos que cargue todo con un tiempo moderado
height = browser.execute_script(
    "return Math.max( document.body.scrollHeight, document.body.offsetHeight, document.documentElement.clientHeight, document.documentElement.scrollHeight, document.documentElement.offsetHeight )")
print(height)
browser.close()

# realizamos la captura con el "alto" que hemos obtenido
options = webdriver.ChromeOptions()
options.add_argument('--no-sandbox')
options.add_argument(f'--window-size=1024,{height}')
options.add_argument('--headless')
options.add_argument("--hide-scrollbars")
options.add_argument('--disable-gpu')
options.add_argument('--ignore-certificate-errors')

browser = webdriver.Chrome(options=options)
browser.get(url)
browser.save_screenshot('django_fullpage.png')

Si, así de simple.

Observaciones finales

Como hemos visto, con selenium podemos automatizar el proceso de tomar capturas. Un usuario podría ingresar una url en nuestro sistema y mediante lo anterior, podríamos realizar una captura.

Claro, con selenium podemos automatizar muchas otras tareas como darle click a botones, testear formularios u otros, por lo que recomiendo darle una revisión para conocer todas las posibilidades.

Peewee: ORM para python - I

Alexander — Sat, 21 Dec 2019 17:04:39 +0000

Liquid syntax error: 'raw' tag was never closed