DEV Community: Julieta Ansola

Serverless para Startups

Julieta Ansola — Fri, 22 Apr 2022 14:01:44 +0000

Quick resumen:

Las Startup se centran en mejorar la experiencia de usuario, y las iteraciones entre desarrollo y las implementaciones deben ser agiles.
La arquitectura serverless no solo mejora el tiempo de salida al mercado sino que le permite a las startup centrarse en el desarrollo del producto al no tener q preocuparse por la gestion de recursos.

En pocas palabras : que es serverless?

Básicamente, utiliza un proveedor de nube para administrar completamente su infraestructura.
No tienes que preocuparte por servidores, escalabilidad, tolerancia a fallos, etc...
Todo está gestionado por el proveedor de la nube.
Referencia de AWS:
https://aws.amazon.com/es/serverless/

Un poco de historia:
Si bien se venia hablando de arquitecturas serverless, el hito que marca el nacimiento de lo que hoy conocemos fue el lanzamiento de Lambda en 2014.
Anteriormente, los equipos de operaciones asignaban los recursos en función de la previsión de la demanda, que tenía problemas generales, y los cálculos no debían exceder las capacidades del sistema. AWS Lambda lo ayuda a manejar las capacidades restrictivas del sistema al ofrecer recursos informáticos que se amplían o reducen en tiempo real.

Según Martin Fowler , hay dos áreas superpuestas que abarca serverless,

Serverless se utilizó por primera vez como un concepto que describe la aplicación con servicios integrados de terceros y aplicaciones alojadas en la nube que administran la lógica del lado del servidor. Dichos servicios a menudo se describen como el "Backend (móvil) como servicio" o BaaS.
Serverless también se puede describir como una arquitectura en la que la lógica del lado del servidor se escribe desde cero y se ejecuta en contenedores de cómputo sin estado que se desencadenan por eventos y se administran completamente por servicios de terceros. A menudo se lo conoce como "Funciones como servicio" o "FaaS", y uno de los ejemplos más significativos de su implementación es AWS Lambda.

Ventajas de la arquitectura sin servidor
Reduccion de costos: la principal ventaja de la arquitectura sin servidor es que no pagamos por el hardware o cuando no se utilizan nuestros servicios.
Parches y updates :Con la arquitectura serverless, esto corresponde completamente a su proveedor de nube.
Revisiones más rápidas : una arquitectura serverless puede reducir el tiempo necesario para la implementación de " salir al mercado ".
Simplificacion del codigo : al usar FaaS, los desarrolladores pueden crear funciones simples que se realizan de forma independiente para lograr un solo rol.
Escalabilidad : planea crear una aplicación que es muy popular y, después de una campaña de marketing, explota. Nada de qué preocuparse allí. La arquitectura sin servidor tiene la capacidad de escalar automáticamente según el volumen de tráfico actual.

Pero no todo es color de rosas:
Menor control: su proveedor de la nube controla toda su infraestructura, lo que puede causar problemas si tienen algún problema por su parte. Problemas como tiempo de inactividad del sistema, límites inesperados, cambios de costos, pérdida de funcionalidad, actualizaciones de API forzadas y más.
Migracion de proveedores: los proveedores de la nube no son intercambiables, pueden tener los mismos servicios, pero lo más probable es que se implementen de manera diferente. Si desea pasar de un proveedor a otro, se verá obligado a realizar algunos cambios de código o incluso cambios de arquitectura.
Complejidad : las cosas se vuelven complejas cuando tienes muchas funciones. La complejidad puede surgir en el código, la arquitectura o incluso simplemente en la depuración.
Pruebas : las funciones de prueba unitaria no son tan difíciles, porque no tienen estado y están aisladas. La dificultad viene cuando hay que hacer pruebas de integración entre dos o más funciones.

Entonces, serverless es el futuro de las startups?
Serverless es el presente!
Cada vez son mas las empresas que optan por este modelo de arquitecturas, y los proveedores que les facilitan el camino.
AWS tiene su programa Startups y AWS en el cual brinda asesoramiento y apoyo para poder empezar.

Redshift es compatible con vistas materializadas!

Julieta Ansola — Wed, 18 Aug 2021 00:21:07 +0000

Esta buen noticia llego a fines del 2019, donde Amazon anuncio la copatibilidad de Redshift con las vistas materializadas.
Pero, que son?

Una vista no es mas que una consulta almacenada que representa un conjunto

de tablas (posiblemente de diferentes esquemas) a la que daremos

un nombre y trataremos como si fuese una tabla más de nuestro

esquema, pero sin llegar a ser realmentea serlo. Es importante destacar que una vista NO guarda datos, sino que solo almacena el query

que nos dara acceso a los datos. Existen principalmente dos motivos para usar las vistas, en primer lugar por cuestiones de seguridad, para restringir el acceso a ciertos usuarios a toda la información de la base de datos, dandole acceso en cambio a un conjunto de datos específicos que creamos para esos usuarios. Por otro lado, el otro motivo

tiene que ver con la estructura de nuestro modelo de datos, ya que si es bastante

complejo o con muchas tablas nos puede ser muy útil crear este tipo

de vistas para organizar una cierta información de modo que nos sea

mucho más cómodo acceder a ella mediante consultas mucho más

sencillas.

Ahora bien, a diferencia de las vistas tradicionales, una vista materializada

almacena físicamente los datos resultantes de ejecutar

la consulta definida en la vista. Este tipo de vistas materializadas realizan

una carga inicial de los datos cuando se definen y posteriormente con una

frecuencia establecida se actualizan los datos de la misma.Con la utilización

de vistas materializadas logramos aumentar el rendimiento de las consultas

SQL además de ser un método de optimización

a nivel físico en modelos de datos muy complejos y/o con muchos datos.

Una vez definida una vista materializada uno de los problemas

que nos encontramos es el de la actualización de los datos.

Como se ha comentado antes, estas vistas contienen fisicamente los datos de

las «tablas base», por lo que si cambian los datos de estas tablas

no se reflejarán en la vista materializada. Para ello necesitamos establecer

un mecanismo de resfresco automático en el que tendremos que definir

el tipo y la forma de refresco.

El comando para crear una vista materializada en Redshift es:

CREATE MATERIALIZED VIEW mv_name
[ BACKUP { YES | NO } ]
[ table_attributes ]   
[ AUTO REFRESH { YES | NO } ]
AS query

Tenemos algunos parametros mas para agregar, te los dejo en la documentacion
Cabe destacar que se pueden crear vistas materializadas basadas en una o mas tablas, mediante el uso de filtros, proyecciones, combinaciones internas, agregaciones, agrupaciones, funciones, etc.
En resumen, podemos optimizar aun mas las consultas en Redshift, aunmentando la velocidad de las consultas mediante el procesamiento de la consulta en función de los datos precalculados almacenados en la Vista materializada
Y todo esto sin costo adicional!

Redshift como Almacén de datos

Julieta Ansola — Wed, 18 Aug 2021 00:00:45 +0000

Disclaimer: Esta no es una guía paso a paso sobre como empezar a usar Redshift, pero te dejo una

Hoy quiero contarles sobre qué es Redshift, porque elegirlo (y por qué no), y sus ventajas por sobre otras herramientas.

Empecemos, porque Redshift?

Últimamente, la cantidad de datos que se necesitan analizar en cualquier empresa es cada vez más grande, y cuando buscamos sobre soluciones para manejar grandes cantidades de datos, o sobre almacenes de datos, en las primeras búsquedas aparece como opción Redshift, entonces, ¿qué es?

Amazon Redshift es un servicio de almacenamiento de datos a escala de petabytes basado en la nube que Amazon Web Services (AWS) proporciona y administra en su totalidad. Es una solución muy eficiente y eficaz para recopilar y almacenar todos sus datos. Puede analizarlo haciendo uso de varias herramientas de inteligencia empresarial disponibles para obtener información para sus clientes y negocios.

Como principales beneficios podemos nombrar que la Escalabilidad, ya que solo debemos agregar nodos adicionales y la aplicación permanece operacional durante este proceso, ya que el clúster existente permanece disponible para las operaciones de lectura. El proceso de transición aquí es bastante fluido y flexible, ya que los datos se mueven en paralelo entre los nodos de los clústeres nuevos y antiguos.

Redshift puede escalar hacia afuera casi infinitamente, lo que hace que sea ideal para casos de uso en los que necesitamos consultar grandes cantidades de datos en el ámbito de los petabytes y más allá.

Los usuarios concurrentes tampoco son un problema, ya que se admiten un número prácticamente ilimitado de usuarios y consultas al agregar capacidad transitoria en segundos a medida que aumenta la concurrencia.

Además podemos destacar el Alto Rendimiento, con la optimización de consultas, la eficiente comprensión de datos y el paralelismo.

Por otro lado tenemos la Seguridad, Redshift nos provee cifrado de datos, VPC para aislamiento de red, y distintas formas de acceder a las opciones de control. El cifrado de clúster se puede habilitar en el momento de iniciar el clúster para cifrar los datos almacenados en el clúster. El cifrado del lado del servidor y el cifrado del lado del cliente se pueden utilizar al cargar datos desde S3.

Algo en lo que destaca Redshift es en la Capacidad de almacenamiento donde nos ofrece un rango de petabytes, podemos agregar nodos al cluster para superar el rango de petabytes.

Otro punto, no menos importante, es su interfaz SQL, similar a la de PostgreSQL. También es fácilmente compatible con los controladores Postgres JDBC/ODBC.

Ahora bien, Redshift es para todos?

No, no es para todos, tenemos varios casos de usos, que detallare después, pero es importante aclarar que Redshift, como todos los almacenes de datos realizan muchas compensaciones para optimizar el análisis de grandes cantidades de datos, por lo que mantener un cluster, si bien no es extremadamente difícil, lleva su trabajo.

Una de estas optimizaciones es que Redshift es un sistema de administración de bases de datos orientado a columnas, lo que significa que nuestros datos están divididos por columna en lugar de por fila.

Las bases de datos en columnas intercambian los beneficios de la indexación tradicional para resolver un problema que se vuelve más significativo con la escala: el tiempo de lectura de registros del disco . Si sus tablas tienen millones de filas y toneladas de columnas, el mero hecho de recuperar filas enteras crea un cuello de botella. Particionar datos por columna significa que cada vez que recuperamos un valor de una partición, ahora solo recuperamos un valor único por partición: esto reduce significativamente la carga que colocamos en el disco duro y da como resultado una velocidad general más rápida en cantidades masivas de datos .

Es de suma importancia evaluar las ventajas y desventajas de usar Redshift, y para esto les dejo un articulo interesante

Casos de uso de Amazon Redshift en la industria

Analítica operativa de eventos

Reúna datos estructurados de su almacén de datos y datos semiestructurados, como registros de aplicaciones de su lago de datos S3, para obtener información operativa en tiempo real sobre sus aplicaciones y sistemas.

Inteligencia de negocios

Podemos crear informes y cuadros de mando extremadamente sorprendentes y potentes utilizando las herramientas de inteligencia empresarial existentes. Esto resulta bastante simple y rentable para ejecutar consultas de alto rendimiento en enormes petabytes de datos estructurados.

Analítica predictiva

Utilice SQL para crear, entrenar e implementar automáticamente modelos de Amazon SageMaker en los datos de su almacén de datos con Redshift Machine Learning

Almacenamiento y procesamiento de datos con análisis de registros

Algunos de los beneficios que se ofrecen aquí son que se garantiza la máxima fidelidad sin pérdida de información. Cortar y cortar en cubitos puede ser posible en cualquier dimensión.

Datos como servicio

Comparta datos dentro y fuera de su organización para una colaboración segura y gobernada en datos en vivo con el intercambio de datos de Redshift.

Finalmente, hablemos de precios

Redshift cobra por tiempo de actividad, y el clúster de un solo nodo más pequeño cuesta $0.25 por hora, aunque no tendría sentido ejecutar un solo nodo, por lo que el precio por hora subiría a $1 por hora.

Está claro, solo por los precios, que Redshift no está destinado a "aficionados", pero si comparamos con BigQuery q cobra por tamaño de consulta, en almacenes donde deseamos procesar una cantidad grande de datos, Redshift termina ejecutando significativamente más rápido, y termina resultando más económico.

Además Redshift es el único almacén de datos en la nube que ofrece precios con modalidad bajo demanda sin costos iniciales.

Para concluir, podemos mencionar que Amazon Redshift nos provee, además de una gran integración con herramientas de terceros, aprovisionamiento y copias de seguridad automatizados, flexibilidad en las consultas SQL, seguridad con cifrado y aislamiento de la red, y sobre todo una escalabilidad máxima, con almacenamiento y análisis a escala de petabytes, y simultaneidad ilimitada.