DEV Community: datapathformation

Google Compute Engine: Tipos de máquinas, imágenes y direcciones IP

datapathformation — Mon, 06 Nov 2023 15:35:00 +0000

Queremos acelerar el talento en data y analytics en LATAM. Si te gusta el artículo recuerda que todos los meses tenemos inicios de nuestros programas especializados de Data Engineering, Data Analyst, Cloud y Machine Learning Engineer. Puedes conocer más aquí.

"Las familias de máquinas, imágenes, y las direcciones IP internas y externas de Google Compute Engine (GCE) son importantes para un proyecto de una empresa porque permiten a los usuarios crear y administrar instancias de máquina virtual (VM) de manera eficiente y efectiva."

Tipos de máquinas
La familia de máquinas determina la cantidad de CPU, memoria, almacenamiento, y otros recursos que tiene una instancia de VM. Es importante elegir la familia de máquinas adecuada para la carga de trabajo de la instancia de VM. Por ejemplo, una instancia de VM que ejecuta una aplicación de computación intensiva requerirá más CPU que una instancia de VM que ejecuta una aplicación de base de datos.

General Purpose: E1, N1.
Accelerator: E2, N1.
Compute: C2. Memory: M1, M2

Cuánta GPU, memoria o disco necesitas
Las familias de máquina de GCE se clasifican en función de la arquitectura de CPU, la cantidad de memoria y la velocidad de almacenamiento.

Esto permite a las empresas elegir la familia de máquinas que mejor se adapte a sus necesidades específicas. Por ejemplo, las empresas que ejecutan aplicaciones de computación intensiva pueden elegir una familia de máquinas con más vCPU, mientras que las empresas que ejecutan aplicaciones de memoria intensiva pueden elegir una familia de máquinas con más memoria.

En general, las familias de máquina de GCE son una herramienta valiosa para las empresas que buscan ejecutar sus aplicaciones en la nube. Al elegir la familia de máquinas correcta, las empresas pueden asegurarse de que tienen los recursos necesarios para ejecutar sus aplicaciones de manera eficiente y sin problemas.

Imágenes
Las imágenes son instantáneas de discos duros que se pueden usar para crear nuevas instancias de VM. Las imágenes se pueden usar para crear instancias con el mismo software, configuraciones, y datos. Esto puede ahorrar tiempo y esfuerzo al crear y administrar instancias de VM.
Hay dos tipos de imágenes de Google Compute Engine: imágenes públicas e imágenes privadas. Las imágenes públicas son imágenes que están disponibles en Google Cloud Platform.

Las imágenes privadas son imágenes que solo están disponibles para los usuarios que las han creado o a los que se les han compartido.

Puede crear imágenes de Google Compute Engine desde una instancia existente, un disco duro persistente o un archivo de imagen. También puede importar imágenes de otros proveedores de nube o de su propio entorno local. Luego, una vez que haya creado una imagen, puede usarla para crear nuevas instancias de Google Compute Engine. Cuando crea una nueva instancia, puede seleccionar la imagen que desea usar y Google Cloud Platform creará una instancia nueva con el software, las configuraciones y los datos de la imagen. Asimismo, aquí hay algunos beneficios de usar imágenes de Google Compute Engine:

Eficiencia: Las imágenes se pueden usar para crear instancias con el mismo software, configuraciones y datos, lo que puede ahorrar tiempo y esfuerzo al crear y administrar instancias de Google Compute Engine.
Confiabilidad: Las imágenes se pueden usar para crear instancias que son consistentes entre sí, lo que puede mejorar la confiabilidad de sus aplicaciones.
Seguridad: Las imágenes se pueden usar para crear instancias que están aisladas entre sí, lo que puede mejorar la seguridad de sus aplicaciones.
Flexibilidad: Las imágenes se pueden usar para crear instancias con diferentes configuraciones y datos, lo que le brinda flexibilidad para satisfacer sus necesidades específicas.

Las imágenes de Google Compute Engine son una herramienta poderosa que se puede usar para crear y administrar instancias de Google Compute Engine. Las imágenes se pueden usar para crear instancias con el mismo software, configuraciones y datos, lo que puede simplificar el proceso de creación y administración de instancias de Google Compute Engine.

Dirección IP
Las direcciones IP internas y externas se utilizan para identificar e interactuar con las instancias de VM. Las direcciones IP privadas se utilizan para que las instancias de VM se comuniquen entre sí en la misma red. Las direcciones IP públicas se utilizan para que las instancias de VM sean accesibles desde Internet. Es decir, Google Compute Engine (GCE) asigna direcciones IP públicas y privadas a las instancias de la máquina virtual (VM). Las direcciones IP públicas son direcciones IP únicas que se pueden usar para acceder a las instancias de VM desde Internet. Las direcciones IP privadas son direcciones IP que solo se pueden usar para acceder a las instancias de VM desde otras instancias de VM en la misma red.

Todas las instancias de VM de GCE tienen una dirección IP privada. Esta dirección IP privada se asigna automáticamente por GCE y no se puede cambiar.

La dirección IP privada se usa para que las instancias de VM se comuniquen entre sí en la misma red.

Si desea que una instancia de VM sea accesible desde Internet, debe asignarle una dirección IP pública. GCE puede asignar automáticamente una dirección IP pública a una instancia de VM, o puede asignar una dirección IP pública manualmente. Si asigna una dirección IP pública manualmente, debe asegurarse de que la dirección IP pública no esté en uso por otra instancia de VM.

También puede usar las reglas de firewall para controlar el acceso a las instancias de VM desde Internet. Las reglas de firewall se pueden usar para permitir o denegar el tráfico en función de la dirección IP, el puerto y el protocolo.

Qué aspectos tener en cuenta para elegir direcciones IP para sus instancias de VM

Utilice direcciones IP privadas para las instancias de VM que solo se comunicarán entre sí en la misma red.
Utilice direcciones IP públicas para las instancias de VM que deben ser accesibles desde Internet.
Asegúrese de que las direcciones IP públicas que use no estén en uso por otras instancias de VM.
Use las reglas de firewall para controlar el acceso a las instancias de VM desde Internet.

Giomar Antaurco Trejo
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Referencias:

https://cloud.google.com/compute?hl=es-419
https://hackersandslackers.com/google-cloud-compute-engine/
https://es.linkedin.com/pulse/beneficios-de- google-cloud-platform-estevan-gomez
https://cloud.google.com/compute
https://medium.com/@lyoneel/google-cloud-compute-engine-gce-y-nic-ar-684deae27

Servicios de Redes en Google Cloud

datapathformation — Mon, 30 Oct 2023 16:52:23 +0000

Servicios de Redes en GCP son esenciales para proyectos de negocios porque brindan una conectividad confiable, una escalabilidad efectiva, optimización de recursos y una seguridad robusta. Al utilizar estos servicios, las empresas pueden mejorar su eficiencia operativa, ofrecer una mejor experiencia al usuario, reducir costos y adaptarse rápidamente a las demandas del mercado.

Además, la presencia global de Google Cloud garantiza que los proyectos de negocios puedan tener acceso a recursos y servicios desde cualquier ubicación.

Cuando hablamos sobre los recursos de redes en Cloud, podemos hacer una división de los servicio en cuatro: Conectividad, Optimización, Escalabilidad y Seguridad.

También, contamos con la VPC, que es una (VPC). Es decir, es una red virtual privada que te permite crear, administrar y conectar recursos de computación de manera aislada y segura en la nube. El último del conjunto de conectividad, es el Cloud DNS, que proporciona una solución de gestión de dominios y resolución de nombres de dominio en la nube.

CONECTIVIDAD

En el primer conjunto, tenemos a la conexión híbrida en la que me dejará conectar mi data center a un servidor de la nube de Google.

OPTIMIZACIÓN
En la sección de optimización, tenemos al Centro de Inteligencia de Redes, en la que se encarga del monitoreo.

Es decir, con Network Intelligence Center, los administradores de redes y los equipos de operaciones pueden obtener información valiosa y tomar decisiones informadas, también, sobre el rendimiento, la seguridad y la resiliencia de sus infraestructuras de red en GCP.
En otras palabras, sobre el rendimiento, la seguridad y la resiliencia de sus infraestructuras de red en GCP.

ESCALABILIDAD

Para el bloque de Escalabilidad, están los balanciadores de cargas. El objetivo principal es mejorar la disponibilidad, el rendimiento y la escalabilidad de las aplicaciones y servicios al garantizar una distribución equitativa y eficiente de las solicitudes de los usuarios. El segundo de este bloque, es el Cloud CDN.

Su objetivo principal es proteger tus aplicaciones y servicios en la nube contra ataques Denial of Service, ataques de aplicaciones web (como inyección SQL y cross-site scripting), y otras amenazas comunes a la seguridad web.

El segundo, es el Cloud NAT es un servicio que permite que las instancias de máquinas virtuales (VM) en una red privada puedan acceder a Internet de manera segura y sin la necesidad de tener direcciones IP públicas asignadas directamente a ellas. Cloud NAT actúa como un servicio de traducción de direcciones IP, proporcionando conectividad saliente para las instancias que están detrás de una subred privada en una Virtual Private Cloud (VPC).

El objetivo principal es reducir la latencia y mejorar los tiempos de carga de tus aplicaciones y sitios web, al ofrecer el contenido a los usuarios desde servidores más cercanos geográficamente a ellos.

SEGURIDAD
Para finalizar con los servicios de redes en Google Cloud, está la sección de Seguridad. Primero, es el Cloud Armor. Es un servicio de seguridad que proporciona protección avanzada contra ataques y amenazas web.

En conclusión, los Servicios de Redes en GCP son esenciales para la construcción de una infraestructura de nube eficiente y segura como la combinación de conectividad confiable, optimización del rendimiento, escalabilidad y seguridad robusta para garantizar una experiencia del usuario excepcional

Coordinador Académico Datapath
Giomar Antaurco, 2023

REFERENCIAS

Google Cloud Platform: Seguridad de los Datos https://masterenciberseguridadonline.es/google-cloud-platform-seguridad-de-los-datos/
Planifica tu migración a Google Cloud https://medium.com/@juan.maldonado.leon/migraci%C3%B3n-a-google-cloud-aa697722feb2
Descripción general de Cloud Load Balancing https://cloud.google.com/load-balancing/docs/load-balancing-overview?hl=es-419

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Terraform como IAC en Google Cloud platform

datapathformation — Mon, 23 Oct 2023 16:35:38 +0000

Terraform es una herramienta de código abierto para la administración de infraestructura como código (IAC). Le
permite administrar recursos de infraestructura en la nube y en las instalaciones, como servidores, redes, almacenamiento y bases de datos. Terraform utiliza un lenguaje de configuración declarativo para describir su infraestructura deseada y luego aplica los cambios a la infraestructura real.

Terraform: Infraestructura como Código

“Terraform es una de las herramientas más populares para el aprovisionamiento de infraestructura” Usar Terraform para un proyecto de negocio en Google Cloud Platform (GCP) ofrece una
serie de ventajas que pueden mejorar significativamente la gestión de la infraestructura y el despliegue de recursos.
Algunas de las principales razones para utilizar Terraform son las siguientes:

1. Infraestructura como código (IaC):
Terraform permite describir la infraestructura de GCP como código en lugar de configurarla manualmente. Esto implica que toda la infraestructura se gestiona mediante archivos de código, lo que facilita el seguimiento de cambios, la colaboración entre equipos y la reproducción de la infraestructura en diferentes entornos.

2. Automatización del aprovisionamiento:
Terraform automatiza el proceso de creación y gestión de recursos en GCP. Esto permite que la infraestructura pueda ser creada, modificada y eliminada de manera programática, lo que ahorra tiempo y reduce la posibilidad de errores humanos.

3. Control de versiones y despliegue seguro:
Al utilizar Terraform como IaC, se puede aprovechar el control de versiones con herramientas como Git. Esto garantiza que los cambios en la infraestructura sean rastreables, reversibles y se puedan revisar antes de implementarlos en producción.

4. Multiplataforma y multi-nube:
Terraform es compatible con múltiples proveedores de nube, incluyendo GCP, AWS, Azure, entre otros. Esto facilita la adopción de un enfoque de infraestructura agnóstico y permite la portabilidad de la infraestructura en diferentes entornos en la nube.

Imagen 1: tomada del sitio web; https://www.google.com/url?sa=i&url=https%3A%2F%2Fdecidesoluciones.es%2Fterraform-automatizacion-de-infraestructuras%2F&psig=AOvVaw0bRlxc-aMwCdfeJkMKCBRS&ust=1696362373100000&source=images&cd=vfe&opi=89978449&ved=0CBEQjRxqFwoTCKD1jLmQ2IEDFQAAAAAdAAAAABAD

5. Estado de la infraestructura:
Terraform mantiene un archivo de estado que representa la infraestructura actual en GCP. Este archivo permite a Terraform realizar cambios incrementales en la infraestructura para que solo se modifiquen los recursos necesarios, lo que reduce el riesgo de realizar cambios inadvertidos en la infraestructura existente.

Imagen 2: Tomada del sitio web; https://www.google.com/url?sa=i&url=https%3A%2F%2Fdareplanet.tech%2Finsights%2Finfraestructura-como-codigo-con-terraform%2F&psig=AOvVaw3KV9N5n-Hhu6Ja1vMQG4sq&ust=1696362533944000&source=images&cd=vfe&opi=89978449&ved=0CBEQjRxqFwoTCMCUo4WR2IEDFQAAAAAdAAAAABAD

6. Reutilización de código:
Terraform permite definir módulos reutilizables, lo que facilita la estandarización y evita la duplicación de código. Esto es especialmente útil cuando se gestionan múltiples proyectos o ambientes.

Imagen 3: Tomada del sitio web; https://www.google.com/url?sa=i&url=https%3A%2F%2Fifgeekthen.nttdata.com%2Fes%2Finfraestructura-como-codigo&psig=AOvVaw1v5g5a6kOETuSd2mZU8O3Z&ust=1696362657063000&source=images&cd=vfe&opi=89978449&ved=0CBEQjRxqFwoTCPCW18WR2IEDFQAAAAAdAAAAABAD

7. Auditoría y cumplimiento:
La capacidad de describir la infraestructura como código proporciona una forma clara y transparente de documentar la configuración de la infraestructura y los cambios realizados en ella. Esto es valioso para fines de auditoría y cumplimiento de normativas.

8. Ecosistema y comunidad activa:
Terraform cuenta con una comunidad activa que desarrolla y comparte módulos y plugins para facilitar la gestión de diferentes recursos y servicios en la nube.

Coordinador Académico Datapath
Giomar Antaurco, 2023

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Seguridad y administración en AWS: Protegiendo el Espacio en la Nube

datapathformation — Mon, 28 Aug 2023 20:26:26 +0000

Introducción
Amazon Web Services (AWS) ha revolucionado la forma en que las empresas y organizaciones gestionan y despliegan sus recursos en la nube. La plataforma ofrece una amplia gama de servicios y funcionalidades que permiten a las empresas escalar sus operaciones de manera eficiente y rentable. Por ello, es necesario que la infraestructura cumpla con los requisitos de seguridad más exigentes del mundo, los cuales deben garantizar la confidencialidad e integridad de los datos de los clientes. (Amazon, 2023)

1) Administración en AWS
La administración adecuada de los recursos en AWS es igualmente importante para garantizar la eficiencia operativa y la utilización óptima de los servicios. Aquí hay algunas prácticas recomendadas para una administración efectiva:

a. Gestión de Identidad y Acceso
Si se quiere hablar de seguridad y administración dentro de AWS se debe nombrar inevitablemente al servicio IAM (Identity and Access Management).

IAM (Identity and Access Management) es un servicio de AWS que proporciona control sobre el acceso y la administración de los recursos de AWS. Con él es posible administrar identidades, como usuarios, grupos y roles, y asignar permisos específicos a estas identidades de manera que puedan acceder solo a los recursos necesarios para realizar su trabajo; es decir, limitar el uso de recursos según los requerimientos de cada entidad (Amazon, 2023).

Para entender mejor este servicio es necesario entender ciertos conceptos (Amazon, 2023) y video Datapath Teachable:
Los usuarios son identidades únicas que representan a las personas. Poseen dos clasificaciones: usuario raíz y usuario IAM (usuarios). El usuario raíz es aquel con el que se inicia sesión por primera vez (propietario de la cuenta), este posee acceso a todos los servicios y será el que cree a los usuarios IAM. Estos usuarios serán asignados con el acceso solo a los servicios que sean necesarios para realizar su trabajo.

Un grupo es un conjunto de usuarios que facilita su organización y administración según sus necesidades de acceso a los servicios. Además, es posible asignar un mismo usuario a varios grupos.
Una política es un objeto que se puede asignar a usuarios o grupos con el fin de gestionar sus permisos y accesos. Especifican qué acciones se pueden realizar en qué recursos de AWS.
Un rol es una identidad que dispone de servicios específicos de manera temporal para dar a usuarios, cuentas o servicios acceso a los recursos de otra cuenta. Por ejemplo, un rol puede ser adjuntado a un servicio para acceder a los recursos con otro servicio.

b. Organización y Etiquetado de Recursos
A medida que la infraestructura crece, es fácil perder el control de los recursos si no se organizan adecuadamente. Utilizar etiquetas en los recursos es una práctica efectiva para facilitar su seguimiento y administración siempre que se mantenga una política de etiquetado. Además, su implementación puede ayudar a controlar que usuarios pueden acceder y administrar los recursos de la organización (Amazon, 2023).

c. Automatización de Procesos
AWS ofrece herramientas como AWS CloudFormation y AWS Elastic Beanstalk, que permiten automatizar la creación y gestión de recursos. El servicio de AWS CloudFormation se encarga de apoyar en la gestión y configuración de los recursos (Amazon, 2023) mientras que el servicio de AWS Elastic Beanstalk puede implementar y administrar aplicaciones rápidamente en la nube de AWS, con sus más de cien servicios (Amazon, 2023). La automatización no solo ahorra tiempo y esfuerzo, sino que también reduce el riesgo de errores humanos y garantiza la consistencia en la configuración de los servicios.

2) Seguridad en AWS
AWS proporciona una variedad de herramientas y características para ayudar a mantener los datos y las aplicaciones seguras. A continuación, se presentan algunos de las más importantes características en AWS:

a. Protección de Datos en Reposo y en Tránsito
AWS ofrece opciones para cifrar los datos tanto en reposo como en tránsito. Utilizar la encriptación para los datos en reposo como en los servicios de almacenamiento y bases de datos garantiza que los datos estén protegidos contra accesos no autorizados. Además, impide que los datos en tránsito sean interceptados mientras recorren la red (Amazon, 2023).

b. Monitoreo y Auditoría Continuos
El monitoreo constante es crucial para identificar posibles amenazas y comportamientos anómalos. AWS ofrece herramientas dos herramientas claves para estos fines: AWS CloudTrail, servicio que ayuda en la auditoría de las operaciones que se realizan en una cuenta de AWS creando un registro de eventos (Amazon, 2023); y Amazon CloudWatch, servicio de monitorio de los recursos y aplicaciones de la cuenta de AWS a través de la generación automática de métricas (Amazon, 2023). Estos servicios pueden ser utilizados para generar alertas y tomar acciones correctivas en tiempo real.

c. Respaldo y Recuperación
Es fundamental tener una estrategia sólida de respaldo y recuperación de datos en caso de desastres o pérdida de información. AWS proporciona servicios como Amazon S3 (Amazon Simple Storage Service) el cual proporciona almacenamiento y protección de cualquier cantidad de datos donde es posible guardar copias de seguridad según los requerimientos del usuario (Amazon, 2023) . Por otro lado, el servicio de Amazon RDS (Amazon Relational Database Service) tiene la capacidad de activar copias de seguridad automatizadas con las cuales se pueden restaurar bases de datos en un punto en el tiempo (Amazon, 2023).

3) Conclusión
La gestión de recursos en la nube de AWS debe ser una herramienta beneficiosa para las organizaciones siempre que se aborde correctamente aspectos como la administración y seguridad. AWS ofrece las mejores prácticas en el ámbito administrativo pues permite la gestión de identidad y acceso con el servicio IAM y el etiquetado de recursos, sumado a la posibilidad de automatizar sus procesos. Adicionalmente, AWS incorpora cifrado de datos, monitoreo y auditoría constante, y proporciona opciones de respaldo y recuperación de datos volviéndola una nube eficaz y confiable para las organizaciones. Cabe señalar que la nube es un entorno en constante evolución, por lo que mantenerse informado sobre las últimas actualizaciones de seguridad y mejores prácticas de AWS es esencial para mantener una postura sólida de seguridad en todo momento.

Coordinador Académico Datapath
Salvador Orihuela, Piero 2023

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Cómo crear proyectos y gestionar roles en Azure

datapathformation — Mon, 14 Aug 2023 20:04:53 +0000

Azure es una plataforma y servicio de computación en la nube ofrecido por Microsoft. Proporciona una amplia gama de servicios y herramientas para desarrolladores y profesionales de TI para crear, implementar y administrar aplicaciones y servicios.

Arquitectura de Azure
Existen 4 componentes principales que permitirán al usuario interactuar directamente con Azure.
• Interfaz basada en web: Azure Portal
• Herramienta de windows: Azure PowerShell
• Conjunto de comandos: Azure CLI (Comand Line interface)
• REST Clientes o APIs

Imagen 1: Arquitectura Azure. Creación propia

Asimismo, existe un intermedio entre las solicitudes realizadas y los servicios de Azure: Azure Resource Manager (Administrador de recursos de Azure), el cual cumple el papel de autenticar las solicitudes (validando los permisos).

Azure Portal y servicios principales
Para interactuar con los servicios de Azure, se recomienda utilizar Azure Portal ya que permite gestionar todos los servicios de Azure, que tenemos acceso, en un solo espacio.

Imagen 2: Servicios principales de Azure. Creación propia

Para acceder a Azure Portal, primero debemos crear una cuenta o suscripción gratuita siguiendo estos pasos:
• Escribir en el buscador “Azure”, página web oficial de Azure
• Seleccionar la prueba gratuita
• Crear una cuenta de Microsoft, previamente
• Aparecerá una pantalla para completar la suscripción gratuita (incluye $200 por 30 días)
• Solo vamos a elegir la opción gratuita de iniciar sesión para ingresar a la consola.

Creación de proyectos con Azure Portal
Una de las características clave de Azure es la capacidad de crear y administrar proyectos y roles dentro de la plataforma.
Para crear un nuevo proyecto en Azure, primero debe iniciar sesión en Azure Portal. Una vez que haya iniciado sesión, puede acceder al área de gestión de proyectos haciendo clic en el botón “Grupos de recursos” en el menú de navegación de la izquierda.

Imagen 3: Interfaz de creación. Creación propia

Desde allí, puede crear un nuevo proyecto haciendo clic en el botón “+ Agregar” e ingresando la información necesaria, como el nombre del proyecto y la suscripción.

Imagen 4: Ingreso de datos del proyecto. Creación propia

Imagen 5: Grupo de recursos o Proyecto creado. Creación propia

Asignación de roles con Azure Portal
Una vez que se crea un proyecto, puede asignar roles a usuarios y grupos dentro del proyecto. Azure ofrece una serie de funciones integradas, como Propietario, Colaborador y Lector, que proporcionan diferentes niveles de acceso y permisos dentro del proyecto.

¿Cómo poder crear nuevos usuarios?
• Clic en el botón “Todos los servicios” en el menú de navegación de la izquierda
• Elegir la opción identidad (identity) y luego “usuarios”

Imagen 6: Azure Portal-Sección Identidad. Creación propia

Podemos generar un nuevo usuario a partir de una creación interna o por invitación (para el ejemplo elegiremos la segunda opción por lo que el usuario a invitar deberá tener una cuenta asociada a Microsoft)
• Asignar directamente, con la invitación, un rol (Administrador en PowerBi) y un puesto (Analista)

Vemos que en el área de notificaciones ya se implementó y el usuario ya es parte de nuestro equipo de trabajo.

Imagen 7: Lista de usuarios. Creación propia.

¿Cómo poder asignar roles a usuarios?
• Clic en el botón “Todos los servicios” en el menú de navegación de la izquierda
• Elegir la opción identidad (identity) y luego “Roles administrativos de Azure (AD)”

Imagen 8: Lista de roles disponibles. Creación propia.

Al inicio vamos a poder ver todos los diferentes roles que existen en Azure, se puede crear roles personalizados pero es para una cuenta Premium. Si buscamos el rol “Administrador global” (aparecerá el administrador principal).

Imagen 9: Usuario asociado al rol de administrador global. Creación propia

• Escribir otro rol (ejemplo “Lector Global”) y lo asignaremos al usuario creado anteriormente.

Imagen 10: Asignación del rol “Lector Global”

Imagen 11: Nuevo rol asignado. Creación propia

Otro camino para asignar roles
Para asignar un rol a un usuario o grupo, primero debe navegar hasta el proyecto en Azure Portal y hacer clic en el botón “Control de acceso (IAM)”. Desde allí, puede agregar usuarios y grupos al proyecto y asignarles el rol apropiado.

Imagen 12: Interfaz del control de acceso (IAM). Creación propia

![Image description](https://dev-to-uploads.s3.amazonaws.com/uploads/articles/o9i7pq086iyup128a4k4.JPG

Gracias por su atención, nos vemos en el próximo artículo.

Brian Bernal
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Acelerando la lectura de datos con Databricks

datapathformation — Mon, 07 Aug 2023 15:34:33 +0000

La capacidad de leer datos de manera eficiente es fundamental para realizar análisis rápidos y precisos. En este sentido, Databricks se ha posicionado como una plataforma líder en análisis y procesamiento de datos en la nube. En este artículo, exploraremos las características y las mejores prácticas que Databricks ofrece para acelerar la lectura de datos, maximizando el rendimiento de nuestras operaciones de análisis.

1. Fundamentos de la lectura de datos en Databricks
Antes de adentrarnos en las estrategias de optimización, es esencial entender los fundamentos de la lectura de datos en Databricks. La plataforma admite diversos tipos de fuentes de datos, como archivos CSV, JSON, bases de datos y streaming. Además, utiliza DataFrames como estructuras de datos principales para el análisis eficiente.

Los DataFrames en Databricks permiten una lectura y manipulación sencilla de los datos. Asimismo, la elección del formato de archivo adecuado es crucial. Databricks soporta varios formatos, cada uno con sus propias ventajas y desventajas en términos de velocidad y compresión. Es importante seleccionar el formato más apropiado según nuestras necesidades y restricciones de almacenamiento.

2. Estrategias para la lectura eficiente de datos en Databricks Databricks ofrece diversas estrategias para mejorar la velocidad de la lectura de datos. A continuación, destacamos algunas de las mejores prácticas recomendadas:

2.1. Uso de opciones de lectura específicas: Dependiendo del tipo de fuente de datos, Databricks proporciona opciones de lectura específicas que podemos aprovechar. Por ejemplo, al leer archivos CSV grandes, podemos utilizar parámetros especiales para mejorar la velocidad de lectura.

2.2. Partitioning y bucketing: Organizar los datos en particiones y cubetas puede mejorar significativamente el rendimiento. Al particionar los datos, Databricks puede leer solo las particiones relevantes para una consulta, en lugar de procesar todo el conjunto de datos. Además, el bucketing puede ayudar a agrupar los datos en estructuras más eficientes, lo que reduce el tiempo de búsqueda.

2.3. Selección selectiva de columnas y filtrado de datos: Al leer datos, es útil seleccionar solo las columnas necesarias y aplicar filtros para reducir la cantidad de información que se lee. Esto minimiza el tiempo de lectura y reduce la carga en el clúster de Databricks.

3. Optimización de la lectura de datos mediante caché y persistencia. Además de las estrategias anteriores, Databricks ofrece características como la caché y la persistencia para mejorar el rendimiento de lectura de datos.

3.1. Caché de Databricks: La caché permite almacenar en memoria los datos frecuentemente utilizados. Al mantener los datos en memoria, Databricks evita la necesidad de leerlos desde la fuente original en cada consulta, lo que acelera significativamente las operaciones subsiguientes.

3.2. Persistencia en disco: Databricks también proporciona la opción de persistir los datos en disco. Al persistir los datos, se guardan en almacenamiento duradero, lo que evita la necesidad de volver a leer los datos en cada ejecución. Esta estrategia es especialmente útil cuando se espera reutilizar los datos en múltiples sesiones de trabajo o cuando los datos son demasiado grandes para almacenarse en memoria.

4. Mejores prácticas para la lectura de datos en Databricks
Además de las estrategias mencionadas, aquí hay algunas mejores prácticas adicionales para acelerar la lectura de datos en Databricks:

5.1. Programación distribuida y paralela: Aprovechar las capacidades distribuidas y paralelas de Databricks puede mejorar significativamente la velocidad de lectura. Dividir el trabajo en tareas paralelas y asignarlas a diferentes nodos de procesamiento puede reducir drásticamente el tiempo total de lectura.

5.2. Tamaño y particionamiento adecuados del clúster: Configurar el tamaño y el particionamiento adecuados del clúster de Databricks es fundamental para un rendimiento óptimo. Un clúster demasiado pequeño puede resultar en cuellos de botella y tiempos de espera, mientras que un clúster excesivamente grande puede ser costoso y no aprovechar eficientemente los recursos.

5.3. Monitoreo y optimización del rendimiento: Databricks ofrece herramientas y características para monitorear y optimizar el rendimiento de las operaciones de lectura de datos. Es importante realizar un seguimiento del tiempo de ejecución, la utilización de recursos y otros indicadores clave para identificar posibles cuellos de botella y áreas de mejora.

Conclusiones
La lectura eficiente de datos es esencial para obtener resultados rápidos y precisos en el análisis de datos. Databricks, con su enfoque en la optimización de rendimiento, proporciona una variedad de características y mejores prácticas para acelerar la lectura de datos. Al aprovechar las estrategias y herramientas presentadas en este artículo, los profesionales de datos pueden maximizar la eficiencia de sus operaciones de análisis en Databricks y obtener información valiosa de manera más rápida.

En resumen, Databricks no solo ofrece una plataforma de análisis y procesamiento de datos en la nube, sino que también proporciona herramientas y estrategias para mejorar la velocidad y el rendimiento en la lectura de datos. Aprovechar estas capacidades puede marcar una gran diferencia en la productividad y el éxito de los proyectos de análisis de datos.

REFERENCIAS:
Lectura de datos compartidos usando Delta Sharing de Databricks a Databricks: Azure Databricks | Microsoft Learn
Consulta de bases de datos con JDBC: Azure Databricks | Microsoft Learn
https://docs.databricks.com/delta/best-practices.html

Jeremy Zevallos
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

INSERTANDO DATA EN STREAMING A BIGQUERY

datapathformation — Wed, 19 Jul 2023 20:35:49 +0000

BigQuery es el almacén de datos en tiempo real a través de streaming. Esto permite capturar y analizar información en tiempo casi real al insertar datos a BigQuery con la API de BigQuery, Cloud Pub/Sub y Cloud Dataflow. En este articulo, exploraremos los tres métodos principales.

Enlace imagen 1: https://hazelcast.com/glossary/stream-processing/

¿Cómo realizar streaming a través de la API de BigQuery?
La API de BigQuery proporciona una forma directa de insertar datos en tiempo real a través de solicitudes HTTP POST. Puedes enviar datos en formato JSON o CSV directamente a BIgQuery utilizando cualquier lenguaje de programación compatible con solicitudes HTTP, ejemplo practico usando Phyton en la imagen 2, en la que se puede personalizar los campos de datos segun tus necesidades y ajusta el URL de la API con los identificadores correctos de tu
proyecto, conjunto de datos y tablas.

¿Cómo usar Cloud Pub/Sub?
Cloud Pub/Sub es un servicio de mensajería escalable y confiable
que te permite enviar y recibir mensajes entre componentes de tu arquitectura. Puedes aprovecharlo para insertar datos en tiempo real en BigQuery.

Los pasos clave para utilizar Pub/ Sub son los siguientes:

Crear un tema y la suscripciones correspondientes en Cloud Pub/Sub.
Generar los datos en tiempo real y envíalos al tema de Pub/Sub.
Configurar un flujo de datos en BigQuery para consumir los mensajes de Pub/Sub y realizar la inserción en las tablas correspondientes.

Enlace imagen completa 2: https://github.com/googleapis/python-bigquery

¿Cómo utilizarlo con Dataflow?
Cloud Dataflow es un servicio de procesamiento de datos en
tiempo real de Google Cloud y te permite procesar y transformar
los datos antes de cargarlos en BigQuery, brindando mayor
flexibilidad en el flujo de datos en tiempo real.

Enlace imagen completa 3: https://beam.apache.org/documentation/io/built-in/google-bigquery/

A continuación, se muestra un ejemplo de cómo utilizar DataFlow para cargar datos en streaming a BigQuery, referencia en la imagen 3 en Python utilizando la biblioteca 'apache-beam'. para crear flujo de Dataflow.

1.- Configuración inicial:

Crea un proyecto en Google Cloud y habilita los servicios de BigQuery y Dataflow.
Prepara tus datos de origen, ya sea desde una fuente externa o un flujo de datos interno.
Define el esquema de datos, incluyendo los tipos de datos y las columnas que deseas almacenar en BigQuery.

2.- Escribe y ejecuta el código de dataflow:

Utiliza un lenguaje compatible con Dataflow, como Java o Phyton para escribir el código que procesara y cargara los datos en BigQuery.
Define las transformaciones que deseas aplicar a los datos en tiempo real.
Asegúrate de que los pasos de trasformación y la carga en BigQuery están correctamente implementados en el flujo de Dataflow.
Ejecuta el código de Dataflow en Google Cloud para iniciar el procesamiento y la inserción en el tiempo real.

¿Cuál de los tres métodos es mejor para insertar datos en streaming?

Cada método, ofrece características y ventajas únicas, y la elección depende de tus necesidades y el contexto de tu proyecto. Ya sea que necesites una integración directa a través de la API, un sistema de mensajería escalable con Pub/Sub o capacidades avanzadas de procesamiento y transformación con Dataflow, BigQuery tiene opciones flexibles para capturar y analizar en tiempo real.

Giomar Antaurco Trejo
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

INTRODUCCIÓN A LA ARQUITECTURA EN SNOWFLAKE

datapathformation — Mon, 17 Jul 2023 20:06:17 +0000

Actualmente las organizaciones están cada vez más dispuestas en aprovechar el poder de la nube para almacenar y procesar grandes volúmenes de datos en tiempo real. Es por esto que Snowflake ha ganado popularidad debido a su arquitectura única y escalable. En virtud de ello en el presente artículo, se explicarán los conceptos básicos de la arquitectura en Snowflake y cómo se diferencia de las soluciones tradicionales de almacenamiento de datos.

Arquitectura de Snowflake
La arquitectura de Snowflake se basa en un enfoque de almacenamiento y manejo separados, lo que significa que el almacenamiento de datos y el procesamiento de consultas se realizan en capas separadas. Esta arquitectura que brinda autonomía a cada capa permite una mayor escalabilidad y flexibilidad, lo que la hace ideal para entornos en la nube.
Entonces, es preciso explicar que la capa de almacenamiento en Snowflake se basa en un almacén de datos altamente escalable que utiliza el almacenamiento en la nube, como Amazon S3 o Microsoft Azure Blob Storage. Los datos se almacenan en forma de archivos separados y comprimidos, lo que facilita la gestión y el acceso eficiente a grandes volúmenes de datos. Esta arquitectura permite que los datos se compartan y se utilicen en múltiples clústeres de manejo simultáneamente.

Por otra parte, la capa de computación en Snowflake es donde se ejecutan las consultas y el procesamiento de datos. Utiliza un motor de consulta optimizado llamado "Virtual Warehouse", que es esencialmente un clúster de máquinas virtuales que ejecutan las consultas. La capacidad de cómputo se puede escalar automáticamente según la carga de trabajo, lo que garantiza un rendimiento constante incluso en situaciones de alto tráfico.

Imagen 1.Tomada de https://dantaanalytics.com/plataformas/snowflake/

Funciones SQL aplicadas a Snowflake
A continuación, se presentarán funciones básicas que se dan dentro del entorno de Snowflake las mismas que son usadas en las capas de este servicio.

Imagen 2. Crear una tabla

Imagen 3. Insertar datos en la tabla

Imagen 4.Ejecutar una consulta

En este ejemplo, los datos de la tabla se almacenarán en la capa de almacenamiento de Snowflake, mientras que la consulta se ejecutaría en la capa de computación utilizando un almacén virtual. Snowflake manejaría automáticamente la distribución de datos y la asignación de recursos de cómputo para garantizar un rendimiento óptimo, con los ejemplos mencionados anteriormente se deja en evidencia la gran versatilidad y autonomía que nos ofrece Snowflake en sus operaciones.

En suma, la arquitectura en Snowflake ofrece una solución moderna y escalable para el almacenamiento y procesamiento de datos en la nube. Proporciona un rendimiento superior, una gestión simplificada, una arquitectura compartida para múltiples usuarios y una integración perfecta con la nube. Estas características hacen que Snowflake sea una opción atractiva para las empresas que buscan aprovechar al máximo sus datos y obtener información valiosa de manera eficiente.

Referencias:
Snowflake. (2021). Snowflake Architecture. Recuperado el 10 de mayo de 2023, de https://www.snowflake.com/what-is-cloud-data-platform/architecture/

Snowflake Documentation. (2021). Introduction to Snowflake. Recuperado el 10 de mayo de 2023, de https://docs.snowflake.com/en/user-guide/intro-key-concepts.html

Jhordan Vasquez
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

CREACIÓN DE TABLAS Y DATASETS CON BIGQUERY

datapathformation — Mon, 03 Jul 2023 20:00:11 +0000

En la era de los datos masivos, la capacidad de almacenar, organizar y analizar grandes volúmenes de información se ha vuelto crucial para las empresas y organizaciones de todo el mundo. En este contexto, Google Cloud Platform ofrece una solución poderosa y escalable conocida como BigQuery. En este artículo, exploraremos la creación de tablas y Datasets en BigQuery, y cómo esta plataforma puede ayudarnos a gestionar nuestros datos de manera eficiente.

¿Qué es BigQuery?
BigQuery es conocido por su capacidad de procesar rápidamente grandes volúmenes de datos y su facilidad de uso, lo que lo convierte en una opción popular para empresas de todos los tamaños. BigQuery es un servicio de análisis de datos en la nube proporcionado por Google Cloud Platform. Combina la potencia del almacenamiento y procesamiento en la nube con herramientas de análisis avanzadas para ofrecer una solución integral.

Imagen 1: BigQuery Storage

¿Qué es un DataSet en BigQuery?
Un Dataset en BigQuery es un contenedor lógico que agrupa tablas, vistas y funciones relacionadas. Los Datasets proporcionan una estructura organizativa para nuestros datos y nos permiten controlar el acceso y los permisos a nivel de conjunto de datos. Esto es especialmente útil cuando necesitamos gestionar múltiples conjuntos de datos en un proyecto.

Imagen 2: Representación gráfica de un Dataset I

Creación de un Dataset en BigQuery
La creación de un Dataset en BigQuery es sencilla. Desde la página de BigQuery en la consola de Google Cloud Platform, podemos seleccionar nuestro proyecto y abrir la sección de Datasets. Allí, podemos crear un nuevo Dataset, asignándole un nombre y configurando las opciones de acceso y permisos según nuestras necesidades.

Los Datasets nos permiten mantener nuestros datos organizados y proporcionan un nivel adicional de seguridad y control.

Imagen 3: Representación gráfica de un Dataset II

Creación de tablas en BigQuery
Dentro de un Dataset en BigQuery, podemos crear tablas para almacenar nuestros datos.
Al crear una tabla, debemos especificar su nombre y definir el esquema, que define la estructura y los tipos de datos de cada columna. BigQuery admite una amplia gama de tipos de datos, desde cadenas de texto hasta marcas de tiempo y valores numéricos.
Una vez que hemos creado una tabla, podemos cargar datos en
ella o utilizarla como base para consultas y análisis posteriores.

Consultas y análisis en BigQuery
Una vez que tenemos nuestras tablas y datos cargados, podemos aprovechar la potencia de BigQuery para realizar consultas y análisis en nuestros datos. BigQuery utiliza un lenguaje de consulta SQL familiar y ofrece una amplia gama de funciones y capacidades analíticas avanzadas. Podemos extraer información valiosa, descubrir patrones, realizar agregaciones y generar visualizaciones para obtener una comprensión profunda de nuestros datos.

Carga de datos en las tablas
BigQuery ofrece varias opciones para cargar datos en las tablas. Podemos cargar archivos en formatos como CSV, JSON o Avro, o incluso utilizar integraciones con otras herramientas de Google Cloud Platform para transferir datos automáticamente. La carga de datos en BigQuery es rápida y escalable, lo que nos permite trabajar con grandes volúmenes de información sin problemas.

Escalabilidad y flexibilidad en BigQuery
La creación de tablas y Datasets en BigQuery nos proporciona una base sólida para gestionar y analizar nuestros datos de manera eficiente. Desde la creación de Datasets para organizar conjuntos de datos relacionados, hasta la configuración de tablas con esquemas personalizados y la carga de datos masivos, BigQuery ofrece una plataforma robusta y escalable para nuestras necesidades de análisis de datos. Al aprovechar las capacidades de consultas rápidas y análisis avanzado de BigQuery, podemos obtener información valiosa y tomar decisiones informadas basadas en nuestros datos.

Giomar Antaurco Trejo
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Modelos de costos en AWS

datapathformation — Mon, 26 Jun 2023 22:39:25 +0000

¿Qué es Amazon web services?
Es un conjunto de servicios web establecidos como una plataforma en la nube que ofrece la empresa Amazon desde el año 2006. Asimismo, AWS provee un servicio de infraestructura de tecnologías de información a nivel empresarial. Es así que las empresas pueden adquirir miles de servidores para ofrecer sus servicios.

Imagen 1: Recuperada del sitio web: https://www.netsolutions.com/insights/wp-content/uploads/2021/07/what-is-amazon-web-services-aws.jpg

La Calculadora de AWS permite que sea rápido y de fácil acceso realizar un presupuesto para los servicios que se desea utilizar.

Imagen 2: recuperada del sitio web: https://calculator.aws/8b07f85f-1081-4503-ab33-3cd77a8c70e7/[AWSMarketingPricingCalculatorPlatformFrontEndUI-1.0]pkg.configfarm.frontend_ui_assets/frontend_ui_assets/static/media/workflow.43e903dd.png

¿Cómo funcionan los precios de AWS?
Pague por lo que use permite adaptarse con facilidad a las cambiantes necesidades de la empresa sin comprometerse a dedicar presupuestos excesivos y, además, mejorar la capacidad de respuesta ante los cambios. Ahorre con el compromiso para los servicios de AWS Compute y AWS Machine Learning, Savings Plans, aquello ofrece ahorros en la modalidad bajo demanda a cambio del compromiso de utilizar una cantidad específica (medida en USD por hora) de un servicio o una categoría de servicio de AWS, durante un periodo de uno o tres años. Pague menos al incrementar el uso con AWS, ya que puede obtener descuentos por volumen y beneficiarse de ahorros significativos a medida que incrementa su uso. En servicios como S3, los precios se dividen en capas, por lo que cuanto más use, menos pagará por GB.

Calculadora de costos de AWS
Actualmente AWS cuenta con +100 servicios y se pueden consultar en las páginas web de precios de cada servicio (pricing).

Algunas de las características principales que se pueden encontrar son las siguientes:

Herramienta de estimación de costos de uso libre
Permite simular los costos mensuales de servicios AWS.
Los resultados dependen de parámetros ingresados por el usuario. Los resultados se pueden guardar, compartir y exportar.

Solución de una aplicación web
Se plantea un diseño de arquitectura de una solución a modo de ejemplo, que se trata de una aplicación web. En el ejemplo, se cuenta con una instancia, que es un equipo de computo; otra instancia, que contiene la base de datos; una seguridad de red, en la que une ambas instancias; una salida a internet; y un espacio llamado S3, en el que es un servicio llamado bucket.

Imagen 3: Recuperada y modificada del sitio web: https://aws.amazon.com/es/blogs/gametech/building-perforce-helix-core-on-aws-part-1/

Por todo lo anterior, se irá a la página oficial de la calculadora de AWS. Esta herramienta permite grabar los presupuestos y poder compartir para que las personas interesadas puedan analizar cuánto podría ser el costo estimado o de inversión.

Los pasos serán los siguientes:
Primero, se coloca en la parte de crear estimación.
Segundo, en vez de colocar en la parte de agregar servicios, se va a dirigir a "Mi estimación" para renombrar un presupuesto
personalizado.
Tercero, se editará la estimación al nombre que desea asignarle, ejemplo nombre de la empresa. Cuarto, agregar grupos, en vez de hacer una lista de todos los servicios para así segmentar los servidores, tráficos, entre otros. Quinto, se crea un grupo llamado "Servicios", en el que se agregará los servicios; ahí se encontrará las máquinas o instancias. Sexto, luego de realizar las configuraciones correspondientes, como el tipo de región, sistema operativo, cantidad años, etc, se obtendrán el ambos EC2.
El siguiente paso, se creará un grupo que se llama "Network", ya que los proveedores de servicios en la nube cobran por el tráfico que sale del Data Center.
Primero, se va a crear un VPC, en el cual se va a configurar en la sección de "Data Transfer". Recordar que el costo máximo de tráfico de salida gratuito es 5GB, a partir de aquella cantidad se realizará un cobro por cada excedente; sin embargo, todo lo que ingresa a AWS no contiene ningún costo. Segundo, se desea contar con una conexión interna entre la oficina y AWS, que son los servidores en la nube; por ello, se realizará las configuraciones correspondientes de "Cliente VPN", como la cantidad de horas y número de conexión. En resumen, se obtendrá dos elementos en el grupo "Network", que serán la transferencia de datos y la conexión de VPN.

Imagen 4: Recueprada del sitiweb. Amazon

Al finalizar, se obtiene el precio total mensual al lado derecho y la cantidad de dólares anuales. Entonces, al comprobar las estimaciones, se dirige en la parte de "Grabar y compartir". Luego de ello, nos va a brindar un enlace, en el cual se puede compartir a las partes interesadas, revisar nuevamente el presupuesto o enviarlo por correo electrónico a cualquier persona.

Giomar Antaurco Trejo
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

INTRODUCCIÓN DATA WAREHOUSE EN BIGQUERY

datapathformation — Mon, 19 Jun 2023 17:58:18 +0000

Definición de un Data Warehouse
Es el lugar en el que se almacena toda la información que se obtiene de las diferentes fuentes de la empresa. Asimismo, un Data Warehouse es el lugar en el que se concentran todos los datos con un diseño especial de centralización para explotar la información para diferentes propósitos, por ejemplo, la generación de reportes, el análisis de data, tableros de control, minería de datos, etc.

Imagen 1: recueprada del sitio web; https://gurussolutions.com/solutions/data-toolkit/bi-netsuite/data-warehouse

Características Data Warehouse
La principal idea de implementar un Data Warehouse es que debe haber un solo registro de cliente a pesar de que este cliente esté en varios sistemas de la base de datos. Por ello, debe contar con una información integrada; es decir, todos los aplicativos e información externa estén centralizadas y disponible para que los usuarios puedan tomar decisiones con datos de calidad.
El modelo de datos debe estar orientado al contextos de información del negocio. En otras palabras, debe haber solo una identidad de cliente, producto, puntos de venta, locales, etc.

Imagen 2: Creación propia

Los registros se actualizan menos en comparación con los sistemas transaccionales, ya que en los sistemas OLTP se realiza constantemente sentencias como insert, update y dalete sobre pequeñas cantidades de registros de datos; en cambio, en un Data Warehouse, se realizan operaciones a grandes, miles y millones de volúmenes de datos. En otras palabras, es muy poco común usar aquellas sentencias sobre registros puntuales. Almacena historia sobre lo cambios o nuevas versiones de los registros en el tiempo, que depende del movimiento y evolución que realiza un cliente en los registros.

Uso de BigQuery como Data Warehouse
BigQuery es un Data Warehouse multi cloud de alta escalabilidad, rentable y sin servidor. Del mismo modo, facilita procesar grandes volúmenes de datos a un menor precio. Las principales características son las siguientes:

Imagen 3: Recuperada del sitio web; https://k21academy.com/google-cloud/google-bigquery-cloud-data-warehouse/

ELASTICIDAD DE PROYECTOS

Se puede crecer en función a la demanda del negocio.
Es fácil dimensionar toda la infraestructura como la integración, explotación de datos y otros servicios que se pueden incorporar conforme se avanza.

EFICIENCIA DE COSTOS

Los costos son menores por los recursos en la nube, ya que no se cubre el tema de gestión, mantenimiento y administración como en una solución Sofware Local.
Los pagos son mensuales en función al consumo y uso de los recursos.
Se puede monitorear lo que vas consumiendo desde el uso de cuotas que dependen de cada área de la organización.

USABILIDAD DE LOS DATOS

Se puede trabajar con los recursos de forma rápida y cuando se requiere; es decir, no se invierte tiempo en instalación. Facilidad para compartir datos a los usuarios finales de manera más ágil y centralizada.
Permite proteger los datos internos de la organización para solo compartir información específica.

PROCESAMIENTO DE LOS DATOS

Procesa billones de registros en petabytes en pocos segundos. Soporte de procesamiento en streaming. Soporte de funciones analíticas que facilitan y optimizan el uso de los recursos.
Analiza los datos en grandes volúmenes de información. Soporta modelos de aprendizaje automático como BigQuery ML.

Imagen 5: Tomada del sitio web; https://dataedo.com/blog/3-google-bigquery-tools-everyone-should-know

Giomar Antaurco Trejo
Coordinador Académico Datapath

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.

Comandos básicos en Linux

datapathformation — Tue, 18 Apr 2023 00:07:49 +0000

Para empezar tenemos que abrir nuestra terminal para ejecutar los comandos. Si no estas en Linux como sistema operativo de forma nativa en tu computadora o MacOS como tu sistema operativo tendrás que descargar un WSL en tu Windows.

1 ls: Lista la carpeta de archivos.
Este comando visualiza el contenido del directorio que se esta trabajando por defecto. Por defecto, este comando mostrará el contenido de tu directorio de trabajo actual.

imagen 1: creación propia

ls-l: muestra cuando fue creado , y cuanto pesa los archivos en byte
ls-lh: lectura humana ,muestra cuando fue creado y cuanto pesa pero en megabyte.
ls-lS: ordenar los documentos por tamaño
ls -R: también listará todos los archivos en los subdirectorios
ls -a o ls-la: mostrará los archivos ocultos
ls -al: listará los archivos y directorios con información detallada como los permisos, el tamaño, el propietario, etc.

2 cd: Cambiar directorio.
Este comando nos ayudará a movernos a otra carpeta que queramos. Por defecto si lo colocamos sin un parámetro nos llevará al menú principal.
imagen 2: creación propia.

3 clear: Limpiar la terminal (Ctrl +L)
Este comando limpia todo lo que se escribió
Imagen 3: creación propia.

4 pwd: Identificar la ruta en la que estamos en nuestro sistema, print work directory
Imagen 4.1: Creación propia.
El resultado puede ser copiado con ctrl+shift+c
Operadores de ruta relativa
. : nos sirve para ubicarnos en nuestro directorio actual
.. :regresar un directorio anterior
Imagen 4.2: Creación propia

5 file: describe el tipo de archivo
Imagen 5: Creación propia.
En el primer caso se hizo mención a un tipo de archivo UTF-8 y en el segundo caso usando operadores de uso relativo se señalo a un archivo de tipo .PNG

6 tree: Ver los archivos como un árbol
Ojo al usar este comando si no quieres sobrecargar la pantalla deberás ponerle un parámetro al costado. Un ejemplo es colocar -L 2 para colocar cuanto es el nivel de profundidad que queremos profundizar.
Imagen 6: Creación propia.

7 mkdir: Crea directorios este siempre estará al lado del nombre que le quieres dar. Ojo para poner un espacio es necesario colocar las comillas.
Imagen 7.1: Creación propia.

Además de ello este comando te permite crear de manera rápida.Varios directorios.
Imagen 7.2: Creación propia.

8 touch: Este comando permite crear archivos igual que el mkdir. Igualmente que mkdir facilita la creación de estos si se coloca con un espacio los nombres de los archivos. La única diferencia es que Linux lo considera como texto. Y tenemos que agregarle la extensión que queremos que sea el archivo ejm 1 .png 2 .js 3 .exe
Imagen 8: Creación propia

9 cp: Llamado copy permite copiar el archivo que deseas.Colocando primero el archivo que deseas copiarlo y luego de como quieres que se llame.
Imagen 9: Creación propia

10 mv: Permite mover archivos a otros directorios.
Imagne 10.1: Creación propia.

También es usado para renombrar los archivos de una manera más fácil y sencilla.
Imagen 10.2: Creación propia.

11 rm: Elimina el archivo que es selecciona la estructura funciona colocas el archivo que quieras eliminar y realiza la función respectiva. Además se puede colocar un mensaje que nos ayude a no eliminar un archivo que no queramos.
Colocando -i (interactive) después del remove. También se puede colocar el -f pero con esto forzamos a que se borre la información.
Imagen 11.1: Creación propia.

Si intentamos eliminar un directorio que tenga archivo es importante colocar la flag de -r y para que no haya problemas colocamos el -i
Imagen 11.2: Creación propia.

12 head: Nos mostrara la cabecera de nuestro archivo principalmente las primeras 10 líneas de texto por defecto. Si queremos ver mas líneas debemos colocar -n seguido del numero de líneas que queremos.
Imagen 12: Creación propia.

Resumen de comandos Linux
Imagen 13: Creación propia.

Jeremy Zevallos
Coordinador Académico Datapath

Conoce nuestros programas

✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:

Tenemos inicios todo los meses, conoce más aquí.