DEV Community: Misael Ramirez Espinosa

Configurar alertas en Database Migration Service

Misael Ramirez Espinosa — Thu, 20 Jan 2022 21:39:51 +0000

Tabla de Contenidos

Introducción
Requerimientos
Configuración SNS
Configuración Alerta para Instancia de replicación
Configuración Alerta para Tarea de replicación

Introducción

En el siguiente tutorial se explicará como crear notificaciones de alerta para el servicio de Database Migration Service (DMS).

AWS Database Migration Service es el servicio que permite realizar la replicación de bases de datos a la nube de AWS. Ofrece orígenes de bases de datos en On-Premise como Oracle, PostgreSQL, MySQL, MariaDB y MongoDB. Respecto a la nube ofrece conexiones con Amazon Aurora PostgreSQL, Amazon DocumentDB, Amazon S3, RDS, Google Cloud SQL for MySQL, Microsoft Aurora SQL Database, Microsoft Azure SQL Managed Instance y Microsoft SQL Server.

Sobre los destinos que DMS soporta son Amazon Aurora(MySQL, MySQL Serverless, PostgreSQL y PostgreSQL Serverless), Amazon DocumentDB(Con compatibilidad para MongoDB), Amazon DynamoDB, Amazon ElasticSearch, Amazon Kinesis, Amazon Neptune, Amazon Redshift, Amazon S3, Kafka, MariaDB, Microsoft SQL Server, MySQL, Oracle, PostgreSQL y Redis.

Como pudiste notar es un servicio muy potente al soportar tantos orígenes y destinos por lo que será una herramienta realmente útil en tus proyectos de migración.

No obstante esto, todos los sistemas pueden fallar y por tanto la organización debe estar preparada para cuando alguno de estos procesos de replicación falle o deje de funcionar como se espera.

Es por esto que a continuación se configurará dos tipos de alertas en DMS, una para la instancia de replicación y otra para las tareas de replicación.

Requerimientos

Cuenta en AWS.
Instancia de replicación y Tareas de migración creadas.

Configuración SNS

Se debe dirigir al servicio de SNS, en la sección de Topics seleccione Crear Topic, esto le desplegará el panel de creación del tópico. En la sección Details le permite elegir entre las opciones de FIFO y Standard. La primera opción asegura que el envío de mensajes será mediante First-In First-Out, preservando exactamente el orden de los mensajes que hayan ingresado al tópico, además de asegurar la entrega del paquete exactamente una vez. Respecto a la segunda opción Standard, no asegura el orden de envío pero si asegura que el paquete se entregue como mínimo una vez. Para el propósito de este tutorial basta con la versión Standard.

Luego debe definir el nombre del tópico, en este caso será demo-dms.

A continuación ya puede crear el tópico sin problemas, el resto de las opciones son opcionales y por tanto no se profundizarán en este tutorial.

Creado el tópico, debe ir a la sección de Subscriptions mediante la cual se suscribirá al tópico recién creado. Seleccione Create Subscription.

En Topic ARN seleccione el tópico que acaba de crear demo-dms.
En Protocol seleccione el endpoint por el cual desea que se le notifique. DMS le permite utilizar servicios de AWS, protocolos HTTP/HTTPS, SMS y Email. La opción mas común y la que se usará es email.

Una vez haya creado la subscripción, a su correo llegará un correo similar a este

Si ahora se dirige a Topics y selecciona demo-dms podrá ver que el estado de la subscripción es Confirmed

Configuración Alerta para Instancia de replicación

Diríjase al servicio de DMS y en el panel lateral seleccione Event subscriptions. Luego en la parte superior derecha seleccione Create event subscription

Ahora debe colocar el nombre de la suscripción que desea crear. Se creará una alerta para cuando la Instancia de replicación falle, por tanto el nombre será demo-error-replication-instance. El check Enabled es para indicar si desea que al crearse la alerta, inmediatamente quede activa. Dejela activada.

En Target le permite seleccionar a donde se enviará la alerta. Puede ser a un tópico existente(como el que previamente creó), Crear un nuevo tópico de correo electrónico o de SMS. Ya que previamente se creó el tópico, lo seleccioná.

En Event Source debe seleccionar primeramente de que tipo de fuente se obtendrán los eventos. Existen las opciones para eventos de Replication Instances y Replitation Tasks. En este momento se está configurando alerta para fallas en la Instancias de replicación por tanto esta es la opción seleccionada.

En Event categories seleccione si desea monitorear todos los eventos o solo algunos. Las opciones que permite son Low Storage, Deletion, Failure, Configuration Change, Creation, Failover y Maintenance.
Debido a la alarma que se esta configurando, seleccione failure. Si desea agregar alguna categoría extra, puede agregarla directamente aquí o en su defecto crear otra alerta, eso ya lo puede personalizar según lo necesite.

En Replication Instance debe seleccionar si quiere monitorear todas las instancias o solo alguna en específico. En este caso solo existe una Instancia de replicación creada por lo que la opción All instances es suficiente.

Finalmente puede seleccionar Create event subscription para crear la alerta

Configuración Alerta para Tarea de replicación

Diríjase al servicio de DMS y en el panel lateral seleccione Event subscriptions. Luego en la parte superior derecha seleccione Create event subscription

Ahora debe colocar el nombre de la suscripción que desea crear. Se creará una alerta para cuando la Tarea de replicación falle, por tanto el nombre será demo-error-replication-task. El check Enabled es para indicar si desea que al crearse la alerta, inmediatamente quede activa. Déjela activada.

En Target le permite seleccionar a donde se enviará la alerta. Puede ser a un tópico existente(como el que previamente creó), crear un nuevo tópico de correo electrónico o de SMS. Ya que previamente se creó el tópico, seleccionelo.

En Event Source debe seleccionar primeramente de que tipo de fuente se obtendrán los eventos. Existen las opciones para eventos de Replication Instances y Replitation Tasks. En este momento se está configurando alerta para fallas en las tareas de replicación por tanto esta es la opción seleccionada.

En Event categories seleccione si desea monitorear todos los eventos o solo algunos. Las opciones que permite son State change, Failure, Configuration Change, Deletion y Maintenance.
Debido a la alarma que se esta configurando, seleccione failure. Si desea agregar alguna categoría extra, puede agregarla directamente aquí o en su defecto crear otra alerta, eso ya lo puede personalizar según lo necesite.

En Replication Tasks debe seleccionar si quiere monitorear todas las tareas o solo alguna en específico. En este caso solo existe una Instancia de replicación creada por lo que la opción All instances es suficiente.

Finalmente puede seleccionar Create event subscription para crear la alerta

Luego de un par de minutos podrá ver en el panel que su alerta ha sido configurada exitosamente

Desplegando servidor SFTP en AWS

Misael Ramirez Espinosa — Sat, 08 Jan 2022 19:03:56 +0000

Introducción

En el presente tutorial mostraremos como podemos subir archivos a la nube de AWS utilizando el protocolo de seguridad SFTP.

Tabla de Contenidos

Requerimientos
Arquitectura
Tutorial
Costos

Requerimientos

Cuenta en AWS.
Aplicación FTP(Utilizamos Filezilla).
ssh-keygen para generación de clave pública y privada.

Arquitectura

Tutorial

Paso 1

Lo primero que haremos es ir al servicio de S3 y crearemos un bucket que será donde almacenaremos los archivos que subamos mediante el servidor SFTP. En nuestro caso al bucket lo llamaremos demo-sftp-99

Paso 2

A continuación, nos dirigimos al servicio AWS Transfer Family y seleccionaremos "Create Server"

En la sección 1 "Choose protocols" debemos seleccionar el tipo de transferencia que tendrá nuestro servidor, para ello nos desplega las siguientes opciones

SFTP: Transferencia segura utilizando SSH
FTPS: Transferencia segura sobre protocolo de encriptación TLS
FTP: Transferencia sobre canal no encriptado

Seleccionaremos la opción SFTP

En la sección 2 "Choose an identity provider" debemos seleccionar el tipo de proveedor que nos permitirá almacenar las credenciales de acceso. Las opciones son las siguientes:

Service Managed: Con Transfer Family administramos las credenciales de acceso.
AWS Directory Service: Utilizamos AWS Directory Service para administrar las credenciales de acceso. Este servicio se utiliza para trabajar en la nube de AWS con Microsoft Active Directory
Custom Identity Provider: Administramos las credenciales de acceso con un proveedor personalizado a elección.

Seleccionaremos la opción de Service Managed para que posteriormente podamos crear un usuario directamente en el servidor SFTP.

En la sección 3 "Choose an endpoint" debemos definir la configuración de seguridad del endpoint del servidor, para esto nos permite seleccionar lo siguiente:

Publicy accesible: Para que este disponible a través de internet
VPC Hosted: Para que se encuentre dentro de una VPC y utilizando Security Group

Para este tutorial nos basta con que se encuentre disponible sobre internet ya que la seguridad de la transferencia la estamos manejando con el protocolo SFTP. En el caso que necesitemos aplicar seguridad al servidor, entonces podemos configurar una VPC y seleccionar la opción VPC Hosted.

Al seleccionar esta opción, debemos definir en custom hostname que implica seleccionar como se creará el endpoint del servidor SFTP. Las opciones disponibles son:

None: Crear el endpoint por defecto utilizando AWS Transfer Family.
Amazon Route53 DNS Alias: Utiliza un Alias de DNS generado con Route53.
Other DNS: Utilizar un hostname que hayamos creado previamente con un servicio DNS externo.

Seleccionaremos None para que el endpoint lo genere el mismo servicio de Transfer Family.

La opción FIPS Enabled es para asegurar que el endpoint cumpla con el estándar FIPS. La dejaremos desactivada.

En la sección 4 "Choose a domain" debemos definir el servicio de almacenamiento de los archivos a transferir:

Amazon S3: Para almacenar los archivos en un bucket de S3.
Amazon EFS: Para almacenar los archivos en una instancia de EFS.

Seleccionaremos Amazon S3. La configuración del bucket se realiza al crear el usuario

En la sección 5 "Configure additional details" debemos primero crear/seleccionar un role para el registro de los logs de CloudWatch. En nuestro caso dejaremos que el mismo servicio cree el role.

Luego en Cryptographic algorithm options debemos elegir la politica de seguridad referente al algoritmo de encriptación, la dejaremos por default "TransferSecurityPolicy-2020-06".

En la sub-sección Server Host Key nos permite ingresar la clave privada en caso que deseemos migrar desde un servidor SFTP existente. En nuestro caso no aplica por lo que quedará vacio.

En Tags podemos agregar las etiquetas que necesitemos, aunque esto es opcional por lo que nosotros no lo haremos por el momento.

En Managed Workflows nos permite crear/seleccionar un flujo de trabajo en caso que necesitemos generar un procesamiento del tipo copiar, borrar, tagear o invocar una función lambda al archivo subido. Para propósitos de este tutorial no profundizaremos en esto, pero es una opción muy interesante a seguir explorando en el futuro.

Hemos llegado al término del proceso de creación del servidor SFTP, por lo que en la sección 6 de "Review and create" clickearemos Create Server para lanzar el servicio.

La creación del servicio demora entre 3 a 5 minutos, por lo que cuando su estado sea Online, podemos continuar con el siguiente paso

Paso 3

Seleccionaremos el servidor que acabamos de desplegar y lo que debemos hacer a continuación es crear el usuario que nos permitirá subir los archivos. Para ello iremos a la sección "Users" y seleccionaremos Add user.

En la sección User configuration debemos ingresar los parámetros que tendrá el usuario. Para ello en Username colocaremos sftp-user. En Role debemos previamente haber creado un role con la siguiente estructura:

En IAM iremos a Create Role y la primera sección de Choose a use case elegiremos Transfer

En Attach permissions policies seleccionaremos la politica administrada de AWS AmazonS3FullAccess

Por último en Review colocaremos el nombre demo-sftp al role.

Volvemos a la pestaña de creación del usuario del servidor y seleccionaremos el role que acabamos de crear(Si no aparece inmediatamente podemos darle al refresh que está justo a la derecha).

No aplicaremos ninguna política extra al usuario por lo que dejaremos la opción None

En Home Directory debemos seleccionar el bucket que creamos en el paso 1 al cual colocamos demo-sftp-99 e inmediatamente el recuadro inferior lo rellenará con el nombre del usuario que ingresamos en la primera casilla. Esto significa que dentro del bucket de S3, al subir un archivo con este usuario, creará una "carpeta" en donde quedará almacenado. Este valor lo podemos cambiar a discreción, pero se recomienda dejarlo por defecto porque en el futuro podemos crear nuevos usuarios que eventualmente podrian generar confusión al no tener asignada una carpeta con el mismo nombre para cada usuario.

En SSH public keys debemos ingresar la clave pública que funcionará como credencial de acceso para este usuario. Para generar la clave pública y privada utilizamos el siguiente comando

ssh-keygen -f nombre_archivo

Esto nos generará dos archivos, uno con terminación .pub(Clave pública) y el otro no(Clave privada). Copiaremos el contenido del archivo .pub y lo pegaremos en la sección SSH public key.
IMPORTANTE ALMACENAR AMBOS ARCHIVOS. LA CLAVE PRIVADA NO DEBE COMPARTIRSE NI ENVIARSE A TRAVÉS DE INTERNET PARA EVITAR QUE EXTERNOS PUEDAN ACCEDER A NUESTRO SERVIDOR SFTP.

Una vez tengamos todos los parámetros ingresado podemos seleccionar "Add user".

Ahora en la sección User veremos el usuario que acabamos de crear.

Paso 4

Abriremos el programa FTP que hayamos seleccionado, nosotros utilizaremos Filezilla. Iremos a Archivo y luego a Gestor de Sitios.

Esto nos deplegará una ventana en donde crearemos el Nuevo sitio para nuestro servidor. Para ello en la sección Protocolo de la parte derecha de la ventana seleccionaremos SFTP - SSH File Transfer Protocol. En Servidor pegaremos el endpoint ubicado en la sección Endpoint Details de nuestro servidor. El puerto es el 22. En el modo de acceso seleccionamos Archivo de claves y luego en el Usuario colocaremos el nombre del usuario creado en el paso 3, en nuestro caso sftp-user. En archivo de claves seleccionaremos la clave privada que generamos con ssh-keygen en el paso 3.

Ahora ya estamos en condiciones de conectarnos y comenzar a subir los archivos que deseemos

Paso 5 - Subida de archivos

Para nuestra primera subida solo basta con arrastrar el o los archivos que deseemos a la parte derecha inferior de Filezilla.

Ahora iremos a revisar a S3 el archivo que acabamos de subir, para ello buscaremos el bucket demo-sftp-99 y luego sftp-user, en donde se encontrará el archivo.

Costos

Tutorial

Considerando que estamos desplegando el servidor en una cuenta personal, es importante que conozcamos de antemano los costos que tendrá el despliegue de esta solución. Para esto debemos considerar tres aspectos, el primero es cuantos protocolos estamos desplegando(con esto me refiero a si usamos SFTP, FTP, FTPS), el segundo es el tiempo que estará desplegado el servidor SFTP y por último la cantidad de data transferida.
Para este tutorial, tendremos desplegado el servidor durante 1 hora con una transferencia de datos de 0.5 GB

Utilizando la AWS Pricing Calculator realizaremos el cálculo.

Detalle:

1 protocolo SFTP x 1 hora x 0.30 USD = 0.30 USD (costo por protocolos)
0.50 GB x 0.04 USD = 0.02 USD (costo por transferencia de subida)
0.50 GB x 0.04 USD = 0.02 USD (costo por transferencia de bajada)

0.30 USD + 0.02 USD + 0.02 USD = 0.34 USD

Costo AWS Transfer tutorial: 0.34 USD

Ambiente productivo

Considerando que requerimos desplegar esta solución en un ambiente productivo, por lo que consideramos 720 horas al mes(24hr * 30 días) y con una cuota de transferencia de datos de 10 GB en promedio mensual. En base a esto, el detalle es el siguiente

1 protocolo SFTP x 720 horas x 0.30 USD = 216.00 USD (costo por protocolos)
10 GB x 0.04 USD = 0.40 USD (costo por transferencia de subida)
10 GB x 0.04 USD = 0.40 USD (costo por transferencia de bajada)

216.00 USD + 0.40 USD + 0.40 USD = 216.80 USD

Costo AWS Transfer (mensual): 216.80 USD

Evidenciamos que los costos se eleven considerablemente, por lo que si no estamos dispuestos a desembolsar esa cantidad de dólares mensualmente, debemos de buscar alguna estrategia. Una que se me ocurre es desplegar esta solución solo cuando la necesitemos, realizando el despliegue mediante IaaC(Infraestructura como código) mediante un CloudFormation

Tutorial en YouTube

Tutorial

Fuente:
https://calculator.aws/#/createCalculator/TransferFamily
https://aws.amazon.com/aws-transfer-family/pricing/