DEV Community: Víctor Pérez Pereira

Eliminate unused (available) EBS using AWS Lambda and CloudWatch Events

Víctor Pérez Pereira — Sun, 14 Nov 2021 19:34:01 +0000

In this occasion we share an AWS Lambda that checks if the EBS are available in an AWS region and with CloudWatch events we call upon to eliminate EBS volume. However, it is also possible to add a tag for EBS volume that is available, and it does not require to be deleted.

Definitions

AWS Lambda “Lambda is a compute service that lets you run code without provisioning or managing servers. Lambda runs your code on a high-availability compute infrastructure and performs all of the administration of the compute resources, including server and operating system maintenance, capacity provisioning and automatic scaling, code monitoring and logging. With Lambda, you can run code for virtually any type of application or backend service.” 1

AWS Elastic Block Store (EBS) “provides block level storage volumes for use with EC2 instances. EBS volumes behave like raw, unformatted block devices.” 2

CloudWatch Events “delivers a near real-time stream of system events that describe changes in Amazon Web Services (AWS) resources. Using simple rules that you can quickly set up, you can match events and route them to one or more target functions or streams.” 3

Warning

We recommend that you execute this configuration first in a controlled environment for tests or sandbox.

Using the next repository
https://github.com/vperezpereira/ebs-delete

In an AWS account using CloudShell download the git repository and execute the following commands. git clone https://github.com/vperezpereira/ebs-delete.git

sam build

sam deploy --guided

If an error like this occurs using the last command:

“Error: Failed to create changeset for the stack: ebs-ireland, ex: Waiter ChangeSetCreateComplete failed: Waiter encountered a terminal failure state: For expression "Status" we matched expected path: "FAILED" Status: FAILED. Reason: Requires capabilities : [CAPABILITY_NAMED_IAM]”

Execute the following command:
sam deploy --capabilities CAPABILITY_NAMED_IAM

In this point, SAM will require confirmation for deployment

An AWS Lambda with the code that executes revision and deletes EBS volume.
A S3 Bucket where the deleted EBS volume is stored.
Finally, the permissions necessary for deployment.

Result of deploy

The configuration of creating the CloudWatch events rule is not added to the template because we think that it will depend on the requirements of each individual.

Creating CloudWatch events Rule. For this demo, we add a Rule each 5 minutes that calls upon that AWS Lambda: ebs-ireland-EBSDelete

We activate and finish the rule creation.

We validate that AWS Lambda has the correct environments, you can also modify them, or add a tag on EBS volume that you wish to protect from elimination.

For a demo, we created two EBS volumes available.

Then the result is that the eliminated EBS volume goes to the S3 Bucket and then we review the file log.

The file indicates that EBS volumes ID were eliminated.

Establishing connections less than 1GB with Direct Connect, Transit Gateway, VPN and Sophos XG on AWS

Víctor Pérez Pereira — Tue, 09 Nov 2021 18:54:31 +0000

When we have many environments (development, quality and production) on AWS and we separate in different VPCs or AWS accounts, we can have a Transit Gateway; however, when we require an on-premise scenario using Direct Connect with less than 1GB to Transit Gateway native is not supported but, in the following description we’ll see an option of how we can solve it applying the mentioned services with AWS Direct Connect of 100Mbps.

Important

In the next scenario we are using a telecommunications provider that offers connections lower than 1GB on AWS Direct Connect.

Definition

AWS Direct Connect “AWS Direct Connect links your internal network to an AWS Direct Connect location over a standard Ethernet fiber-optic cable. One end of the cable is connected to your router, the other to an AWS Direct Connect router. With this connection, you can create virtual interfaces directly to public AWS services (for example, to Amazon S3) or to Amazon VPC, bypassing internet service providers in your network path. An AWS Direct Connect location provides access to AWS in the Region with which it is associated. You can use a single connection in a public Region or AWS GovCloud (US) to access public AWS services in all other public Regions.” 1

AWS Transit Gateway “A transit gateway is a network transit hub that you can use to interconnect your virtual private clouds (VPCs) and on-premises networks. As your cloud infrastructure expands globally, inter-Region peering connects transit gateways together using the AWS Global Infrastructure. Your data is automatically encrypted and never travels over the public internet.” 2

AWS VPN “AWS Virtual Private Network solutions establish secure connections between your on-premises networks, remote offices, client devices, and the AWS global network. AWS VPN is comprised of two services: AWS Site-to-Site VPN and AWS Client VPN. Each service provides a highly-available, managed, and elastic cloud VPN solution to protect your network traffic. AWS Site-to-Site VPN creates encrypted tunnels between your network and your Amazon Virtual Private Clouds or AWS Transit Gateways. For managing remote access, AWS Client VPN connects your users to AWS or on-premises resources using a VPN software client.” 3

SOPHOS “Sophos XG Firewall is the only network security solution that is able to fully identify the user and source of an infection on your network and automatically limit access to other network resources in response. ... Using Security Heartbeat, we can do much more than just see the health status of an endpoint.” 4

Diagram description

First, we are using AWS Control Tower to segment accounts; we have three AWS accounts in the diagram, an account with the name: Networking; it will be used for interconnection with on-premise and AWS. We also associate the transit gateway attached to the other AWS accounts.
There is a connection from on-premise to AWS using Direct Connect 100Mbps with BGP and VIF (Virtual Interfaces) private.
We create and configure a floating VPC (Virtual Private Gateway), and this point is very important since it’s floating is not associated with any VPC .
We create a transit VPC, it will have four subnets, two private and two public subnets.
Deploy and configure two Sophos XG EC2 instances to our communication routers between Direct Connect and Transit Gateway. You can obtain Sophos XG from AWS Marketplace. We use two Sophos XG with HA (high availability) in two different availability zones.
As previously presented, when the template is deployed it assigns an Elastic IP reserved to each Sophos XG, which we will use for creating VPC connection.
We Configure Transit Gateway on the AWS account of name: “Networking” and we associate the VPC’s AWS accounts QA/DEV and PROD, also the “transit” VPC which have the Sophos XG.
We Create and configure a VPN connection with AWS on each Sophos XG using Elastic IP reserved on the EC2 instances. It’s important that at the moment of configuring, we do not use the option of Transit Gateway given, we use floating VPG (Virtual Private Gateway)

In Sophos XG

We create and configure a VPN connection with AWS and associate the routes for the BGP that we obtained from the configuration file on AWS-VPN console.
We configure firewall policy and routes.

In the route table of VPC and AWS

Previously, the VPCs that we will use from the three AWS accounts were associated with the Transit Gateway, so now, we only must modify the routing tables to go through Transit Gateway.

At this point, we have a solution created and configured using AWS Direct Connect of 100Mbps with AWS Transit Gateway.

Comments and recommendations

Understand the use of Transit Gateway, VPN and Direct Connect.
Take Transit Gateway Workshops, this is an important service to execute AWS configurations.
You can use any router brand (for example: Forti, Checkpoint, etc.).
Activate VPC Flow Logs and review blocked and accepted traffic on VPCs.
In my case I created a Sandbox VPC in the same region as the AWS account “Networking” to do tests and simulations with other VPC.

References

https://aws.amazon.com/blogs/networking-and-content-delivery/integrating-sub-1-gbps-hosted-connections-with-aws-transit-gateway/
https://aws.amazon.com/marketplace/pp/prodview-ga4qvij427bvw?sr=0-5&ref_=beagle&applicationId=AWSMPContessa

Access the Amazon Elastic File System (EFS) from multiple VPC using VPC Peering

Víctor Pérez Pereira — Fri, 16 Jul 2021 12:30:25 +0000

When there are different environments (development, quality, production) in AWS, and we separate them in many VPC's or AWS accounts, but need access to the same EFS (Elastic File System), we can apply a configuration with VPC Peering.

Definitions

Amazon Elastic File System (EFS)

Amazon Elastic File System (Amazon EFS) provides a simple, serverless, set-and-forget, elastic file system that lets you share file data without provisioning or managing storage. 1

VPC peering

A VPC peering connection is a networking connection between two VPCs that enables you to route traffic between them using private IPv4 addresses or IPv6 addresses. Instances in either VPC can communicate with each other as if they are within the same network. 2

For example:

We have two VPC in the same region with EFS connection using VPC Peering.

Steps

1- Create VPC Peering: Here I share a guide with information and configuration of the VPC Peering. https://docs.aws.amazon.com/vpc/latest/peering/create-vpc-peering-connection.html#create-vpc-peering-connection-local

For example, we create VPC Peering with the following network.

Name: VPC-A: 10.8.0.0/16
Name: VPC-B: 172.31.0.0/16

2- Later in the previous phase, we configure and create EFS. Here I share guide: https://docs.aws.amazon.com/efs/latest/ug/gs-step-two-create-efs-resources.html

For example: we create an EFS with ID fs-da19746e on VPC 10.8.0.0/16

3- Now, we set up our EFS in Ubuntu Linux instance the network 10.8.0.0/16

Before this, we create a directory /efs/shared, and we edit file /etc/fstab and add the following line:

fs-da19746e.efs.us-east-1.amazonaws.com:/ /efs-shared nfs4 defaults,_netdev 0 0

We check that it is set up EFS using the command: df -h

Now, we create a file with two lines.

And we repeat the previous step but, now with the instance in VPC 172.3.1.0.0/16 however, for a successful connection, we must make the last command’s.

4- Open a Cloud Shell in the Virginia region, then execute the following command:

aws efs describe-mount-targets --file-system-id fs-da19746e

Obtain the interface IP of the EFS and write the following command in the instance EC2 the VPC 172.31.0.0/16

echo "10.8.1.81 fs-da19746e.efs.us-east-1.amazonaws.com" | sudo tee -a /etc/hosts

Later, we execute the same process and create directory /efs-shared and add it, then set up the disk in /etc/fstab the instance EC2 with the following command: mount /efs/shared. Finally, we verify if there is a file with the name "test".

With these steps, now we have obtained EFS access in the different VPC no matter where EFS are configured.

Recommendations:

● Verify that the security group is attached to the EFS and available open port TCP:2049.

● VPC Peering has route tables that associate the connection with the EC2 instances.

● For this example, we use a network interface, the EFS, but you can use more interfaces in different subnets associated with the VPC.

● You can connect VPC Peering with different AWS accounts and other regions in the same account; however, it is important that the networks are not the same because VPC Peering doesn't accept the equal networks.

Query Logs the AWS WAF using Amazon Athena.

Víctor Pérez Pereira — Thu, 24 Jun 2021 02:35:48 +0000

When we require to view the logs coming from the AWS WAF – Web Application Firewall, we count with an option to export the logs to Amazon S3. However, if we try to see them and would like the option to execute queries, there is Amazon Athena.

Definition

Amazon Athena

“Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run.”1

Amazon S3

“Amazon Simple Storage Service (Amazon S3) is an object storage service that offers industry-leading scalability, data availability, security, and performance.”2

AWS WAF - Web Application Firewall

“AWS WAF is a web application firewall that helps protect your web applications or APIs against common web exploits and bots that may affect availability, compromise security, or consume excessive resources.”3

Amazon Kinesis Data Firehose

“Amazon Kinesis Data Firehose is the easiest way to reliably load streaming data into data lakes, data stores, and analytics services.”4

Before we begin, first we must configure WAF on AWS, section Logging and metrics -> Logging, the idea is to obtain the logs using Kinesis Data Firehose, while they are saved on Amazon S3 bucket.

With this link I share, you can see a simple guide available at AWS

https://aws.amazon.com/premiumsupport/knowledge-center/waf-configure-comprehensive-logging/

Then the next step, we should have activated the Logging with the option “Enabled” pointing to Amazon Kinesis Data Firehose delivery stream.

Now, go to the Amazon Athena section in AWS Console and create:

A Database.
A table where the data and structure the logs from AWS WAF will be.

Database creation name: demo_waf_logs

Table creation name: waf_logs

Query the creation waf_logs table.

CREATE EXTERNAL TABLE waf_logs(
timestamp bigint,
formatversion int,
webaclid string,
terminatingruleid string,
terminatingruletype string,
action string,
terminatingrulematchdetails array<
struct<
conditiontype:string,
location:string,
matcheddata:array
>
>,
httpsourcename string,
httpsourceid string,
rulegrouplist array<
struct<
rulegroupid:string,
terminatingrule:struct<
ruleid:string,
action:string,
rulematchdetails:string
>,
nonterminatingmatchingrules:array<
struct<
ruleid:string,
action:string,
rulematchdetails:array<
struct<
conditiontype:string,
location:string,
matcheddata:array
>
>
>
>,
excludedrules:array<
struct<
ruleid:string,
exclusiontype:string
>
>
>
>,
ratebasedrulelist array<
struct<
ratebasedruleid:string,
limitkey:string,
maxrateallowed:int
>
>,
nonterminatingmatchingrules array<
struct<
ruleid:string,
action:string
>
>,
requestheadersinserted string,
responsecodesent string,
httprequest struct<
clientip:string,
country:string,
headers:array<
struct<
name:string,
value:string
>
>,
uri:string,
args:string,
httpversion:string,
httpmethod:string,
requestid:string
>,
labels array<
struct<
name:string
>
>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'paths'='action,formatVersion,httpRequest,httpSourceId,httpSourceName,labels,nonTerminatingMatchingRules,rateBasedRuleList,requestHeadersInserted,responseCodeSent,ruleGroupList,terminatingRuleId,terminatingRuleMatchDetails,terminatingRuleType,timestamp,webaclId')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://waf-sandbox/2021/05/'

Important: the option LOCATION is the place where the logs AWS WAF are, we can obtain the information searching on Amazon S3 Bucket that we are using to store the logs as it is presented on the picture.

We proceed to view the result before executing the query

SELECT * FROM "demo_waf_logs"."waf_logs" limit 10;

If we execute a query with a filter

SELECT * FROM "demo_waf_logs"."waf_logs" where action='BLOCK' limit 10;

If we execute a query with a filter IP address

SELECT * FROM "demo_waf_logs"."waf_logs" where httprequest.clientip='45.146.164.125' limit 10;

Reference

https://docs.aws.amazon.com/athena/latest/ug/waf-logs.html

Querys logs de ELB (Elastic Load Balancing) usando Amazon Athena

Víctor Pérez Pereira — Sun, 20 Jun 2021 19:12:17 +0000

Cuando requerimos revisar los logs provenientes de los ELB (Elastic Load Balancing) contamos con la opción de poder exportar los logs hacia Amazon S3, sin embargo, si también buscamos verlos y contar con la opción de realizar querys, existen la opción de usar Amazon Athena.

Definiciones

Amazon Athena

“Amazon Athena es un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar. Athena no tiene servidor, de manera que no es necesario administrar infraestructura y solo paga por las consultas que ejecuta.” 1

Amazon S3

“Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector.” 2

Elastic Load Balancing

“Elastic Load Balancing distribuye automáticamente el tráfico de aplicaciones entrante a través de varios destinos, tales como las instancias de Amazon EC2, los contenedores, las direcciones IP, las funciones Lambda y los dispositivos virtuales.” 3

Lo primero es revisar si tenemos activado en nuestro ELB en la sección: EC2 > Load Balancing -> Load Balancers -> Basic Configuration -> Attributes el registro de logs y que el mismo esta hacia un Bucket de Amazon S3. Si no tenemos activado, en la imagen a continuación, tenemos las opciones a configurar.

Luego, vamos a Amazon Athena y procedemos a crear una base de datos y una tabla donde tendremos el acceso a los logs del ELB (Elastic Load Balancing) que se están almacenando y registrando continuamente.

En la siguiente imagen, creamos la base de datos llamada: demo_elb_logs

CREATE DATABSE demo_elb_logs

Nota: Si tienes base de datos existentes en Amazon Athena, puedes usarlas también y solo crearías la tabla de los logs que requieres consultar provenientes de Amazon S3.

Ahora creamos mediante el siguiente query la tabla elb_logs que estará en la base de datos demo_elb_logs y tendrá la información proveniente de Amazon S3:

CREATE EXTERNAL TABLE IF NOT EXISTS elb_logs (
type string,
time string,
elb string,
client_ip string,
client_port int,
target_ip string,
target_port int,
request_processing_time double,
target_processing_time double,
response_processing_time double,
elb_status_code string,
target_status_code string,
received_bytes bigint,
sent_bytes bigint,
request_verb string,
request_url string,
request_proto string,
user_agent string,
ssl_cipher string,
ssl_protocol string,
target_group_arn string,
trace_id string,
domain_name string,
chosen_cert_arn string,
matched_rule_priority string,
request_creation_time string,
actions_executed string,
redirect_url string,
lambda_error_reason string,
target_port_list string,
target_status_code_list string,
classification string,
classification_reason string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1',
'input.regex' =
'([^ ]) ([^ ]) ([^ ]) ([^ ]):([0-9]) ([^ ]):- ([-.0-9]) ([-.0-9]) ([-.0-9]) (|[-0-9]) (-|[-0-9]) ([-0-9]) ([-0-9]) \"([^ ]) ([^ ]) (- |[^ ])\" \"([^\"])\" ([A-Z0-9-]+) ([A-Za-z0-9.-]) ([^ ]) \"([^\"])\" \"([^\"])\" \"([^\"])\" ([-.0-9]) ([^ ]) \"([^\"])\" \"([^\"])\" \"([^ ])\" \"([^\s]+?)\" \"([^\s]+)\" \"([^ ])\" \"([^ ]*)\"')
LOCATION 's3://web-elb-logs/AWSLogs//elasticloadbalancing/us-east-1/';

Importante: la opción LOCATION se refiere a la ubicación donde están los logs, el mismo lo podemos obtener ingresando en el bucket de Amazon S3 que estamos usando para almacenar los logs de ELB como lo muestra la siguiente imagen:

En la siguiente imagen vemos el resultado de la ejecución del query anterior.

Verificamos que la tabla tenga los datos realizando el siguiente query

SELECT * FROM "demo_elb_logs"."elb_logs" limit 10;

Podemos realizar búsquedas personalizadas como lo vemos en la imagen a continuación

SELECT * FROM "demo_elb_logs"."elb_logs" where target_status_code_list= '200' limit 10;

Referencia
https://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html#create-alb-table

Replicando SAP ASE a Amazon Redshift con AWS DMS

Víctor Pérez Pereira — Sun, 25 Apr 2021 03:31:43 +0000

Continuando con la introducción de AWS DMS (Database Migration Service), realizaremos una replicación de base de datos cuando el origen es SAP ASE hacia Amazon Redshift usando AWS DMS.

Definiciones

AWS DMS

“AWS Database Migration Service ayuda a migrar las bases de datos a AWS de manera rápida y segura. La base de datos de origen permanece totalmente operativa durante la migración, lo que minimiza el tiempo de inactividad de las aplicaciones que dependen de ella. AWS Database Migration Service puede migrar datos hacia y desde la mayoría de las bases de datos comerciales de código abierto de uso más generalizado.” 1

Amazon Redshift

“Amazon Redshift es un servicio de almacenamiento de datos en la nube completamente administrado a escala de petabytes. Puede comenzar con solo unos cientos de gigabytes de datos y, luego, ampliarlos a un petabyte o más. Esto le permite usar los datos para adquirir nuevos desarrollos para su empresa y sus clientes.” 2

SAP ASE

Es una base de datos relacional la cual fue adquirida hace algunos años por SAP, ASE es Adaptive Server Enterprise (ASE) y es el motor de bases de datos (RDBMS). ASE es un sistema de gestión de datos, altamente escalable, de alto rendimiento, con soporte a grandes volúmenes de datos, transacciones y usuarios, y de bajo costo. 3

A continuación, ejemplo del proceso replicación

Antes de iniciar las configuraciones, algunas consideraciones importantes

AWS DMS soporta SAP ASE versiones 12.5.3 o superior, 15, 15.5, 15.7, 16 y posteriores como fuentes.
Revisar: Limitaciones en el uso de SAP ASE como fuente para AWS DMS 4
Revisar: Requisitos previos para usar una base de datos SAP ASE como fuente para AWS DMS 5

Pasos

Creamos una base de datos en SAP ASE llamada formula1 la cual tiene una tabla de nombre: pilotos que contiene algunos pilotos de Formula 1 con el dato de la Scuderia la cual iniciaron.
Creamos nuestro replicador en AWS DMS, para efectos de demostración podemos usar una instancia pequeña.

Luego, creamos dos conexiones(endpoints), una de origen (source) que será nuestro SAP ASE que esta en una instancia EC2 y otra como destino (target) para Amazon Redshift.

Validamos que las conexiones estén activas, realizando una prueba desde el replicador y la conexión creada.
Creamos una nueva tarea (task) en AWS DMS la cual contiene:

a. Origen (SAP ASE) y destino (Amazon Redshift).

b. Replicador creado anteriormente.

c. Tipo de migración (migration type) usaremos “Migrate existing data and replicate ongoing changes” Migre los datos existentes y replique los cambios en curso: realice una migración única desde el origen al destino y luego continúe replicando los cambios de datos desde el origen al destino.

d. Asignaciones de tablas (Table mappings) creando la siguiente regla:

e. Activamos los logs de CloudWatch para realizar el seguimiento de los eventos de la tarea y si existe alguna advertencia o error podamos revisar a detalle.

f. Finalizamos los pasos creando la tarea y continuamos con el inicio de esta, ejecutando Start.

Validamos que la tarea se ejecutó y realizo el volcado de los datos, para ello, vemos en la consola de AWS en la sección de DMS.

Y en el base de datos conectándonos a Amazon Redshift desde la consola de AWS visualizamos los datos:

Veamos un ejemplo de replicación

• Insertar nuevos datos (Niki Lauda)
• Modificar datos (Scuderia Jordan - Rubens Barrichello y Michael Schumacher)
• Eliminar datos (Damon Hill)

Cuando realizamos los cambios de datos en el origen, podemos ver en la tarea de ejecución de AWS DMS la cantidad de cambios que hemos realizado.

Volvemos a Amazon Redshift en la consola y observamos si los cambios fueron replicados

Resumen

Con el ejemplo realizado, pudimos ver cómo crear una replicación de origen SAP ASE hacia Amazon Redshift usando AWS DMS, agregar, eliminar y modificar datos.

Es importante mencionar, que este es un ejemplo básico, sin embargo, cuando usamos AWS DMS para migraciones y replicaciones siempre recomiendo usar AWS Schema Tool, la cual es una excelente herramienta como lo mencione en mi artículo anterior, adicional podemos realizar preevaluación (pre-assessment) antes de realizar ejecutar una tarea en AWS DMS.

También recomiendo revisar documentación de AWS DMS para los orígenes preparar, en este ejemplo vimos SAP ASE, sin embargo para todos los motores de base de datos hay información de interés.6

Recomendado:
AWS DMS Workshop https://dms-immersionday.workshop.aws/en/

Introducción a AWS DMS

Víctor Pérez Pereira — Mon, 12 Apr 2021 01:39:46 +0000

Actualmente, las organizaciones y empresas cuando requieren

Migrar sus cargas de trabajos a la nube.
Contar con un ecosistema híbrido (on-premise-cloud) o (cloud-cloud).
Crear un Data Lake con diferentes orígenes.
Analizan cual es la mejor forma la cual involucre costo-beneficio, menor impacto en la afectación en la continuidad del negocio y ventaja competitividad en el sector (innovación).

Para ello, AWS cuenta con un servicio llamado AWS DMS (Database Migration Service) y aunque el nombre pareciera que solo tiene como utilidad migrar cargas de trabajo, también nos proporciona la posibilidad de realizar replicaciones continuas de nuestros datos.

Con AWS DMS podemos realizar:

• Migraciones homogéneas y heterogenias
• Replicaciones continuas homogéneas y heterogéneas.

Y surge la pregunta:

Ejemplo: ¿Podemos migrar y replicar SAP Sybase a Amazon Redshift?

Si, podemos realizar migración, replicación de cargas de trabajo que están en on-premie, AWS u otro provider cloud a Amazon Redshift provenientes de SAP Sybase.

¿Cuáles son los motores de base de datos soportados para las migraciones/replicaciones de origen y destino de AWS DMS?

En la siguiente imagen, contamos con el cuadro resumen

[https://aws.amazon.com/dms/schema-conversion-tool/?nc=sn&loc=2]

Bien, pero cuando conversamos en esas organizaciones y empresas que desean migrar sus cargas o replicarlas, se preguntan:

¿Qué sucede con la consistencia de los datos cuando realizo esto usando una estrategia heterogénea?

Para ello, AWS DMS tiene una herramienta que a mi parecer es muy potente por las características que ofrece, AWS Schema Tool, en resumen:

“La herramienta de conversión de esquemas de AWS hace que las migraciones de bases de datos heterogéneas sean predecibles al convertir automáticamente el esquema de la base de datos de origen y la mayoría de los objetos de código de la base de datos, incluidas las vistas, los procedimientos almacenados y las funciones, a un formato compatible con la base de datos de destino. Los objetos que no se pueden convertir automáticamente se marcan claramente para que se puedan convertir manualmente para completar la migración.” 1

Importante, AWS Schema Tool es una herramienta sin costo y es compatible con los siguientes sistemas operativos

• Microsoft Windows
• Apple Mac
• Fedora Linux (rpm)
• Ubuntu Linux (deb)

Otra de las características de AWS DMS son los pre-assessments (pre-evaluaciones):

“… evalúa componentes específicos de una tarea de migración de base de datos para ayudar a identificar cualquier problema que pueda impedir que una tarea de migración se ejecute como se esperaba.” 2

Esto lo aplica para las Task (tareas) que configuramos en AWS DMS cuando realizamos la migración/replicación de nuestras cargas de trabajo.

Ahora bien, para usar AWS DMS debemos configurar previamente

Creación y definir Subnet groups para la creación de instancia de replicación.
Crear un replicador: Es una instancia de AWS DMS que permite realizar el proceso de orsquetación, obtención y volcado de los datos de orígenes y destinos.
Crear las conexiones a nuestros motores de base de datos, para orígenes como destinos: Requiere un usuario de la base de datos con ciertos permisos, contraseña, puerto de conectividad y dirección IP.
Creación de una tarea (task), indicando los componentes de origen-destino y definiremos la estrategia, si migramos o replicamos, adicional que base de datos, tablas y transformación queremos realizar.

Importante: Si realizaremos replicación continua, es necesario aplicar una configuración adicional en la base de datos origen, por ejemplo, para MySQL, es necesario agregar y activar binlog en la configuración.

AWS DMS tiene la opción de usar CDC(Change Data Capture)3

Ahora bien, si podemos con AWS DMS replicar y migrar, ¿cuáles serían los casos de usos más comunes?

Consolidación de base de datos, ejemplo, varios orígenes volcados a Amazon Redshift, el DataWarehouse de AWS.
Creación de una Data Lake, ejemplo, el principio del punto anterior y agregando S3 con varios tipos de archivos, usando Athena, Glue, EMR, etc.
Creación de un Business Inteligencie, ejemplo, tener base de datos orígenes obteniendo los datos y usando AWS DMS como replicador a otra base de datos donde podemos consumir para crear nuestros reportes de BI.
Ambientes de pruebas, calidad y desarrollo de nuestras cargas de orígenes de base de datos productivas, ejemplo, validar constantemente un ambiente de calidad con datos actualizados de orígenes de producción.

En mi opinión, AWS DMS tiene una gran ventaja y es que no requerimos tener y trasladar una carga de orquestación de migración y replicación a nuestros orígenes y destinos, evitando el consumo adicional de recursos en dichas instancias de motores de base de datos y delegándolo al replicador de AWS DMS.

Vamos al tema de costos

AWS DMS tiene una oferta de:

“Si el destino de la migración de base de datos es Amazon Aurora, Amazon Redshift, Amazon DynamoDB o Amazon DocumentDB (compatible con MongoDB), podrá usar DMS gratuito durante seis meses.” 4

Los costos de AWS DMS se detallan

• Tipo de instancia del replicador.
• Almacenamiento del replicador.
• Transferencia de datos.

Como buena práctica, antes de volcarnos a configurar, revisemos los alcances y las limitaciones del servicio.

¿Cuál serían las limitaciones de AWS DMS?

[https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Limits.html]

Consejos y buenas prácticas

Empiece por algo sencillo pero funcional, pruebe y entienda como funciona AWS DMS, no recomiendo usar primero un ambiente de producción sin conocer antes el servicio y las funcionabilidades.
Realice una estrategia, tanto para migración o replicación, involucre a los departamentos de base de datos, seguridad y redes.
Valide las normas nacionales en el País sobre el uso y exportación de datos hacia la nube.
Defina un plan basado en el resultado de la estrategia donde involucro a los departamentos.
Use las herramientas que le brinda AWS DMS, AWS Schema Tool y pre-assessments.
Realice y presente un presupuesto de costos asociados, recuerde que no siempre es solo AWS DMS.

Y para finalizar, el mejor consejo, realice Workshops, lea la documentación oficial y cree sus notas de interés para su próxima carga migrada/replica en AWS.

AWS DMS Workshop

[https://dms-immersionday.workshop.aws/en/]

En el próximo artículo, iniciaremos con AWS DMS creando una migración y replicación.