Cuando migramos aplicaciones hacia la nube, movemos software, infraestructura y datos para que las aplicaciones funcionen correctamente en su nuevo espacio. Todo el movimiento requiere servicios de transferencia potentes capaces de coordinar gran cantidad de datos.
Este es el caso de la migración de Terabytes (TB) de datos almacenados en un sistema de archivos compartido On-premise (centro de datos en tierra) hacia los servicios de almacenamiento de nube. Se trata de una transferencia de datos en línea, económica y rápida usando los servicios AWS.
Los servicios
Amazon FSX for Windows File Server es un servicio administrado de almacenamiento para sistemas de archivo compartidos Windows. Incluye soporte nativo para protocolos de red Windows, rendimiento y baja latencia. Elimina la tarea de configurar servidores de archivos y volúmenes de disco.
AWS DataSync es un servicio que permite trasladar datos desde un origen (On-premises o nube), hacia un servicio de almacenamiento de AWS. Sirve como un puente para mover archivos de un lugar a otro de forma coordinada mediante tareas programadas y de implementación automatizada por medio de la infraestructura como código con AWS CloudFormation. A diferencia de otros servicios de transferencia datos, es de uso temporal durante la migración de datos.
AWS CloudFormation permite aprovisionar recursos en AWS de forma rápida y consistente, mediante la infraestructura como código (IaC). Los recursos se definen en plantillas escritas en lenguaje YAML o JSON que son agrupadas en pilas (stacks) para una administración y despliegue automatizado.
Amazon CloudWatch es un servicio de monitoreo que recopila y visualiza registros, métricas y datos de eventos de infraestructura implementada en AWS, mediante paneles o grupo de registros para supervisar el rendimiento de aplicaciones.
Estos servicios están sincronizados entre sí por medio de canales de comunicación segura, como muestra el siguiente diagrama de arquitectura:
Los agentes
Lo primero, se requiere configurar agentes AWS DataSync cerca al origen de los datos en el sistema de archivos compartido. Este puede ser una máquina virtual sobre VMware ESXi, Microsoft Hyper-V, Linux KVM o una instancia EC2 con imagen DataSync VM. Lo importante es cumplir con los requisitos de red y configuracion del agente AWS DataSync.
En el destino, en la cuenta AWS, configurar un punto de enlace (VPC endpoint) con interfaces de red (ENI) por zona de disponibilidad y el servicio AWS DataSync con la llave de activación (activation key) que se obtiene de los agentes AWS DataSync previamente configurados en el origen.
Esto nos permite visualizar desde la consola AWS qué origen y destino están sincronizados:
La automatización
La implementación del servicio AWS DataSync, VPC Endpoints, ubicaciones y tareas de transferencia se realiza mediante infraestructura como código con AWS CloudFormation, donde se definen los parámetros necesarios en plantillas YAML ó JSON.
VPC Endpoints y grupos de seguridad
# Security Group para el VPC Endpoint
rDataSyncEndPointSG:
Type: AWS::EC2::SecurityGroup
Properties:
GroupDescription: Permitir conexión VPC endpoint
GroupName: Nombre para security group
VpcId: Id de red privada virtual (VPC)
SecurityGroupIngress:
- IpProtocol: tcp
FromPort: # numero de puerto
ToPort: # numero de puerto
CidrIp: # Direccion IP de agente AWS DataSync
Description: Acceso desde el agente los agentes en tierra
# VPC Endpoint con ENI por cada subnet
rDataSyncVpcEndpoint:
Type: AWS::EC2::VPCEndpoint
Properties:
SecurityGroupIds: # Id de security group
ServiceName: !Sub com.amazonaws.${AWS::Region}.datasync
SubnetIds: # Id de subredes de VPC
VpcEndpointType: Interface
VpcId: # Id de red privada virtual (VPC)
# Registro de agentes en consola AWS DataSync
rDataSyncAgent:
Type: AWS::DataSync::Agent
Properties:
ActivationKey: # Llave de activacion de agente AWSDatasync
AgentName: # Nombre descriptivo
SecurityGroupArns: # Amazon Resource Name(ARN) de security group
SubnetArns: # Amazon Resource Name(ARN) de subred
# Grupo de log para registrar los eventos de la tarea de transferencia de archivos
rLogGroups:
Type: AWS::Logs::LogGroup
Properties:
LogGroupName: # Nombre descriptivo
RetentionInDays: # Dias de retención de logs
Ubicaciones y tareas de transferencia
# Origen Transferencia de archivos SMB
rDataSyncSource:
Type: AWS::DataSync::LocationSMB
Properties:
AgentArns:
- # Amazon Resource Name (ARN) del agente AWSDataSync
Domain: # Nombre de domninio de directorio activo
Password: # Credencial con acceso de lectura al origen
User: # Credencial con acceso de lectura al origen
ServerHostname: # Nombre o dirección IP del origen
Subdirectory: # Carpeta compartida origen en formato /ruta/carpeta
# Detino Transferencia de Archivos FSX
rDataSyncTarget:
Type: AWS::DataSync::LocationFSxWindows
Properties:
Domain: # Nombre de domninio de directorio activo
FsxFilesystemArn: # Amazon Resource Name (ARN) del sistema Amazon FSX
Password: # Credencial con acceso de escritura al destino
User: # Credencial con acceso de lectura al destino
SecurityGroupArns: # Amazon Resource Name (ARN) de security group
Subdirectory: # Carpeta compartida destino en formato /ruta/carpeta
# Tarea de Transferencia de Archivos hacia FSX
rDataSyncTaskFSX:
Type: AWS::DataSync::Task
Properties:
Name: # Nombre descriptivo
SourceLocationArn: !Ref rDataSyncSource # Referencia a origen
DestinationLocationArn: !Ref rDataSyncTarget # Referencia a destino
Includes: # Filtros adicionales para destino
Options: # Opciones de tarea
Schedule: # Programacion de tarea
ScheduleExpression: # Formaton CRON
CloudWatchLogGroupArn: !Ref pLogGroupsArn # Referencia a grupo de logs
La transferencia
Como se observa en el código, la transferencia es programada mediante tareas que son especificadas mediante el parámetro Schedule, escrito en formato de expresiones CRON, un periodo o una hora específica para iniciar la transferencia de datos. Algunos ejemplos de tareas programadas:
Para una tarea que ejecute el domingo a las 12:00PM, escribimos cron(0 12 ? * SUN *).
Para una tarea que ejecute cada hota, escribimos rate(1 hour).
En la consola AWS DataSync la tarea quedará programada de la siguiente manera:
En la pestaña History, visualizamos el estado de la ejecución de la tarea y ver un registro más detallado acerca de los datos transferidos o fallidos en el servicio Amazon CloudWatch LogGroups.
Usando los servicios adecuados combinados con la infraestructura como código, podemos dar solución a casos de migración y modernización de aplicaciones de forma económica y sin necesidad de arrendar equipos robustos para almacenamiento y transferencia de datos permitiendo agilidad en el movimiento hacia la nube.. No obstante, en algunos casos sí se requieren y AWS ofrece dichos equipos.
Publicación original en: Bancolombia Tech
Top comments (0)