DEV Community: Henrique Santos

Copia de Snapshot de Banco de Dados RDS criptografado entre Contas AWS

Henrique Santos — Tue, 16 Jan 2024 19:24:44 +0000

1- Crie o Snapshot do seu banco de dados RDS, verifique se a chave de criptografia dele é a padrão; caso seja, crie uma nova chave KMS e realize uma cópia do Snapshot criado, trocando a chave KMS para a que foi criada, conforme exemplificado abaixo (caso você já tenha uma chave de criptografia que não seja a padrão, pode prosseguir para o passo 2 sem realizar a cópia do snapshot criado):

-Criação de snapshot

-Criação de copia do snpashopt

-Trocando a chave kms da copia

2- Acesse a chave KMS vinculada ao seu snapshot ou cópia, vá para a aba "Other AWS accounts" > "Add other AWS accounts", e adicione o ID da conta à qual deseja compartilhar o Snapshot.

3- Vá até a cópia do snapshot à qual foi trocada a chave do KMS em "Actions" > "Share snapshot".

4- Adicione o ID da conta à qual deseja compartilhar o Snapshot e clique em "Salvar".

5- Vá até a conta à qual o snapshot foi compartilhado, navegue até RDS, na aba "Snapshots" > "Shared with me", será possível visualizar o snapshot. Com isso, é possível realizar uma cópia desse snapshot para a nova conta, alterando a chave do KMS para uma de sua escolha pertencente a essa nova conta.

Ao realizar esse processo, você conseguirá criar um novo banco de dados RDS em sua nova conta sem depender da chave de criptografia da conta antiga.

A utilidade de poder copiar Snapshots criptografados

Copiar um snapshot RDS criptografado de uma conta da AWS para outra é como ter uma cópia de backup segura que você pode levar para onde precisar. Isso é útil porque, por exemplo, você pode querer testar algo novo em um ambiente separado ou compartilhar dados com outra equipe, ou até mesmo migrar um ambiente de uma conta para outra.

A criptografia adiciona uma camada extra de segurança, como um cadeado digital, para garantir que seus dados estejam protegidos durante todo o processo. Essa flexibilidade é como ter uma chave que permite mover informações importantes de maneira fácil e segura entre diferentes partes da nuvem.

Resumindo, ser capaz de copiar snapshots criptografados é como garantir seus dados, facilitando sua movimentação e mantendo-os protegidos, não importa onde você precise usá-los na nuvem AWS.

Copia de Buckets S3 entre contas AWS

Henrique Santos — Tue, 09 Jan 2024 13:50:32 +0000

Na conta para qual o Bucket será copiado (Conta de destino)

Criar o bucket que irá receber os arquivos copiados.
Criar um usuário IAM e coloque a policy abaixo:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::<NOME-DO-BUCKET-DE-ORIGEM>",
                "arn:aws:s3:::<NOME-DO-BUCKET-DE-ORIGEM>/*",
                "arn:aws:s3:::<NOME-DO-BUCKET-DE-DESTINO>",
                "arn:aws:s3:::<NOME-DO-BUCKET-DE-DESTINO>/*"
            ]
        }
    ]
}

Gere uma credencial programática e a configure em sua maquina ou em uma instância utilizando o AWS CLI.
caso não saiba como realizar essa configuração,clique aqui.

Na conta a qual o Bucket está (Conta de Origem)

Inserir a policy abaixo no bucket que será copiado:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<ID-DA-CONTA-DESTINO>:user/<NOME-DO-USUARIO-IAM-CRIADO-NA-CONTA-DESTINO>""
            },
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::<NOME-DO-BUCKET-QUE-ESTÁ-INSERINDO-ESSA-POLICY>/*",
                "arn:aws:s3:::<NOME-DO-BUCKET-QUE-ESTÁ-INSERINDO-ESSA-POLICY>"
            ]
        }
    ]
}

Acesse a maquina a qual foi configurada as credenciais

-Execute o comando para que a copia seja realizada.

aws s3 sync s3://<NOME-DO-BUCKET-DE-ORIGEM> s3://<NOME-DO-BUCKET-DE-DESTINO>

Pode utilizar o comando aws cp, porem o sync é mais eficiente caso queria rodar a copiar mais de uma vez sincronizando os arquivos

EXTRA
Se o bucket for muito grande, vale a pena executar a cópia utilizando o comando 'screen' (em ambientes Linux). Esse comando fará com que a cópia seja executada em segundo plano. Dessa forma, em situações em que as credenciais estejam configuradas em uma instância EC2 e a conexão com a mesma seja perdida, a cópia não será interrompida.

Criar uma sessao nomeada

screen -S nome_da_sessao

Minimizar sessão

Ctrl+A+D

Lista sessões ativar

screen -ls

Ir para a sessao

screen -r id_da_sessao

Encerrar sessão

screen -r id_da_sessao Ctrl+C exit

Create VPN Client to site Open Source in AWS EC2 (PrituNL)

Henrique Santos — Tue, 07 Nov 2023 18:02:03 +0000

Create instânce EC2 in public subnet, i used t3a.micro instance type (in tutorial i use Ubuntu 20.4).
Add Elastic IP in your instance.
In Route 53 add record subdomain >>> elastic ip
In Security Group add roles

- 80 >> 0.0.0.0/0
- 443 >> 0.0.0.0/0

Step 1: Update your system

sudo apt update && sudo apt -y full-upgrade

[ -f /var/run/reboot-required ] && sudo reboot -f

Step 2: Add Pritunl, MongoDB repositories and public key

echo "deb http://repo.pritunl.com/stable/apt $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/pritunl.list

echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu $(lsb_release -cs)/mongodb-org/5.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-5.0.list

curl -fsSL https://www.mongodb.org/static/pgp/server-5.0.asc|sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/mongodb-5.gpg

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com --recv 7AE645C0CF8E292A

sudo apt update

Step 3: Install Pritunl and MongoDB

sudo apt --assume-yes install pritunl mongodb-org

sudo systemctl start pritunl mongod

sudo systemctl enable pritunl mongod

Step 4: Configure Pritunl on Ubuntu 20.04

Access console vpn
https://YOUR_ELASTICIP

In Ubuntu terminal run comands for get initial password

sudo pritunl setup-key

Add key generete in your console vpn

sudo pritunl default-password

Login in console vpn with these credentials, and go to Settings.
In settings rename admin user and change passaword.
In Lets Encrypt Domain, add your domain for get SSL acces with certificate and save.

Step 5: Configurate Server

In server, Add new server.
In console aws, give acess for 0.0.0.0/0 for port your server.
DNS server, if you want private access only, add DNS server of yours VPC and save.

Step 6: Add route

If you want access in your VPN only, click in Add route, and put your VPN CIDR, and remove route 0.0.0.0.

Step 7: Organization

In User, click in add organization,come to server, seletct your server and add your organization in your server.
After this, create your users and give URL for access.

VPN AWS Site-to-site

Henrique Santos — Wed, 13 Sep 2023 20:56:33 +0000

1- Caso não exista para a VPC que será fechada a conexão , crie um “Virtual private gateway”.

1.1 - Apos criar atache-o a sua vpc

2 - Customer gateways - O Customer gateway sera o IP publico do Firewall que fechara a VPN com a AWS (deve ser fornecido pelo cleinte).
Após ter essa informação crie o Customer gateway para a sua conexão.

OBS:

So pode ser usado 1 Customer gateway por conexão de VPN.

*É possível trocar o Customer gateway configurado em um túnel por um novo.

Criando um Customer gateway:

3- Criando o tunel de VPN

Va em VPN-Site-to-site e clique em Create VPN connection

Nesse caso iremos utilizar o Privete gateway que criamos. (É possível criar um tunel utilizando Transity Gateway ao invés do virtual private gateway, (mas isso é feito apenas em ambientes maiores, o mais utilizado e o VPG).
Iremos utilizar também o Costumer Gateway que criamos.

Em rota iremos definir como statica, raramente sera utilziada Dynamic.
Satic IP prefixes e os ranges de IP privado da rede que fechara o tunel, pode ser inserido mais de um.
Nesse exemplo sera utilizado o 192.168.1.0/24 e 192.168.10.0/24
Em casos em que o cliente tiver mais de um range de IP privado, na opção “Local IPv4 network CIDR”, pode ser colocado 0.0.0.0/0, mas se for somente um range de IP privado pode inserir ele ao invez do 0.0.0.0/0.
Nesse caso iremos utilziar somente uma VPC com somente um range de IP 172.31.0.0/16, então em “ Remote IPv4 network CIDR” iremos colocar somente ele. Mas em casos que tenha mais de um range na VPC ou seja um ambiente com Transity Gateway pode colacado como 0.0.0.0/0

Nesse formato ja é possível criar a VPN nas configurações Default, basta da um Create VPN Conection e baixar o arquivo de configurações para a outra ponta direto do console AWS. Porem caso o cliente deseja uma configuração personalizada de Private Key e Criptografia basta expandir as configurações do Tunel 1 e Tunel 2 e aplica-las conforme for necessário.

4- Definindo configurações personalizadas para o Tunel.

Pre-shared key - A pre-shared key pode ser personalizada, porém o console da AWS não aceita caracteres especiais

Edit tunnel 1 options - Por padrão, todas as opções de criptografia já vêm habilitadas, permitindo que a outra ponta possa usar qualquer uma para fechar o túnel. No entanto, o cliente pode solicitar uma criptografia específica. Caso isso ocorra, basta seguir o exemplo e selecionar as opções desejadas.

É possível também definir um Lifetime personalizado para a phase 1 e phase 2 (respeitando os limites impostos pela AWS)

Pronto, agora basta replicar as configurações do Tunel 1 para o Tunel 2 (redundância AWS).

Obs:

Caso o túnel não se feche, pode-se validar junto à outra ponta as configurações personalizadas aplicadas, todas elas são editáveis após a criação do túnel.

Após a criação do tunel va na Route table das subnetes que deseja que comunique com essa vpn e habilite a propagação de rotas.

Configurando o AWS CLI

Henrique Santos — Mon, 17 Jul 2023 23:43:52 +0000

1- Gerando credencial programática

Acesso o console AWS e navegue ate a aba IAM.
Crie um novo usuário ou selecione o usuário o qual deseja gerar a credencial programática.
Caso seja um usuário já existente vá ate a aba Security credentials, caso seja um novo usuário, após vá ate o usuário e navegue ate a aba Security credentials.
Navegue ate a opção Create access key.
Selecione o Use Case e de um next.
De uma descrição para sua Key e em seguia clique em Create access key.

Pronto, sua credencial esta criada, salve esses dados com bastante cuidado e não compartilhe os mesmos.

2.1- Configurando a credencial no Linux.

Acesse o seu terminal e execute o comando:

apt-get install awscli

Após instalar execute os comandos de configuração:

aws configure --profile <COLOQUE O NOME QUE VOCE QUER PARA SEU PROFILE>

Em seguida será solicitado que responda os dados da sua credencial.

AWS Access Key ID [None]:<COLOQUE O ID DA SUA KEY> AWS Secret Access Key [None]: <COLOQUE SUA SECRET ACCES KEY> Default region name [None]: <COLOQUE A REGIÃO A QUAL IRA TRABALHAR> Default output format [None]: <PODE DEIXAR EM BRANCO>

Para usar a credencial configurada basta executar o comando.

export AWS_PROFILE=<NOME DO PROFILE QUE FOI DEFINIDO NAS CONFIGURAÇÕES>

Pronto, sua credencial já esta configurada no seu Linux.

2.2- Configurando a credencial no Windows.

Abra o cmd e execute o comando:
msiexec.exe /i https://awscli.amazonaws.com/AWSCLIV2.msi
Será aberto o laucher de instalação, apenas clique em Next e aceite os termos, next novamente e install.

Após a instalação, feche o cmd e abra-o novamente, e execute o comando:

aws configure --profile <COLOQUE O NOME QUE VOCE QUER PARA SEU PROFILE>

Em seguida será solicitado que responda os dados da sua credencial.

Para usar a credencial configurada basta executar o comando.

setx AWS_PROFILE <NOME DO PROFILE QUE FOI DEFINIDO NAS CONFIGURAÇÕES>

Pronto, sua credencial já esta configurada no seu Windows.

AWS Backup utilizando Tags

Henrique Santos — Mon, 03 Jul 2023 23:04:01 +0000

1- Na console pesquise por AWS Backup e navegue ate a aba Bakcup Plans.

2- Clieque em Create backup plan e selecione Build a new plan.

3- Defina um nome para um plano e um nome para rule.

Em Backup valut foi definido como Default neste exemplo (pode ser criado um novo Valut).
Frequência dos Backups será diária.
Em Backup Window utilize uma janela customizada, o horário que aparece no console é de UTC. Por exemplo, se desejar que os backups se iniciem as 01:00 AM o Start Time fica como 04:00 UTC time, pois o horário de Brasília é UTC -3.
Em Start within nessa configuração foi colocado para iniciar dentro de 1h conforme o horário programado, com um tempo de 8 h para completar o backup. Esse tempo de Complete within é muito importante, visto que se existirem muitas instâncias e que possam ser grandes em questão de armazenamento e modificações diárias, pode ser que o tempo determinado para completar seja insuficiente, com isso esse tempo é necessário ser ajustado conforme a demanda.
Em Retention period foi definido como 7 dias, pois esse era o tempo que cada backup será retido na conta ate ser excluído.(Isso pode ser ajustado conforme a necessidade).
Esse backup será mantido apenas nessa região de criação do plano, então na aba Copy to destination não será selecionado nenhuma opção, mas caso queira uma cópia desse backup em outras regiões basta selecionar a região desejada.
Em seguida clique em Create plan.

5- O plano de backup está criado, agora será definido para quais recursos esse plano ira ser utilizado, nesse exemplo será apenas para Ec2, porem o mesmo pode ser utilizado para outros recursos.

Primeiro será definido o nome e a IAM role, pode ser criado uma role personalizada, mas nesse exemplo será utilizada a Default.

Em Define resource selection serão especificados os recursos, selecionando “Include specific resource types”.
Em “Select specific resource types” nesse exemplo foi selecionado apenas EC2 e deixar como All Instances.
A etapa 3 não será preenchida.
A etapa “4. Refine selection using tags” será definido a Tag das instâncias que farão parte desse plano de backup. Utilizaremos nesse exemplo a tag Backup = True.
Em seguida clique em “Assign resources”.

6- Nas instâncias Ec2 que necessitem da realização do backup basta adicionar a tag criada, que nesse exemplo foi utilizada a Backup = True.

Expansão de disco automática EC2 (Lambda+CloudWatch+SNS)

Henrique Santos — Mon, 03 Jul 2023 16:31:13 +0000

1- Crie uma política no IAM com as permissões.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "cloudwatch:PutMetricData",
                "cloudwatch:GetMetricStatistics",
                "cloudwatch:ListMetrics",
                "ec2:DescribeTags"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "ssm:GetParameter"
            ],
            "Resource": "arn:aws:ssm:::parameter/AmazonCloudWatch-*"
        }
    ]
}

2- Crie uma função (role) para EC2 e adicione a politica criada na etapa 1.

3- Instale o agente do CloudWatch na instância. (nesse exemplo estou utilizando em uma maquina linux ubuntu).

wget https://s3.amazonaws.com/amazoncloudwatch-agent/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb sudo dpkg -i -E ./amazon-cloudwatch-agent.deb

Para coletar as métricas necessárias rode os comandos:

cd /opt/aws/amazon-cloudwatch-agent/bin 
wget https://raw.githubusercontent.com/railandermarques/cloudwatchmonitoring/master/config.json 
cd /opt/aws/amazon-cloudwatch-agent/etc/ 
cp -av ../bin/config.json amazon-cloudwatch-agent.json 
mkdir -p /usr/share/collectd/ 
touch /usr/share/collectd/types.db 
sudo sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s 
systemctl enable amazon-cloudwatch-agent 
systemctl status amazon-cloudwatch-agent

4-Crie um tópico SNS com nome de sua escolha.

5- Acesse o CloudWatch no console AWS > All Alarms > Create Alarm > Select metric, e pesquise por CWAgent, verifique o que possui métricas de disco.

Selecione a métrica “disk_used_percent” com o path da partição que o disco utiliza. (Nesse caso estou monitorando para expandir o disco root.)

Defina o período no qual você deseja receber alertas e indique a porcentagem igual ou maior na qual você deseja que o disco seja expandido. Em seguida, clique em "Next".

6 - Na aba "Notificação", selecione "Em alarme", "Selecionar um tópico SNS existente" e escolha o tópico que foi criado na etapa 4. Em seguida, clique em "Next".

7- Defina um nome para o alarme, clique em "Next" e, em seguida, em "Create alarm".

8- Este exemplo envia alertas para um grupo do Discord e para que isso funcione, é necessário adicionar a camada "requests" ao Lambda. Siga as etapas abaixo:

Caso não sabia criar as dependências do request baixe o arquivo - https://github.com/henbsantos/requests-lambda/blob/main/requests.zip
Acesse o AWS Lambda, vá ate a aba Layers > Create Layer.
Defina um nome > Faça o upload do Zip Baixado > Compatible runtimes selecione Python 3.9 > Create.

9- Crie uma função Lambda com um nome de sua escolha, selecione Python 3.9 e atribua uma função que permita o acesso a todos os EBS e instâncias EC2 (neste exemplo, foi utilizado o acesso de Administrador, mas é possível ajustar isso para uma permissão mais restrita).

10- Dentro da função Lambda, na aba "Layers", clique em "Add a Layer" e selecione a camada criada na etapa 8.

11- Cole o código python no lambda_function.py

Observação: esse código esta expandindo o disco root, partição /dev/xvda 1, tipo ext4. Caso o disco tenha uma configuração diferente é necessario alterar os comandos da linha 50.
Linha 41 - alterar ID do volume que será expandido.
Linha 48 - alterar o ID da instância.
Linha 55 - Alterar endereço do webhook do discord (colocar o do chat que ira receber os alertas da finalização de expansão).
Linha 56 - Editar mensagem a ser enviada para o alerta do Discord.

import boto3
import time
import json
import requests


def expandir_volume_ebs(volume_id):
    ec2_client = boto3.client('ec2')

    response = ec2_client.describe_volumes(VolumeIds=[volume_id])
    current_size = response['Volumes'][0]['Size']
    new_size = current_size + 1

    response = ec2_client.modify_volume(
        VolumeId=volume_id,
        Size=new_size
    )

    return response

def executar_comandos_shell(instance_id, comandos):
    ssm_client = boto3.client('ssm')

    response = ssm_client.send_command(
        InstanceIds=[instance_id],
        DocumentName="AWS-RunShellScript",
        Parameters={'commands': comandos}
    )

    return response

def enviar_mensagem_discord(webhook_url, message):
    data = {
        'content': message
    }
    response = requests.post(webhook_url, json=data)
    if response.status_code != 204:
        print('Falha ao enviar mensagem para o Discord:', response.text)

def lambda_handler(event, context):
    volume_id = "vol-0d2dfdd723adb27bd"

    response = expandir_volume_ebs(volume_id)
    print("Volume expandido:", response)

    time.sleep(180)

    instance_id = "i-0ac8a7a16a50b9f06"

    comandos = ['sudo su', 'growpart /dev/xvda 1', 'resize2fs /dev/xvda1']

    response = executar_comandos_shell(instance_id, comandos)
    print("Comandos executados:", response)

    webhook_url = 'https://discord.com/api/webhooks/1123651003187728464/OYQ_--_Am'
    message = 'O disco root /dev/xvda 1 da instância i-0ac8a7a16a50b9f06 foi expandido!'
    enviar_mensagem_discord(webhook_url, message)

    return {
        'statusCode': 200,
        'body': json.dumps('Lambda executada !')
    }

12 -Após o lambda ser executado você deve receber um alerta no chat do discord do webhook.