DEV Community: No Belt Dev

Monitorando SQS via terminal

No Belt Dev — Fri, 19 Feb 2021 15:27:20 +0000

Introdução

Alguns de processos do 7Belts são feitos ássincronos, utilizamos filas para realizar a transferência e mensagens. Hoje utilizamos as funções de fila do SQS da AWS.

Desenvolvi um script para auxiliar na monitoria das filas, verificar o fluxo de mensagens e se a vazão delas está ocorrendo. O script funciona no terminal do linux no qual eu deixo uma aba abertar e vou observando os comportamentos da filas.

O código foi postado no Github

Instalar o AWS-Cli

Primeiro passo é instalar o CLI da aws:
https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-linux.html

Criar os arquivos de configurações

É necessário criar os arquivos de configuração que AWS-CLI vai utilizar como credencial para ler o SQS.

Precisa ter o ACCESS_KEY, ACCESS_SECRET e a REGION.

#!/bin/bash
$ aws configure
AWS Access Key ID [None]: ACCESS_KEY
AWS Secret Access Key [None]: ACCESS_SECRET
Default region name [None]: REGION
Default output format [None]

Paths dos arquivos gerados:

~/.aws/config
~/.aws/credentials

Configurando as filas que vão ser monitoradas

Basta incluir a URL da fila no arquivo de configuração configs/queues.config.

Exemplo:

https://queue.amazonaws.com/80398EXAMPLE/MyDeadLetterQueue
https://queue.amazonaws.com/80398EXAMPLE/MyQueue
https://queue.amazonaws.com/80398EXAMPLE/MyOtherQueue
https://queue.amazonaws.com/80398EXAMPLE/TestQueue1
https://queue.amazonaws.com/80398EXAMPLE/TestQueue2

Executar

Para executar o script basta executar o script view-queues.sh

$ chmod +x view-queues.sh # Caso precise a permissão de execução
$ ./view-queues.sh
+-------------------------------------+---------------+
| Queue                               | MessageCount  |
+-------------------------------------+---------------+
| queue_1                             | 15            |
| queue_2                             | 0             |
| queue_3                             | 0             |
+-------------------------------------+---------------+

Utilizando o Watch

Um comando auxiliar para poder monitorar é utilizar o watch que executa um comando por períodos de tempo.

Exemplo:

$ watch -n 10 ./view-queues.sh

A cada 10 segundos o comando ./view-queues.sh será executado automaticamente.

Aws S3 - Otimizando todas as png de um bucket

No Belt Dev — Wed, 03 Feb 2021 17:31:10 +0000

Introdução

Após seguir os passos descritos em: Otimizando Imagens PNG. Utilizado na otimização de imagens para a aplicação do 7Belts.

Utilizei o CLI da AWS para poder sincronizar as imagens otimizadas e atualiza-las no bucket do S3.

Para facilitar o entendimento vamos utilizar esses dados como exemplo:

  Perfil: nobeltdev
  Key: SNW3KSNUNS203JSIEK30
  Secret: n+Skg/12hd0912h0hd0921hd09h10dh1dn
  BucketName: nobelt.dev.bucket
  BucketFolder: static # Pasta static onde ficam as imagens estáticas da aplicação.
  Region: us-west-2

Instalar o CLI da AWS:

Vai ser necessário instalar o CLI da aws para poder realizar os passos que fiz para sincronizar as imagens.

No meu caso fiz a instalação para a versão do Ubuntu Linux:
AWS CLI

Configurar o perfil de acesso:

É necessário criar um perfil para o cli poder utilizar as credenciais.

#~/.aws/config
[nobeltdev]
region=us-west-2
output=json

#~/.aws/credentials
[nobeltdev]
aws_access_key_id=SNW3KSNUNS203JSIEK30
aws_secret_access_key=n+Skg/12hd0912h0hd0921hd09h10dh1dn

Selecionando um arquivo ou pasta do Bucket

O comando do aws cli utilizado para copiar um arquivo, de qualquer origem e destino, podendo ser:

Origem de um bucket para outro bucket;
De um bucket para outro bucket;
De bucket para um destino local.

Documentação com maiores detalhamentos do comando cp

$ aws s3 cp <source> <target> [--options]

Exemplo:

$ aws s3 cp s3://nobelt.dev.bucket/folder /local/anypath/static/ --recursive --profile nobelt

Otimização dos arquivos PNG

Para otimizar as imagens utilizei 2 cli:

optipng: Otimiza um png sem perder nenhuma informação;
pngnq - Quantiza imagens em PNG em formato 8 bit RGBA.

Script de otimização

Criei o script optimize-png.sh que recebe como parâmetro um pasta que possuí imagens png e vai otimiza-los reduzindo seus tamanhos sem quase nenhum efeito.
O script também irá varrer todos os arquivos png das subpastas.

# optimize-png.sh
#!/bin/bash
if [ -z $1 ] ; then
  echo "Error: Necessario informar um path contendo imagens png!" && exit 1;
fi
pngnq $(find $1 -type f -name '*.png') -e -temp.png  # Realiza a quantização
rm $(find $1 -type f -name '*.png' | grep -v "\-temp.png") # Remove os antigos arquivos
find $1 -type f -name '*.png' | grep "\-temp.png" | awk -F '-temp.png' '{print "mv "$1"-temp.png "$1".png"}' > temp-script.sh # Cria um script temporário que removerá os sufixo "-temp"
sh temp-script.sh # Executa o script temporário
rm temp-script.sh # Remove o script temporário
optipng $(find $1 -type f -name '*.png') # Otimiza o resultado

Exemplo de resultado

Exemplo real da aplicação do script. Utilizo ele na pasta static que guardam as imagens utilizadas numa aplicação web:

O resultado foi a redução de 2.7Mb -> 1.2Mb, redução de 44% do tamanho total.

Sincronização para o S3

E para finalmente atualizar os arquivos no S3 basta utilizar o comando do Aws cli:

$ aws s3 sync <source> <target> [--options]

$ aws s3 sync ./static s3://nobelt.dev.bucket/static/ --profile nobeltdev

Otimizando Imagens PNG

No Belt Dev — Sat, 16 Jan 2021 17:47:00 +0000

Introdução

Uma demanda que surgiu no 7Belts foi da otimização e redução de tamanho das imagens, que são armazenadas na AWS S3, para melhorar a velocidade de renderização da aplicação e melhorar a experiência do usuário.

O optimize-png-images é um script bash utilizado em sistema unix para compactar imagens png sem quase perder a qualidade da imagem original.

Github - Optimize Png Images

Otimização dos arquivos PNG

Para otimizar as imagens utilizei 2 cli:

optipng - Otimiza um png sem perder nenhuma informação;
pngnq - Quantiza imagens em PNG em formato 8 bit RGBA.

Script de otimização

# optimize-png-images.sh
#!/bin/bash
if [ -z $1 ] ; then
  echo "Error: Necessário informar um path contendo imagens png!" && exit 1;
fi
pngnq $(find $1 -type f -name '*.png') -e -temp.png  # Realiza a quantização
rm $(find $1 -type f -name '*.png' | grep -v "\-temp.png") # Remove os antigos arquivos
find $1 -type f -name '*.png' | grep "\-temp.png" | awk -F '-temp.png' '{print "mv "$1"-temp.png "$1".png"}' > temp-script.sh # Cria um script temporário que removerá os sufixo "-temp"
sh temp-script.sh # Executa o script temporário
rm temp-script.sh # Remove o script temporário
optipng $(find $1 -type f -name '*.png') # Otimiza o resultado

Exemplo de resultado

Exemplo real da aplicação do script. Utilizo ele na pasta static que guardam as imagens utilizadas numa aplicação web:

O resultado foi a redução de 2.7Mb -> 1.2Mb, redução de 44% do tamanho total.