DEV Community: Alexandre Liberato

Como encontrar linhas repetidas em um arquivo no Linux

Alexandre Liberato — Thu, 20 Oct 2022 12:46:59 +0000

$ sort repeated.csv | uniq -c

Como adicionar pre-commit no Git

Alexandre Liberato — Thu, 29 Sep 2022 12:24:26 +0000

Tendo uma verificação de pre-commit evitamos enviar código com warnings de lint, erros de teste e outros para o PR:

Baixar o arquivo abaixo e colocar no diretório 'hooks' do seu repositório:

$ cd project-repo-directory
$ cp ~/Downloads/pre-commit .git/hooks/
$ git add .
$ git commit -m 'xxx'

Quando ele detecta um erro no teste ou lint ele para e não commita.

A linha 9 é um comando usado para verificar os lints localmente.
Na linha 12 para funcionar vc precisa instalar o gotestsum, que acho mais ágil para ler os erros, ou trocar a linha dessa ferramenta para 'make test' ou o comando que você utiliza pra seus testes unitários.

pre-commit

#!/bin/sh
#
# An example hook script to verify what is about to be committed.
# Called by "git commit" with no arguments.  The hook should
# exit with non-zero status after issuing an appropriate message if
# it wants to stop the commit.
#
# To enable this hook, rename this file to "pre-commit".
make metalint
exit $?

gotestsum --format pkgname --  -race ./...
exit $?


if git rev-parse --verify HEAD >/dev/null 2>&1
then
    against=HEAD
else
    # Initial commit: diff against an empty tree object
    against=$(git hash-object -t tree /dev/null)
fi

# If you want to allow non-ASCII filenames set this variable to true.
allownonascii=$(git config --bool hooks.allownonascii)

# Redirect output to stderr.
exec 1>&2

# Cross platform projects tend to avoid non-ASCII filenames; prevent
# them from being added to the repository. We exploit the fact that the
# printable range starts at the space character and ends with tilde.
if [ "$allownonascii" != "true" ] &&
    # Note that the use of brackets around a tr range is ok here, (it's
    # even required, for portability to Solaris 10's /usr/bin/tr), since

    # the square bracket bytes happen to fall in the designated range.
    test $(git diff --cached --name-only --diff-filter=A -z $against |
      LC_ALL=C tr -d '[ -~]\0' | wc -c) != 0
then
    cat <<\EOF
Error: Attempt to add a non-ASCII file name.

This can cause problems if you want to work with people on other platforms.

To be portable it is advisable to rename the file.

If you know what you are doing you can disable this check using:

  git config hooks.allownonascii true
EOF
    exit 1
fi

# If there are whitespace errors, print the offending file names and fail.
exec git diff-index --check --cached $against --

# Use Vale Linter in LunarVim

Alexandre Liberato — Mon, 08 Aug 2022 13:43:37 +0000

Use Vale Linter in LunarVim

What

Vale is a linter for prose, it's fast and customizable.

Install & Configure Vale

Dowloand it's binary from https://github.com/errata-ai/vale/releases.
Put it in your PATH
Create a conf file

~/.vale.ini

StylesPath = styles

MinAlertLevel = suggestion
Vocab = Base

Packages = Google, alex

[*]
BasedOnStyles = Vale, Google, alex

Custom configuration: https://vale.sh/generator/

Configure LunarVim

Edit your ~/.config/lvim/config.lua

-- -- set additional linters
local linters = require "lvim.lsp.null-ls.linters"
linters.setup {
  { command = "vale", filetypes = { "golang", "go" } },
}

What is a bug?

Alexandre Liberato — Thu, 28 Jul 2022 19:57:00 +0000

Error, bug, defect, failure and fault [swe]

tl;dr

An Error/Mistake in code generates a Defect/Bug, if the system does not perform as intended then it is a Fault, and if the user notices the fault, it is a Failure.

error/mistake -> defect/bug/fault -> failure

Differences

“When a developer commits a mistake in code it is called Error, when the error is found during tests it is called Defect, when a defect is sent to production then it is called Bug, when the system doesn't perform as intended due to lack of resources or invalid data then it is a Fault and when the user perceive the fault or bug/defect then it Is Failure”

Error

A mistake, misconception or misunderstanding from the developer (dev, sw, qa, etc) that leads to a bug/defect or a fault.

Bug/Defect

Variance between expected and actual. The requirement is: wrong, missing or extra.

Fault

Incorrect step, process or data definition that causes the program to perform unintended.
Ex: lack of resources or invalid data

Failure

Not perform functions within specified performance and/or requirements.

Issue

It means any activity in the software development cycle where
the source is some anomaly or flaw that need to be fixed. Ex: documentation, bug fix and requirement change.

Technical Debt

A technical debt is an action in the software development life cycle that was intentionally delayed (that can or cannot generate a bug later).

Como medir o desempenho de seus sistemas (benchmark)

Alexandre Liberato — Wed, 04 Aug 2021 18:58:00 +0000

Definição

Benchmark: Medir o desempenho relativo de um objeto, geralmente através de testes diretos e realizado comparações dos resultados periódicamente.

Porquê

Escalabilidade: Sua aplicação possui a habilidade de receber e suportar uma grande carga de requisições sem sacrificar a latência das respostas?
Alta disponibilidade: Temos que manter as coisas funcionando, qual o limite do seu sistema? Quando ele para?

Ferramentas

Tool	Language	Gateways	Advantages
vegeta	Go	Http
wrk	C	Http
strest	TypeScript	gRPC
ghz	Go	gRPC	stats + in use
pprof	--	--	profilling
k6	Go	Http, gRPC	scriptable
hey	Go	Http	stats + ghz like

ghz

Go
Não possui suporte a scripts mas pode ser usado como uma lib Go.
Pode ser rodado: localmente & ambientes de integração continua(CI) e como testes de performance
Pode enviar mensagens dinamicamente, ou seja, alterando o conteudo dos objetos em cada novo request
As mensagens podem ser enviadas com JSON ou binário

Métricas & Definições

Vamos selecionar algumas métricas, que importam para nosso sistema, e criar algumas definições para enendermos e também podermos acompanhar o desempenho com o tempo:

Fase I

Req/s - O número de requisições que o serviço foi capaz de servir com sucesso
Latência média - tempo o qual foi gasto entre o envio da requisição e o recebimento da resposta

Fase II

Req/s
Latência média e 90/95/99 percentis
Consumo médio de CPU, memoria - recurso utilizado durante o benchmark provido pelo docker stats
Profile - profile da aplicação (cpu, mem, threads)

Como medir o desempenho

As requisições serão disparadas para nosso servidor e teremos inicialmente dois tipos de requisição:

1 Definir cenários
1.1 Input
1.2 Output
2 Configurar app para profile
3 Executar localmente o benchmark

Cenários

Exemplos:

Inserção de transações
Relatório
Enxurrada de eventos do cliente
- por algum motivo o cliente estava com eventos represados e foram liberado de uma vez
Uso por horário de pico

Profile

Depois do benchmark podemos analisar o profile do app para verificar pontos de otimização.

Tipos:
- CPU: Determina onde um programa gasta tempo enquanto ativamente consumindo ciclos do processador (não sleeping ou esperando por I/O).
- Heap: Reporta alocação de memória, usado para monitorar uso de memória atual e checar por memory leaks.
- Threadcreate: Seções do programa que levaram a novoas threads no SO.
- goroutine: Stack traces das goroutines.
- ...

References

https://k6.io/blog/performance-testing-grpc-services/
https://blog.golang.org/pprof
https://eltonminetto.dev/post/2020-04-08-golang-pprof/
https://k6.io/blog/comparing-best-open-source-load-testing-tools/
https://pkg.go.dev/github.com/bojand/ghz?utm_source=godoc

Visualize a arquitetura do seu sistema com C4 Model

Alexandre Liberato — Wed, 30 Jun 2021 13:34:19 +0000

C4 Model

website: https://c4model.com/
author: Simon Brown

Inspirado em UML e 4+1 Model, foi criado e melhorado ao longo do tempo para ajudar a visualizar a arquitetura de sistemas e aproximar o modelo do sistema com o código.

Principais lemas

Foco nas estruturas estáticas (componentes)
Abstrações e não notações (mapas)
Engenharia e não arte, não use visio use plantuml

Quem usa UML?

Desculpas
- "Nem todos sabem UML no time"
- "Vou parecer velho"
- "Ferramentars ruins"
- "Muito detalhado"
- "É uma bela forma de perder tempo"
- "Agile não precisa documentar"
- "O valor ta na conversa", daí a conversa é só sobre ficar até mais tarde...
- "O valor tá no código", daí vc olha o código e...

Com a chegada das metodologias ágeis as pessoas tem buscado simplificar e usar formas mais simples de modelagem.

Use um quadro branco!

O problema é que faltou tempo e/ou ferramenta adequada!

Problemas dos diagramas atuais
- Tamanhos, cores diferentes
- Falta de legenda e descrição
- Não padronização
- Abreviações
- Falta de títulos

Por quê?

Troca de pessoas, rotatividade = informação pro ralo
Visualização!
Peça para um arquiteto desenhar a sua casa, o que terá? Sim, a planta baixa da sua casa.
Você, uma pessoa que não é formada em arquitetura conseguirá entender todo contexto, principais idéias da planta. Consegue se localizar e localizar portas, janelas etc.

    "Boa comunicação = times melhores"

Público

Sam Brinson

Temos que ter em mente que o público de nossos diagramas pode ser amplo, desde um presidente e um diretor da companhia até seu colega que acabou de entrar na firma.

Mapas

Olhe o mapa da sua cidade ou imagine ele.
O que vai notar?

Igrejas
Hospitais
Ferrovias
Estradas
Estações de metrô
Museus

Olhe o mapa de outra cidade e perceba como as mesmas abstrações estarão presentes, apenas com notações diferentes (fontes, linhas cores, formatos)

Como funciona?

Abstrações hierárquicas / Agrupamentos

Contamos uma história linear de C1 até C4 , ou seja a história continua ao dar o zoom.
O C4 Model é uma estrutura estática, uma vez definido pode-se por exemplo criar outras documentações mais específicas caso necessário, como: diagramas de sequência, ER, BP, etc.

4Cs

!!! C4 não é recomendado devido ao detalhamento, pode ser usado por exemplo com uma ferramenta que gere essa doc

Notação

Use títulos!
Coloque descrições do que o sistema faz!

Quando usar?

Se seu diagrama tem mais de ~20 elementos já pode ser melhor dividir nas camadas do C4 para melhor entendimento

Exemplo

Level 1 - Contexto
Sistemas, usuários e dependências

Level 2 - Containers
Arquitetura geral e escolhas de tecnologias

Level 3 - Componentes
Componentes lógicos e interações

Level 4 - Classes

Visão geral (time), é um L1 de Contexto sem foco em apenas um sistema:

Mais

https://www.youtube.com/watch?v=x2-rSnhpw0g

Alterar o Método de Autenticação do Repositório Git Local

Alexandre Liberato — Mon, 28 Jun 2021 14:08:05 +0000

Depois de ter configurado sua conta no Github para utilizar autenticação via SSH, você agora quer alterar algum repositório já existente para esse método?

Acesse a página do repositório que deseja fazer isso e clique em 'Code -> Clone' e selecione 'SSH':

Agora copia esse endereço e troque no arquivo '.git/config', a url da propriedade 'remote "origin"', ou via comando:

$ git remote set-url origin git@github.com:user/repo.git

Agora basta executar um push para testar.

Instalando asdf e Golang no Ubuntu 20.04

Alexandre Liberato — Wed, 23 Jun 2021 18:00:27 +0000

Sobre

Estava tentando testar essa ferramenta para gerenciamento de linguagens e ferramentas, segue o caminho que trilhei da instalação até ter o executável da linguagem que desejava, golang no caso, disponível na linha de comando:

Instalação

# sudo apt install curl git
$ git clone https://github.com/asdf-vm/asdf.git ~/.asdf --branch v0.8.1

Configuração

Abra o arquivo ~/.bashrc e adicione as seguintes linhas:

#
# asdf - language/tools version manager
#
source ~/.asdf/asdf.sh
source ~/.asdf/completions/asdf.bash

Execute:

$ . .bashrc

Pronto, basta testar:

$ asdf info

Golang

Para instalar a linguagem Go por exemplo, basta:

$ asdf install golang 1.16.5
$ asdf global golang 1.16.5
$ asdf shell golang 1.16.5

E para verificar a instalação:

$ go version

Detectar problemas no Pub/Sub do Google Cloud

Alexandre Liberato — Tue, 20 Apr 2021 22:26:19 +0000

Sobre

“O Pub/Sub é um serviço de mensagens em tempo real totalmente gerenciado que permite o envio e o recebimento de mensagens entre aplicativos independentes.”

Termos Utilizados

consumidor = assinante/subscriber
produtor = publicador/publisher
mensagens = eventos/itens da fila

Detectando Problemas

Existem alguns tipos de problemas que podem ser detectados observando o monitoramento das mensagens de uma fila:

a) Os consumidores não conseguem acompanhar o ritmo/volume das mensagens
b) Mensagens travadas
c) Perda de dados

Para verificar a causa podemos checar:

Produtor

Quem produz/publica as mensagens

Meio

A ferramenta em uso, no caso o PubSub

Consumidor

Quem consome as mensagens

Para entender melhor como solucionar esses problemas você pode checar também na documentação oficial, como por exemplo:

Exemplo

Processo com pico no consumidor:

Olhamos para duas métricas, como no quadro da documentação visto acima, “oldest_unacked_messages“ e “unacked messages”.

Ou seja os consumidores pegaram a mensagem para processamento mas não confirmaram se realizaram o processamento ou não gerando um aumento no tempo de vida das mensagens.

A solução como diz a documentação poderia ser aumentar o número de consumidores ou pods para realizar o trabalho, ou bug, mas como vemos nos gráficos foi temporário e provavelmente os pods escalaram para a demanda assim resolvendo o problema.

Referências

https://cloud.google.com/pubsub/docs/monitoring
https://cloud.google.com/monitoring/api/metrics_gcp#gcp-pubsub

Vim Modular Com Java, Kotlin e Go

Alexandre Liberato — Fri, 26 Feb 2021 18:32:00 +0000

Para quem curte usar VIM, deixei o meu mais modular e vem pre configurado para Golang, Kotlin e Java além de NERDTree e algumas coisinhas a mais.

https://github.com/alexandreliberato/vim-modular

Como usar o Docker sem ser root

Alexandre Liberato — Sun, 29 Nov 2020 21:38:28 +0000

Adicione seu usuário ao grupo 'docker':

# vim /etc/group

Localize a linha do grupo 'docker' e adicione seu usuário ao final, após o ':' como no exemplo:

Se o grupo ainda não existe execute:

# groupadd docker

Para testar relogue no sistema com seu usuário ou execute o comando:

$ su - $USER

Para checar se deu certo

$ id

Onde Instalar Programas no Linux?

Alexandre Liberato — Sat, 07 Nov 2020 01:37:15 +0000

TL:DR

Use o path '/opt'!

Motivação

Você não quer depender dos repositórios da sua distro ou eles não possuem o programa, ou última versão, que você deseja instalar ou ainda você quer compilar e configurar seu próprio aplicativo.

Entendendo /user/local vs /opt

Ambos diretórios foram pensados para instalação de programas que não pertencem ao sistema operacional, visto que os apps do sistema ficam em /bin. Entretanto eles não foram planejados para os mesmos tipos de softwares, enquanto o primeiro '/usr/local' foi concebido para conter compilações feitas pelo administrador(in house software), padrão FreeBSD, o segundo, '/opt', é recomendado para pacotes que não fazem parte do SO e de origem de terceiros.

Saiba Mais

Quer entender as entranhas desse tema? Se ligue nos recursos abaixo:

https://en.wikipedia.org/wiki/UNIX_System_V
https://en.wikipedia.org/wiki/Filesystem_Hierarchy_Standard
https://unix.stackexchange.com/questions/11544/what-is-the-difference-between-opt-and-usr-local

https://www.freebsd.org/cgi/man.cgi?query=hier&sektion=7&manpath=freebsd-release-ports