DEV Community: Suspir0n

RPA: Automating a file backup to google drive

Suspir0n — Thu, 28 Sep 2023 15:47:59 +0000

Hello everyone, today I start another chapter of my Logbook. The subject is about RPA (Robot Process Automation), I will demonstrate how to automate a simple task, but with this knowledge you can automate anything. Let’s look at an example to understand the subject, shall we? OK, let's go guys.

What is RPA?

As Automation Anywhere says "With RPA, software users create software robots, or “bots,” that can learn, simulate, and execute rules-based business processes. RPA automation allows users to create bots by observing human digital actions. Show your bots what to do and let them do the work. Robotic process automation software bots can interact with any application or system in the same way as people, except that RPA bots can operate uninterruptedly, without stopping, much faster and with 100% reliability and accuracy."

I still don't understand, cloud you explain better?

With RPA we can carry out various automations, from the most basic to the most advanced. Automations are nothing more than functions that a person does repeatedly, which a robot is capable of doing more easily, quickly and safely. If you edit and post your article in the same way every day, this can be automated, if you are a photographer and always make the same edit, this can be automated, if you are a programmer, and every time you start a project, its structure in the same way, this can be automated. So if you notice, there are several possibilities to automate an action, task and that is RPA.

RPA with Python in practice, how do I do it?

To do any automation in Python, you will need three things

An IDE of your choice
Python language
The PyautoGui library

Pyautogui is used to manipulate only your keyboard and mouse, so all the actions that a person does, in your automation you can produce.

Understanding our task step by step.

Firstly, we need to understand the steps we normally take to back up the file to Google Drive, which are:

We open google or a browser of your choice on our computer.
Secondly, we access Google Drive, writing the link to it.
We return to the work area.
We click on the file and drag it.
We open the browser while dragging the file.
We release the file to upload.

After listing, let's start, we'll go step by step and at the end of each one I'll explain.

Step 1

We start by importing the pyautogui library as it is the main library that we will use in this entire example, and we also import the time library, later on you will understand why.

import pyautogui
from time import sleep

After the import, we first have to inform the user that a code will run and that they will not be able to use the computer until it is finished, how do we do this? In the pyautogui library there is a function called alert, with it, we will create an alert to inform the user and click O, then the code will run completely.

pyautogui.alert('The code will start, please do not touch the keyboard while the code is running!')

So, how do we open our browser, an easier way is by clicking the win key and writing the name of the browser and then clicking enter. So we will do this, in pyautogui we have the press function that is used to access any key on the keyboard, we could use win, but we will use winleft which means it is the win key on the left, To write, we could use the press function and press key by key, but it would be laborious, wouldn't it? That's why there is a function called write, it can be used to write anything.

pyautogui.press('winleft')
pyautogui.write('chrome')
pyautogui.press('enter')

Step 2

In the second step, with Google open as we did in the previous step, we will use the write function that we learned to type the Google Drive link and the press function to press enter.

pyautogui.write('https://drive.google.com/drive/u/0/my-drive')
pyautogui.press('enter')

Step 3

Now in the third step we have to return to the desktop, and an easy way to do this is using the shortcut win + d, but as we use the shortcut in pyautogui, we have a function called hotkey where we pass the keys separating them with commas and that way we can use the shortcut.

pyautogui.hotkey('winleft', 'd')

Step 4

In the fourth step we will learn how to manipulate the mouse, the way I will teach you is a static way, what do you mean? You will learn how to get the position of the mouse, where do you want it to get the file from, how do we get the position? In pyautogui we have a function called position, place the mouse over the file and use a shortcut to execute the line of code and it will return the position.

pyautogui.position()

With this it returns the following values, x and y axis 1856, 54.

And now we will learn how to move and click the left mouse button to move the file. To move we use the moveTo function and pass the x and y axis, and to click with the left button we use the mouseDown() function which will hold the file, we need to move the file to a location where always Once we release it, it can be uploaded to Google Drive, so repeat the step of getting the position and using moveTo.

pyautogui.moveTo(1856, 54)
pyautogui.mouseDown()
pyautogui.moveTo(3726, 738)

Step 5

With this we use the shortcut *alt + tab * to open the browser with Google Drive loaded, we will do it the same way as we did to return to the desktop.

pyautogui.hotkey('alt', 'tab')

Step 6

And we finish by releasing the file, using the mouseUp function and then using the alert function and sending a message to the user saying that they can use the computer again.

pyautogui.mouseUp()
pyautogui.alert('The code has just run, you can use your computer again!')

This was a simplified way of doing it, I made an example using good practices and to improve it I added a log to know everything documented step by step.

If you want to copy my example, it is available on github.If you want to know all the functions here is the pyautogui documentation.

This was Diary nº 17. Today I chose to talk about RPA (Robot Process Automation) next week I will bring up another topic that I haven't chosen yet, folks. Let's say goodbye here. We will return in another logbook.

This article was helpful to you?
Leave a comment below.

References

Elasticsearch, descobrindo!

Suspir0n — Mon, 09 May 2022 12:26:36 +0000

Prontos para mais um diário de bordo? Hoje iremos decorrer sobre Elasticsearch, o que é, como é utilizado, por que utilizar e em qual momento deve ser utilizado e alguns exemplos práticos no final. O Elasticsearch é um mecanismo de busca e análise de dados, voltado para grandes volumes de dados.

O que é ElasticSearch

Segundo o site oficial do Elastic "O Elasticsearch é um mecanismo de busca e análise de dados distribuído, gratuito e aberto para todos os tipos de dados, incluindo textuais, numéricos, geoespaciais, estruturados e não estruturados."

A forma de armazenamento que ele utiliza para textos é a estrutura de índice invertido, buscando uma palavra que seja única em todos os documentos que você tem salvo no elastic, quando ele já tem isso obtido, quando é realizado uma busca, ele retorna todos os documentos que tem aquela palavra única em todos os documentos que você passou. Entretanto campos numéricos e geográficos são armazenados em árvore BKD e campos de textos em índice invertido como relatei a cima.

Segundo Stringfixer "uma árvore KDB ( árvore B k- dimensional ) é uma estrutura de dados em árvore para subdividir um espaço de busca k- dimensional. O objetivo da árvore KDB é fornecer a eficiência de pesquisa de uma árvore kd balanceada , enquanto fornece o armazenamento orientado a blocos de uma árvore B para otimizar os acessos à memória externa."

A extração de dados, como ele faz é um de seus diferenciais, através do RestAPI conseguindo realizar de forma simples e rápido. Sua API suporta Queries Estruturadas, Full Text Queries e Queries Complexas. As consultas são criadas usando Query DSL(Domain Specific Language) uma linguagem de consulta baseada em json, temos que pensar em uma Query DSL em uma AST(Abstract Syntax Tree). Trarei logo abaixo o que é Query DSL e AST, um resumo de ambos.

Para que o Elasticsearch é usado?

Devido à velocidade, performance, escalabilidade, facilidade e integração com outras ferramentas que o elastic possui, ele pode ser usado para:

Busca em aplicação
Busca em website
Busca empresarial
Logging e analítica de log
Métricas de infraestrutura e monitoramento de container
APM (Monitoramento de performance de aplicação)
Análise e visualização de dados geoespaciais
Analítica de segurança
Análise de dados empresarial

O que é Query DSL?

O Querydsl é um framework java que permite gerar queries type-safe com sintaxe similar ao JPQL, SQL e outras suportadas.

O que é AST?

Segundo Twilio "Abstract Syntax Trees ou ASTs são representações em árvore do código. Eles são uma parte fundamental da maneira como um compilador funciona. Quando um compilador transforma algum código, existem fundamentalmente os seguintes passos:"

Análise Lexical - conhecida como Tokenização
Análise de sintaxe - Conhecida como analise
Geração de código

Quais linguagens de programação têm suporte no Elasticsearch?

O Elasticsearch oferece suporte a uma variedade de linguagens, que são:

Java
JavaScript (Node.js)
Go
.NET (C#)
PHP
Perl
Python
Ruby

Hora da prática

Como ele fornece uma API Rest, com isso recebe requisição HTTP, utilizando os quatros verbos GET, POST, PUT e DELETE

1| endereco_da_api:porta/indice/tipo_do_documento
2| example- http://localhost:9200/futebol/jogador

Uma requisição POST para uri

Realiza a indexação de um documento cujos dados devem ser passados como um objeto JSON no corpo da requisição, exemplo:

POST http://localhost:9200/futebol/jogador
{
    "nome": "Édson Arantes do Nascimento",
    "apelido": "Pelé",
    "titulos_mundiais": [
        "1958",
        "1962",
        "1970"
    ]
}

Uma requisição GET para uri/_search

Retorna todos os documentos do índice indicado, exemplo:

GET http://localhost:9200/futebol/jogador/_search
{
    "query": {
        "match": {
            "apelido": {
            "query": "Pelé"
            }
        }
    }
}

Uma requisição PUT para uri/_id

_id deve ser o valor do código de identificação do documento. Caso o _id seja de um documento existente, substitui os campos do documento pelo corpo JSON da requisição.

Uma requisição DELETE para uri/_id

_id deve ser o valor do código de identificação do documento. Caso o _id seja de um documento existente, deleta fisicamente o documento do índice em que ele está indexado.

Conclusão

Então, como podemos ver o Elastic search é muito bom, ele é um assunto bem interessante, a forma de uso, as funcionalidades, performance que ele possui, pode te ajudar em diversas situações que esteja passando. Gostaria de ter o conhecido antes, recomendo muito ele.

TODO

O ElasticSearch seria útil para você?
Já passou por problemas de volume de dados grandes?
Conhece outra ferramenta melhor que essa?
Aplicam esta ferramenta no seu trabalho? Porquê?

Respondam às perguntas nos comentários.

Este foi o diário de bordo #16. Hoje eu escolhi falar sobre o Elasticsearch na próxima semana irei trazer sobre Redis galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Avoid Premature Optimization, O que é?

Suspir0n — Mon, 10 Jan 2022 12:24:08 +0000

Muitos de nós buscamos otimizar o desempenho de um software com alguma tecnologia, princípios, metodologias ou com funcionalidades novas, porém nem tudo que você aprende pode ser aplicado a um software, depende muito do que o software em questão está propondo. É como se você aprendesse uma nova linguagem e quisesse aplicar ela em um software em que está trabalhando, pois é mais eficaz do que a utilizada, entretanto naquele contexto, naquele software não tem essa necessidade de você aplicar tal linguagem, é o que chamamos de Avoid Premature Optimization, otimização prematura, querer otimizar antes da hora ou sem uma necessidade para tal ação.

Abordando um problema.

Os indivíduos atualmente, tem uma grande necessidade de trocar de celular a cada seis meses ou a cada ano, com o intuito de ter um status elevado, melhorando a autoestima em alguns aspectos e dependendo, se endividando ainda mais.

O problema maior é o gasto desnecessário, resultando em uma bola de neve, aumentando as dívidas.

Onde quero chegar com isso? Estou aplicando o conceito que quero abordar no cotidiano de muitos indivíduos.

Ah! Existe alguma solução?

Estão se perguntando o que educação financeira tem a ver com o objetivo deste artigo, calma, iremos chegar lá.

Quando você for comprar algo, otimizar algo que você já possui, no caso, um celular novo com mais GB de armazenamento, processador melhor, mAh(milha amperes) maior, deve se fazer 4 perguntas, são elas:

Quero mesmo comprar isso?
Preciso disso para alguma coisa?
Posso comprar isso com o dinheiro que tenho?
Precisa mesmo ser agora?

Irei adicionar uma quinta pergunta que se complementa com as anteriores, que é:

Existe uma necessidade grande para isso?

Se você responder "sim" em todas as perguntas, a compra está liberada, pois o produto realmente é necessário. Mas, se alguma resposta for "não", é importante repensar.

O que quero dizer com isso? Se o seu celular está funcionando, suprindo suas necessidades, para que irá comprar um tão cedo? Isso é uma otimização prematura, melhorar algo sem existir a tal necessidade para aquela otimização que está pensando em fazê-lo.

Reparou como ficou melhor? Entendeu a diferença de quando a necessidade de otimizar e quando não há? Está solução se trata do Avoid Premature Optimization.

O que é Avoid Premature Optimization?

Segundo Matt Watson "Premature optimization is spending a lot of time on something that you may not actually need. “Premature optimization is the root of all evil” is a famous saying among software developers."

Matt Watson descreve em seu artigo que Otimização prematura é gastar tempo em algo sem necessidade, que você não precisa realmente, ele também faz uma citação do livro do autor Donald Knuth, o The Art of Computer Programming, na citação completa diz:

“The real problem is that programmers have spent far too much time worrying about efficiency in the wrong places and at the wrong times; premature optimization is the root of all evil (or at least most of it) in programming.”

Abordando uma solução em conjunto com o conceito.

Abordarei uma solução que aconteceu comigo. Solicitaram para documentar um software utilizando UML para fazer toda a documentação do software, até neste momento estava tudo bem, porem tive a ideia de escrever uma documentação em C4 Model, um modelo de documentação simples e eficaz, chega ser tão simples que até uma pessoa leiga, que não é da área, entenderia completamente o que a documentação estava dizendo.

Vocês podem pensar, nossa então o C4 Model é muito bom, de fato, ele é, porem estaria otimizando algo muito cedo, gastando tempo sem ter a necessidade naquele momento. Logo, é uma otimização prematura, não estou dizendo que não poderia fazer, poderia fazer sim, mas não naquele momento.

TODO

Já aconteceu isso com você?
O que faria na minha situação?
Já fez alguma otimização prematura antes?
Aplicam este principio no seu trabalho? Porquê?

Respondam as perguntas nos comentários.

Este foi o diário de bordo #15. Hoje eu escolhi falar sobre o Avoid Premature Optimization na próxima semana irei trazer sobre Testes automatizados no Github galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Why Premature Optimization Is the Root of All Evil

SoC - Separation of Concerns

Suspir0n — Mon, 03 Jan 2022 11:59:21 +0000

Hello guys, today I start one more chapter of my Logbook. The subject is about SoC(Separation of concerns), we're bringing many principles, right? Let's see an example to understand this concept, right? OK, let's go guys.

What is the SoC?

As cited in O'Reilly "Separation of Concerns (SoC) is a design principle that manages complexity by partitioning the software system so that each partition is responsible for a separate concern, minimizing the overlap of concerns as much as possible."

This principle aims at separation of concerns software, taking care of each concern, as Garo Garabedyan said in "Separation of Concerns (since 1974). Concern == feature of system. Taking care of each of the concerns: for each one concern, other concerns are irrelevant. Hiding implementation of behavior."

I still don't understand, could you explain better?

So, Separation of Concerns (SoC) is the process of dividing a computer program into distinct resources that overlap in functionality as little as possible. Just like Garo Garabedyan said, he takes care of each one of the concerns, and each concern we can refer to the resources or behaviors of the system.

You must be wondering what is the difference between SoC and Single Responsibility Principle (SRP).

Single Responsibility Principle (SRP) - The SRP aims to separate the responsibilities, in this case, to have a single responsibility. Read more. About the Separation of Concerns (SoC)
Separation of Concerns (SoC) - The SoC takes care of every concern of the system, being any part of interest or focus in a program.

The difference is, the SRP is concerned with separating the responsibilities that each functionality of the system has, making it unique, and the SoC takes care of the concerns, so the SRP is coupled with the SoC as it is a concern of the system.

SoC in practice

In this example just above you can see one of the uses Separation of Concerns (SoC), we can see that it separates two concerns of the program, the Report and the Dialog Program, The Report is nothing more than the reports that the program makes available and the Dialog program is the dialog that the system will be doing, this communication with the other computers. It's demonstrates that when we talk about separation of concerns, we only deal with program concerns, it can be with database, external systems, anything that involves a program concern.

This was the Logbook #14. Today I chose to speak about SoC(Separation of Concerns) next week I will bring about Avoid Premature Optimization guys. Let's say goodbye for here. We will come back in another logbook.

This article was helpful to you?
Leave a comment below.

References

Complexidade de Algoritmo com Big'O.

Suspir0n — Thu, 23 Dec 2021 03:36:12 +0000

Olá galera, hoje eu vim falar sobre complexidade de algoritmo, especificamente sobre a notação do O grande, conhecido como Big'O notation.

Sabemos que uma complexidade é uma medida da quantidade de recursos que o algoritmo precisa para executar no computador, nele temos a complexidade de tempo e a complexidade de espaço, caso não especificarmos de qual complexidade se trata, significa que estamos falando da complexidade de tempo.

Para verificamos a eficiência de um código, precisamos analisar a complexidade do mesmo, estarei utilizando um exemplo simples de inversão de lista para poder explicar melhor. Lembrando que cada computador executa no seu tempo, por isso estaremos analisando a entrada e o comportamento da função.

def inverter_lista(lista):
    tamanho = len(lista)
    limite = tamanho//2
    for i in range(limite):
        aux = lista[i]
        lista[i] = lista[n-i]
        lista[tamanho-i] = aux

Analisando o código acima, começaremos a verificar a complexidade de espaço, o mesmo retrata sobre as variáveis, no caso, o espaço na memória que elas estão sendo alocadas, logo ficaria assim:

# 4 + N = complexidade de espaço

Porque 4? Porque temos quatro variáveis, a tamanho, limite, aux e i. O N seria a lista, pois não sabemos o tamanho dela, logo pode ser N valores.

Após termos verificado a complexidade de espaço, agora iremos verificar a de tempo, por cada linha na função que será executada, logo ficaria desta forma:

# 2 + 4*(N/2) = complexidade de tempo

Nele podemos observar:

2 - são às duas primeiras linhas que são executadas antes do for
4 - são as quatro linhas que serão executadas dentro do for
(N/2) - é o valor limite

Podemos ainda simplificar esta equação, se você analisar, só estamos utilizando a variável aux e a lista e se dividimos N/2 o resultado será N, logo a equação ficaria 2 + 2*N.

Certo, a equação 2 + 2*N, o 2 faz diferença quando o tamanho da lista é pequena, por exemplo, se a lista tiver o tamanho de 4 elementos, substituindo o N na equação pelo 4, ficaria 2 + 2*4 resultando em 2 + 8 -> 10, você percebe que a diferença que ela faz é de 20% na utilização de recursos, mais se com o tempo formos aumentando a quantidade de elementos na lista, por exemplo, 100, na equação ficaria 2 + 2*100 -> 2 + 200 -> 202, logo você percebe que com este valor o 2 teria uma diferença de 1% na utilização de recursos e assim por diante. Chegamos a conclusão que o dominante na equação que é o 2*N, nele que iremos saber o quanto de utilização de recursos estará sendo usado em maior parte.

Próximo passo para chegarmos na notação que queremos, temos que remover da equação tudo aquilo que não é dominante, o que já fizemos anteriormente.

Logo este 2*N também chegará a não ser mas irrelevante não é mesmo? Até porque sabemos que, o que define nesta equação é o valor de N logo para definimos isso usaremos a notação do Big'O, resultando em:

# 2*N - complexidade de tempo = O(n)

O O(N), ela expressa um conjunto de funções dominadas pelo termo de grau N.

Mas fizemos aquela analise e aquela equação toda para ficarmos apenas com este termo, esse N? Sim, para analisar o algoritmo, tivemos que entender como funcionava, como era seu comportamento em si, qual o crescimento dele conforme a entrada, no caso a lista. Logo precisamos saber se ele é um conjunto de função que pertence ao O(n). Entretanto, podemos dizer que o gráfico desta função é linear, pois vai crescendo conforme o tamanho da entrada.

Este foi o diário de bordo #13. Hoje eu escolhi falar sobre o Big'O Notation na próxima semana irei trazer sobre o SoC galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

DRY - Não se repita.

Suspir0n — Mon, 13 Dec 2021 19:05:37 +0000

O que é DRY?

O DRY(Don't repeat yourself) é um princípio que fala basicamente sobre não se repetir, como assim? Quando ele fala de não se repetir, ele se refere a duplicidade de tarefas, funções, requisitos de negócios, no desenvolvimento de código e na documentação de software.

Sabemos que às vezes acabamos repetindo algo no desenvolvimento sem a gente perceber, entretanto, é um dos motivos para fazermos também a revisão de código, por exemplo, não só para ver se o código ta funcional, utilizando boas práticas, como também se tem duplicidade nele, sem a duplicidade, acabamos evitando problemas com manutenção do código, diminuição na quantidade de bugs e melhoria no desempenho da aplicação.

Um dos exemplos bem simples que podemos utilizar é o desenvolvimento de uma API, nela temos tanto envio quanto recebimento de dados em json, logo, precisamos validar, tratar aquele json que recebemos e o que enviamos, pense nisso se fossemos fazer isso para cada requisição. Então, sabe como resolver? Quais formas tem?

Uma das formas é criar uma função genérica para fazer a validação e o tratamento do json para que ele não se repita em toda requisição a mesma coisa, ou, instalando uma lib que já faça isso.

Experiências com o DRY

Já utilizei o DRY(Don't repeat yourself) diversas vezes, em desenvolvimento de APIs, Websites, sistemas, jogos e até na área de designer. Uma das formas que usei foi tanto criando funções genéricas quanto desenvolvendo uma lib para tal ação.

Este foi o diário de bordo #12. Seguindo a sequência do que meu amigo @figur8 me apresentou semana passada, 3 novos princípios o YAGNI, KISS e DRY, hoje eu escolhi falar sobre o DRY na próxima semana irei trazer sobre o Big'O galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

YAGNI, KISS E DRY

YAGNI - Você não vai precisar disso.

Suspir0n — Wed, 08 Dec 2021 01:03:23 +0000

O que é YAGNI?

O YAGNI(You arin't gonna need it) é um princípio que retrata sobre não usar aquilo que não é necessário. Com isso, quando vamos desenvolver um software, antes de começar a fazer, começamos a planejar o que vamos utilizar nele, como:

Ferramentas
Frameworks
Linguagens de Programação
SQL ou NoSQL
Testes
Princípios

Pensamos em colocar em prática muitas coisas não é mesmo? Por isso comecei a escrever primeiro sobre KISS, reparou que eles se completam?

Caso não se lembrem o que é o KISS, resumindo, ele é um princípio que fala sobre manter a simplicidade na sua aplicação. Lembrando simples não é a mesma coisa que ser simplista, falaremos sobre isso em outro artigo.

Como ambos se completam tanto o KISS como o YAGNI, para manter a simplicidade, apenas usaremos tecnologias necessárias, é neste momento que o YAGNI entra, mas como saber se algo é necessário ou não no momento?

Vamos para um exemplo, digamos que tenham que desenvolver uma API. Do que eu preciso para criar uma solicitação do tipo GET?

Primeiro precisará de uma framework para facilitá o desenvolvimento, neste exemplo vou usar o FastAPI.

Arquivo main.py

from fastapi import FastAPI

app = FastAPI()

@app.get('/')
async def index():
    return {"Hello World": "Olá Mundo"}

Reparou? Bem simples não é mesmo?

No momento não era necessário, eu criar varias pastas ou arquivos, separar a responsabilidade, neste momento isso não é necessário, pois o meu objetivo era fazer uma solicitação do tipo GET simples para validação. Veja que não é necessário de várias ferramentas, isto vai vendo com o decorrer do desenvolvimento, implementando apenas o necessário.

Resumindo, quando falamos que YAGNI é um princípio que diz "não usar aquilo que não é necessário", nos referimos a sua tarefa, lembre-se, um passo de cada vez, se você precisa apenas da solicitação do tipo GET, para quer você vai criar uma solicitação do tipo POST se não é necessário? Deu para entender?

Segundo ao LinkApi "O conceito do YAGNI é justamente esse, não usar aquilo que não é necessário!" e como ele mesmo diz complexidade desnecessária é custo.

Então o KISS usa o YAGNI, o YAGNI usa o KISS, formando um ciclo.

Já falamos de alguns destes princípios, vou deixar o link para vocês.

No SRP falamos um pouco sobre o SOLID, teremos um artigo explicando do que se trata o SOLID e sobre os outros princípios citados.

Este foi o diário de bordo #11. Seguindo a sequência do que meu amigo @figur8 me apresentou semana passada, 3 novos princípios o YAGNI, KISS e DRY, hoje eu escolhi falar sobre o YAGNI na próxima semana irei trazer sobre o DRY galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

YAGNI, KISS E DRY

KISS - Mantenha a simplicidade. Estupido!

Suspir0n — Mon, 29 Nov 2021 20:58:21 +0000

O que é o KISS?

Como no próprio título retrata, KISS significa "Keep It Simple Stupid", ele é um dos princípios mais importantes de desenvolvimento de software. Este princípio descreve que para uma criar um software, UX, etc. Ele não tende a ser algo complicado/complexo, e sim, tornar algo simples, funcional e econômico.

Devem estar se perguntando como sei se meu software, meu UX, entre outros, são simples, funcional e econômico correto?

Vejamos, qualquer desenvolvimento independente das camadas de processamento que eles tem, você percebe que ele concorda com o princípio KISS(Keep It Simple, Stupid), quando você consegue explicar o que aquilo faz até para uma pessoa que não seja da área, ela conseguirá entender, pois, você fez algo tão simples que é funcional, não tendo problemas com níveis de senioridade, um estagiário entenderia, um pleno e assim adiante. Logo você só tende a ganhar, você consegue resolver problemas rápidos, consegue explicar para diferentes níveis, tendo uma economia gradativa no seu desenvolvimento, com isso será fácil de manter o mesmo.

Como o KISS influenciou na minha vida?

Já teve algumas vezes que implementei, que um amigo chegava para mim, e dizia, "XD, tem que ser simples, faça algo simples e coloque para funcionar", no entanto, não sabia que isso era um princípio e que muito menos se chamava KISS, acabei sabendo através dele @figur8. Agora compreendo melhor sobre e pretendo aplicar, mas daqui para frente este principio, enfim, este principio influenciou muito na minha forma de pensar e projetar algum desenvolvimento.

Este foi o diário de bordo #10. Não tivemos um artigo semana passada, pois estava sem ideia sobre o que escrever quando meu amigo @figur8 me apresentou 3 novos princípios o YAGNI, KISS e DRY, hoje eu escolhi falar sobre o KISS nas próximas semanas irei trazer sobre os outros dois galera, vlw. Vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Introduzindo o “blockchain” com python

Suspir0n — Mon, 15 Nov 2021 17:30:24 +0000

Olá galera, estamos voltando com mais um diário de bordo, hoje o assunto é sobre “blockchain”, o que é, como funciona e por fim um exemplo prático de como criar um “blockchain”(cadeia de blocos) simples em python.

Quando falamos de blockchain, você lembra logo de criptomoedas e tem alguns que acaba pensando ser apenas sobre Bitcoin, segundo o Felipe Pontes "Blockchain é o conceito base de toda criptomoeda, mas não é limitado a esse escopo e pode ser aplicado de diversas maneiras."

Como funciona?

A blockchain significa cadeia de blocos, logo ela é feita de vários blocos formando uma cadeia, um bloco normalmente ele é composto por: uma data, um índice, algum dado(pode ser uma mensagem, um array de dados, etc.) e o hash do bloco anterior.

Entretanto, para que o blockchain fique seguro, temos que criptografa-los, no exemplo que iremos trabalhar, vamos utilizar o sha256 da biblioteca padrão hashlib, com ele criará uma string com 64 caracteres. Por fim, podemos dizer que o blockchain será uma lista de hashes.

Para isso, como o nosso bloco é feito de hashs, eles precisam ser validos. Neste exemplo, para vemos se o mesmo é valido, vamos dizer que ele tem que começar com quatro "0", no caso, "0000xyz". Está validação é chamada de difficulty(dificuldade), quanto maior a dificuldade, mais tempo terá para encontrar o hash valido. Caso o hash não seja valido de primeira, temos que achar uma forma de mudar, consegui um hash diferente, não é mesmo?

Sabemos que o hash, ele sempre utiliza o mesmo dado, resultando no mesmo hash, para isso mudar, usamos o nonce, o mesmo nada mais é que um valor arbitrário, um número simples que será incrementado no decorrer do processo sempre que um hash não for valido.

Como você reparou, todo bloco tem o hash do bloco anterior, mas o primeiro bloco como fica? Chamamos o primeiro bloco de gêneses, pois ele é o primeiro bloco da cadeia, onde não existe o hash anterior, para isso basta criar um valor arbitrário que irá representar o hash do bloco anterior.

Blockchain, na prática

Sabe o que vamos precisar? Então, esses são os topicos:

Construir a blockchain
Criptografar os blocos
Checar a validade de um hash
Recuperar hash anterior
Adicionar um novo bloco

Neste exemplo, iremos ter dois arquivos: blockchain.py e main.py.

Vamos primeiro criando o arquivo blockchain.py nele iniciaremos implementando a class e importando as libs que iremos utilizar:

from hashlib import sha256
from datetime import datetime


class Blockchain:
     pass

Agora você cria o construtor e nele vamos inicializar uma lista, que será a nossa cadeia de blocos e o nosso bloco gêneses:

def __init__(self):
        self.blocks = []
        self.set_genesis_block()

Feito isso, agora iremos implementar a função "self.set_genesis_block()" onde você vai iniciar o seu bloco gênesis, nele vamos precisar: dos dados, o timestamp para ter a data e hora do momento, o hash anterior que iremos implementar um valor arbitrário, o índice(posição do bloco na cadeia) e por fim a criptografia dele.

def set_genesis_block(self):
        data = 'Hello, World!'
        timestamp = datetime.utcnow().timestamp()
        prev_hash = 0
        index = 0
        self.hash_block(data, timestamp, prev_hash, index)

Para implementar a função "self.hash_block", vamos precisar criar uma estrutura de repetição e implementar o hash do bloco, verificando se ele já é valido antes de adicionar na cadeia de blocos.

def hash_block(self, data, timestamp, prev_hash, index):
        hash = ''
        nonce = 1

        while not self.is_hash_valid(hash):
            block = f'{data}:{timestamp}:{prev_hash}:{index}:{nonce}'
            hash = sha256(block.encode()).hexdigest()
            nonce += 1

        print('[nonce]', nonce)
        self.blocks.append(hash)

A função "self.is_hash_valid" ela é bem simples a implementação dela:

def is_hash_valid(self, hash):
        return hash.startswith('0000')

Contudo, visto que já criamos o bloco gênesis e a função que valida se o bloco é valido, só precisamos agora, criar mais três funções a "get_last_hash" que pega o hash do bloco anterior, o "add_new_block" que serve para adicionar um novo bloco na cadeia e por fim, o "get_all_blocks" para obter a cadeia completa.

def get_last_hash(self):
        return self.blocks[-1]

def add_new_block(self, data):
        index = len(self.blocks)
        prev_hash = self.get_last_hash()
        timestamp = datetime.utcnow().timestamp()
        self.hash_block(data, timestamp, prev_hash, index)

def get_all_blocks(self):
        return self.blocks[:]

Para finalizamos este exemplo, precisamos criar o arquivo main.py que será o arquivo principal de execução, nele vamos importar o arquivo que acabamos de criar, e adicionar três blocos como teste e por fim mostrar a cadeia de blocos

main.py

from blockchain import Blockchain


if __name__ == '__main__':
    blockchain = Blockchain()

    blockchain.add_new_block('Block First!')
    blockchain.add_new_block('Blockchain is very nice!')
    blockchain.add_new_block('Speak some languages ?')

    print(blockchain.get_all_blocks())

Com isso, finalizamos o artigo de hoje, com este exemplo incrível, onde aprendemos o que é blockchain, como ele funciona e como criar um exemplo simples e prático. Estou deixando o link do repositório do github sobre este exemplo na referência.

Este foi o diário de bordo #09 vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Venha expressar regulamente conosco?

Suspir0n — Mon, 08 Nov 2021 12:48:28 +0000

Olá galera, voltando com mais um diário de bordo, hoje iremos transcrever, explicar e demostrar como funciona um regex, e como em todos os artigos que eu faço, deixarei um exemplo prático em python de como se utilizar.

O que é uma expressão regular?

De acordo com Alexandre Servian diz "Uma expressão regular é um método formal de se especificar um padrão de texto.", no artigo dele, ele retrata que com ela pode lidar com algumas situações como:

Procura
Substituição
Validação de formatos
Filtragem de informações

Regex, na prática

Vamos criar nosso primeiro exemplo, com isso usaremos algo fácil e padrão, para você poder implementar em qualquer linguagem, o que muda é a forma que você chama a lib ou se é com um construtor ou não entre outros.

O Regex que vamos criar é para validação de CPF ou CNPJ, irei demostrar o regex pronto e logo em seguida explicarei parte por parte dele.

Esta solução valida estes formatos:

CPF - 00000000000
CNPJ - 00000000000000
CPF - 000.000.000-00
CNPJ - 00.000.000/0000-00
CPF - 000000000-00
CNPJ - 00000000/0000-00,

Por exemplo. Os pontos e traços são opcionais em cada uma das posições.

O que não é aceito, por exemplo: 000-000-000-00 (mas pode ser alterado conforme nota abaixo)

Exemplo:

([0-9]{2}[\.]?[0-9]{3}[\.]?[0-9]{3}[\/]?[0-9]{4}[-]?[0-9]{2})|([0-9]{3}[\.]?[0-9]{3}[\.]?[0-9]{3}[-]?[0-9]{2})

Explicação:

[0-9]{2} Faixa de caracteres: 0 a 9, quantidade: 2 caracteres;
[0-9]{3} Faixa de caracteres: 0 a 9, quantidade: 3 caracteres;
[0-9]{4} Faixa de caracteres: 0 a 9, quantidade: 4 caracteres;
[.]?Um ponto, opcional. Foi usado \ no ponto, pois ele sozinho é caractere especial;
[-]? Um traço, opcional (se acrescentar outros caracteres, comece pelo – sempre);
[\/]? Uma barra, opcional. Tambem “escapada” com \ pra agradar o PCRE;
(grupo1)|(grupo2) Se um dos grupos validar, a expressão é válida.

Caso queira aceitar outros separadores, basta acrescentar entre os [ ].

Exemplo:

[-.\/]? Vai aceitar tanto - quanto . e / naquela posição (? = ou nada).

Se quiser saber mais sobre o regex e quais outros caracteres especiais ele aceita, temos a Documentação em JavaScript e a Documentação em Python

Este foi o diário de bordo #08 vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Do localhost a Internet

Suspir0n — Wed, 03 Nov 2021 13:55:49 +0000

Neste artigo iremos falar um pouco sobre o famoso ngrok, o túnel de conexão. Para poucos que conhece, de bônus iremos demostrar duas implementações, uma usado o nosso querido Docker e outro implementando direto na sua maquina.

O que é Ngrok?

Como eu transcrevi acima, o ngrok é um túnel de conexão, de acordo com a Digital Innovation One "O Ngrok é um programa de linha de comando que permite criar um túnel de conexão segura a partir do seu localhost e publicá-lo na internet, o mesmo é multiplataforma, podendo ser usado no Windows, Linux e Mac OS X."

Entretanto, ele quis dizer que basicamente ele gera um URL publica acessível, utilizando como base o seu localhost, logo, com ele você não irá precisar subir sua aplicação em servidor/hospedagem para poder apresentar no seu trabalho, mostrar seus colegas, seu professor, etc. Ele irá facilitar sua vida, deixando de modo simples, lembrando que o ngrok é recomendado apenas para Desenvolvimento e não para colocar sua aplicação em produção.

Implementação local

Estaremos usando o windows neste exemplo, agora vamos baixar o ngrok, siga os passos abaixo.

Para nós conseguirmos baixar o Ngrok é necessário acessar o site https://ngrok.com/download
Após baixar o Ngrok basta ir à pasta Downloads e executa o aplicativo do Ngrok
Por fim vamos iniciar o serviço do Ngrok digitando este comando abaixo.

ngrok http 8000

Implementação usando o Docker

Neste exemplo, vamos criar apenas o serviço do ngrok, pois, na nossa compreensão você já tem o serviço da sua aplicação criado, no nosso exemplo, a nomenclatura do serviço da aplicação se chamará "app".

Nele passamos o nosso, app, a porta que ele vai servir e algumas variáveis de ambiente. Como:

DOMAIN = O nome do container da sua aplicação
PORT = A porta que o container da sua aplicação está sendo executado

Existem outras variáveis, irei citar algumas para você:

PROTOCOL = Protocolo de tunelamento Ngrok, recebe os valores (http, tls e tcp)
REGION = Região onde o cliente ngrok se conectará para hospedar seus túneis, recebe os valores (us, eu, ap, au, sa, jp e em)
HOST_HEADER = Opcional, reescreva as solicitações de HTTP de entrada com um cabeçalho de Host modificado. por exemplo
HOST_HEADER=localdev.test
BIND_TLS = Opcional, encaminhe apenas o tráfego HTTP ou HTTPS, mas não ambos. Por padrão, quando o ngrok executa um túnel HTTP, ele abre pontos de extremidade para o tráfego HTTP e HTTPS.
DEBUG = Opcional, grave logs em stdout.
PARAMS = Passe todos os parâmetros ngrok por uma string. Quando especificado, qualquer outra variável env é ignorada.

Este foi o diário de bordo #07 vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.

Referências

Webhook vs APIs

Suspir0n — Wed, 03 Nov 2021 13:45:33 +0000

Quer saber o que é um webhook e como funciona?

Imagine a facilidade e a praticidade que você terá usando o webhook, neste artigo iremos descrever o que webhook, como funciona e de bônus deixaremos um exemplo simples e prático usando python mas também pode ser utilizado em outras linguagens, deixarei referencias em outras linguagens para poder ajudar no seu estudo.

O que é Webhook?

De acordo com o blog do Vindi "Webhook é uma forma de recebimento de informações, passadas quando um evento acontece. Dessa forma, o webhook, na prática, é a forma de receber informações entre dois sistemas de uma forma passiva. Além disso, o webhook (também conhecido como retorno de chamada web ou HTTP e, ainda, impulso API) é uma maneira prática para um app ou sistema fornecer outras aplicações com informações em tempo real. Da mesma forma, ele fornece dados para outros aplicativos, e são muito eficientes tanto para o prestador de serviço, como para o consumidor."

Simplificando, webhooks são eventos que acionam uma ação.

Como funciona Webhook?

Então, supondo que você esteja criando um bot para o telegram, e você acaba criando uma API para isso, nesta API você tem uma rota que executa uma determinada ação do bot, com isso você precisa fazer o set Webhook na API do telegram para que quando for requisitado aquele Webhook, ele ira acionar a ação daquele determinado evento.

Observando está imagem acima, você percebe que Webhook e APIs são duas comunicações totalmente diferente, enquanto a API ele pega os dados de um servidor, o Webhook puxa os seus dados. APIs estão em constante votação para obter as assinaturas.

Webhook, na prática

Neste exemplo prático iremos utilizar:

Vamos começar criando um servidor para receber o webhook.

Neste código, você observa que criamos apenas uma rota chamada '/webhook' do método do tipo 'POST', logo a nossa rota irá permitir requisição com este método. Com isso basta você executar dois comandos, o primeiro para escrever seu server como uma variável de ambiente e o outro para executar o server.

No windows:

set FLASK_APP='nomedoseuarquivo'.py
flask run

No Linux:

export FLASK_APP='nomedoseuarquivo'.py
flask run

Após você ter criado um server, vamos agora criar um arquivo onde você irar enviar o seu webhook, o código ficaria desta forma.

Neste código, fizemos um exemplo de requisição, fazendo o envio do nosso webhook, finalizando nosso exemplo nesta etapa.

Repare que neste exemplo, usamos localhost, caso você deseje aplicar esses conhecimentos utilizando a API do telegram, por exemplo, você pode usar o ngrok, pois o telegram não aceita localhost, então você pode utilizar o ngrok para isso, sendo que ele serve apenas para testar sua aplicação, não para ir em produção. Decorrerei sobre o ngrok em outro artigo, deixarei o link logo abaixo.

Este foi o diário de bordo #06 vamos nos despedindo por aqui. Voltaremos com mais um diário de bordo.

Este artigo foi útil para você?
Deixe um comentário abaixo.