DEV Community: Emanuel Betcel

Aplicando boas práticas de programação em Data Science

Emanuel Betcel — Thu, 19 May 2022 13:01:13 +0000

Introdução

Este post é referente a uma atividade da disciplina de MLOPS ministrada pelo professor Ivanovitch Silva na Universidade Federal do Rio Grande do Norte. O objetivo desde projeto consiste em continuar a apresentação sobre outras habilidades relacionadas com o código limpo, nomeadamente: captura e manipulação de erros, testes, registros (logging). O código do que foi feito está disponível no Github.

Análise valor Dólar Real por Presidentes

Nesse projeto desenvolvemos uma visualização baseada no curso Storytelling Data Visualization on Exchange Rates. Nela selecionamos o valor Dólar-Real de 1996 até maio de 2022, apontando as crises que ocorreram ao longo do tempo e também os presidentes no período.

Dados

Os dados do Dólar foram coletados no Portal Brasileiro de Dados Abertos e as informações destacadas foram coletadas na Wikipedia.
O data set com os dados possue informações do valor que o dólar foi fechado em cada dia, contudo para melhorar a visualização optamos por fazer a média mensal desses valores e suavizamos o gráfico utlizando o método rolling(3). Após isso selecionamos os períodos dos presidentes que foram:

Fernando Henrique Cardoso de 01/1995 até 01/2003;
Lula de 01/2003 até 01/2011;
Dilma Rousseff de 01/2011 até 08/2016;
Michel Temer de 08/2016 até 01/2019;
Jair Bolsonaro de 01/2019 até 05/2022.

Visualização

A visualização consiste em gráficos de linhas que representam o valor do dólar temporalmente, eles são divididos em cores cada cor se refere ao presidente daquele período, alguns presidentes possuem pouco tempo de mandato o que acabou dificultando a organização da figura. Além dissos a figura dispõe de algumas linhas verticais e cada cor representa o início de uma crise no Brasil de acordo com Lista de crises econômicas no Brasil. Abaixo você pode ver o resultado que obtivemos:

Script .py e guia de estilo PEP8

Após finalizar o Jupyter Notebook que gerava o gráfico, convertemos o arquivo .ipynb em um script .py e utilizamos o autopep8 para adequação às diretrizes de estilo do PEP8 em conjunto com o Pylint, analisador de código.

A instalação do autopep8 pode ser feita através do pip, preferencialmente em um ambiente virtual:

$ pip install --upgrade autopep8

Para modificar um arquivo o comando é:

$ autopep8 --in-place --aggressive --aggressive <filename>

De forma similar, instalamos e executamos o pylint:

$ pip install pylint --upgrade

$ pylint <filename>

E seguimos as recomendações do linter como documentação de módulos e funções, melhorando o estilo e nomes de variáveis até obter a nota 10 no código.

Modularização, captura e manipulação de erros, testes e logging

Nesta parte do projeto tivemos como objetivo inserir boas práticas de engenharia de software. Começamos modularizando quebrando algumas partes do código em funções, inserimos captura de erros com blocos de try/except e utilizamos o logging para fazer registros. Fizemos uma pequena função de teste para simular um caso de teste apenas para demonstração, todavia o ideal para casos reais era a criação de arquivos de testes no pytest.

Exemplo de código:

Deploy

Por fim, foi utilizado o Streamlit para construir o data app que gera o gráfico. Esta biblioteca tem como objetivo transformar scripts em web apps sem requisitar experiência de frontend.

Instalamos e executamos com

$ pip install streamlit

$ streamlit run app.py

Conclusão

Assim, concluímos o projeto transformando um jupyter notebook, que podemos considerar como um protótipo, em um web app compartilhável que pode ser hospedado em qualquer plataforma como Heroku, AWS etc.

Usando linhas de comando para navegar por diretórios e manipular arquivos

Emanuel Betcel — Mon, 25 Apr 2022 03:57:19 +0000

Um dos primeiros desafios apresentados ao começar a utilizar o terminal do Linux é como realizar coisas básicas que já estamos completamente acostumados a fazer pela interface gráfica. Criar um arquivo de texto, navegar para uma pasta específica, mover ou copiar um arquivo são exemplos clássicos de iniciantes da poderosa ferramenta de linha de comando.

Este curto artigo tem como objetivo mostrar os primeiros passos e ajudar no entendimento de alguns comandos básicos.

Se encontrando

Definitivamente o primeiro comando que devemos utilizar é o ls, com ele podemos listar todos os arquivos e pastas de onde estamos (sim, o terminal vai rastrear a nossa navegação de forma parecida à interface gráfica e o comando pwd permite visualizar o caminho completo da posição atual na árvore de diretórios).

Ao utilizar o ls é possível ver pastas da home, como o Desktop, Documents, Downloads etc. Para listar todos os arquivos em qualquer uma dessas pastas, basta passar o nome da pasta como um argumento, como, por exemplo ls Downloads, e assim listar todos os arquivos dessa pasta. Além de argumentos, esses comandos também podem conter flags, que são basicamente opções e são precedidas de hífens.

Navegando

Para acessar uma pasta basta utilizar o comando cd seguido do nome da pasta que queremos acessar. Para isso, feche e abra um novo terminal, e tente acessar o desktop com cd Desktop. Caso você queira voltar, o equivalente a apertar no botão da seta pra esquerda no topo de uma janela, basta executar cd .. e irá retornar uma pasta no seu caminho.

Criando pastas e arquivos

O comando para criar uma pasta é mkdir seguido do nome que desejamos dar (Atenção aos caracteres especiais e a utilizar uma contrabarra ao adicionar um espaço). Podemos ver no exemplo abaixo como criar e acessar uma página.

De forma semelhante, podemos encurtar com o comando mkcd, que é basicamente um atalho que faz as duas coisas.

Agora, para criar um arquivo vazio basta utilizar o comando touch, para criar um arquivo python, por exemplo, basta utilizar touch script.py.

Deletando

Para remover o arquivo que acabamos de criar basta utilizar o comando rm seguido do nome do arquivo. Então, basta estar na pasta que o arquivo está e executar rm script.py. Podemos listar os arquivos e ver se ele ainda se encontra lá.

Agora, para remover a pasta que acabamos de criar, vamos voltar para o diretório onde a criamos com o comando cd .. e tentar remover utilizando rm pagina. Logo podemos perceber que é impresso um erro na tela indicando que não podemos remover por ser um diretório.

Investigando como resolver esse problema, podemos consultar o manual de uso do rm com o comando man rm. Lá se encontra o nome, como utilizar, a descrição do que o comando faz e as opções que temos ao executá-lo, o comando man é muito útil e podemos utilizar com basicamente qualquer outro comando. Nas opções, é possível ver que, ao utilizar a flag -r, podemos deletar uma pasta e tudo o que estiver dentro dela de forma recursiva.

Conclusão e próximos passos

A jornada para aprender a utilizar o terminal com proficiência é realativamente longa, mas é possível ir incrementando aos poucos o portfólio do que conseguimos fazer com ele. À medida que nos familiarizamos com o terminal, preferimos utilizar comandos que se adequem perfeitamente às nossas necessidades para resolver problemas e pode ser muito útil para desenvolvedores de software.

Muita coisa não foi abordada aqui mas que merece uma exploração futura, como: Mover e modificar arquivos, o conceito e gerenciamento de permissões, como executar programas pelo terminal, transmissão de input e output, como utilizar regex para ampliar as capacidades. A lista é bem grande. Dessa forma, finalizo o artigo com uma lista de alguns outros comandos mais básicos para os primeiros passos nessa jornada.

https://www.researchgate.net/profile/Li-Guo-4/publication/327422883/figure/tbl1/AS:669839723081731@1536713643856/List-of-basic-Linux-commands.png

Análise de Desempenho e Aprendizado em ITP (Introdução às técnicas de programação).

Emanuel Betcel — Tue, 09 Nov 2021 11:51:36 +0000

Escrito por Catarina de Oliveira, Emanuel Betcel, Giovanna Karla, Pedro Victor e Tiago Oliveira.

Introdução

O Bacharelado em Tecnologia da Informação da UFRN, que possui cerca de 2 mil alunos matriculados, é um curso de computação com uma grade curricular bastante flexível, permitindo ao aluno trilhar vários caminhos em áreas de BioInformática, Engenharia de Software, Ciência da Computação e outras. Todavia, as matérias obrigatórias iniciais acabam sendo um grande empecilho e acabam por represar muitos alunos, causando muita evasão e prejudicando a formação de profissionais tão requisitados para o momento.
O currículo básico de programação para o curso é dado pelas matérias de Pensamento Computacional, Introdução às Técnicas de Programação, Linguagem de Programação I e Linguagem de Programação II, nessa ordem. A disciplina de ITP tem a peculiaridade de ser a primeira em que os alunos programam um projeto, utiliza a linguagem C e aborda conteúdos mais complexos de programação, como recursão, structs e gerenciamento de memória.

ITP antes vs ITP hoje

Devido à pandemia, a forma como a matéria de ITP é rodada foi bastante modificada, fazendo uso de sala de aula invertida e avaliação continuada, com exercícios frequentes realizados na plataforma LOP de desafios de programação.

Tipos e base de dados disponíveis

A fonte de dados apresentada pelo professor Eduardo Aranha na discussão do tema é em formato de planilha retirada do SIGAA. Contendo dados qualitativos, quantitativos, categóricos e discretos. Onde teremos acesso a dados do desempenho do rendimento de notas semestrais de um ou mais alunos, para podermos analisar e poder encontrar problemáticas e seus padrões.

As bases vêm dos dados abertos da UFRN e também foram extraídos da plataforma de resolução de exercícios. A identificação dos alunos é hasheada para proteção individual dos dados.

O que se busca alcançar no projeto

Acreditamos que a partir desse estudo e levando em consideração todos os resultados que iremos obter, vamos poder ajudar os docentes a entenderem melhores formas de abordar a forma que a disciplina de Introdução às Técnicas de Programação é ministrada. Uma vez tendo em mãos os resultados, poderíamos de alguma forma responder alguns questionamentos, como por exemplo, se no formato remoto os alunos conseguem ter um desempenho melhor em relação às outras turmas que passaram ou passarão por ITP de forma presencial. Outro ponto que desejamos alcançar é saber se, no formato remoto, as turmas terminam a disciplina de forma mais homogênea, ou seja, de forma mais igual, levando em consideração que o desempenho médio no trabalho final nas turmas remotas é melhor. Esse é um questionamento importante, pois levando em consideração que existe uma variação de semestres como por exemplo um ser mais fácil que o outro, poderia impactar nos resultados.

Sugestões feitas pelo professor Julio, idealizador do estudo:

Possíveis técnicas que podem ser aplicadas e entregáveis

A partir das bases fornecidas pelo professor é recomendado que se inicie com o tratamento dos dados, extraindo, padronizando e carregando essas planilhas em um banco ou um DataFrame as a DataBase. Em seguida, recomenda-se que seja feita uma análise exploratória dos dados, permitindo uma visão mais geral e descritiva. Também seria interessante utilizar modelos de regressão linear para tentar prever as notas dos alunos. No âmbito da visualização de dados, seria interessante criar dashboards interativos de maneira a facilitar a comunicação do que foi discutido e trabalho neste projeto.