DEV Community: DeadPunnk

Pandas + NBB data 🐼🏀

DeadPunnk — Mon, 13 Jan 2025 19:26:21 +0000

Quando se aprende lógica de programação é comum começar resolvendo problemas simples de matemática, utilizando a linguagem de programação escolhida para aprender a programar.

Quase todo programador já precisou escrever um algoritmo para separar números pares de ímpares, pensando nisso fiz uso desse pequeno script para tratar um dataframe extraído do site da NBB (Novo Basquete Brasil), com dados da tabela de classificação do campeonato 24/25 até o momento.

Os dados são extraídos do site: LNB, usando a função read_html() da biblioteca Pandas, que nos retorna uma lista com os dataframes extraídos dos site.

import pandas as pd

tabela = pd.read_html('https://lnb.com.br/nbb/')
tabela[0].head()

Por terem sido extraídos da web através do HTML do site, existem dados sem muita importância para nós, dados que vieram das tags presentes no HTML e que não necessariamente carregam informações úteis.

Podemos notar que as linhas de índex ímpares não carregam dados úteis e se repetem por todo o dataframe, pensando nisso vamos manter apenas os indexes pares.

tabela_lista = []
for i in range(len(tabela[0])):

    if (i % 2) == 0: 
        tabela_lista.append(tabela[0].iloc[i])

Com aquele mesmo algoritmo, que todo programador já viu em algum momento durante seu aprendizado, vamos separar os indexes que são pares e manter apenas eles no nosso dataframe. Para isso basta pegar o número do índex e se o resto de sua divisão por 2 for igual a 0 então o número é par, logo iremos manter ele em nosso dataframe.

Utilizando a lista com as series, vamos montar o novo dataframe.

tabela_df = pd.DataFrame(tabela_lista)
tabela_df

O resultado fica de acordo com a imagem abaixo.

O ultimo tratamento que vamos fazer é um reset no índex do dataframe, para que volte a começar do 0, como se fosse originalmente desta forma. Com atributo inplace certificamos que as alterações serão feitas no dataframe original.

tabela_df.reset_index(inplace = True)
tabela_df

Finalizado, agora se desejar também é possível extrair a tabela utilizando a função to_csv() ou trabalhar com ela em um jupyter notebook.

Obrigado por ler o artigo!

Cogumelos Mágicos: explorando e tratando dados nulos com Mage

DeadPunnk — Fri, 16 Aug 2024 20:31:39 +0000

Mage é uma poderosa ferramenta para tarefas de ETL, com features que possibilitando exploração e mineração de dados, visualizações rápidas através de templates de gráficos e diversas outras características que transformam seu trabalho com dados em algo magico.

No tratamento de dados, durante um processo de ETL é comum encontrarmos dados faltantes que podem gerar problemas no futuro, dependendo da atividade que vamos realizar com o dataset, os dados nulos podem atrapalhar bastante.

Para identificar a ausência de dados no nosso dataset, podemos utilizar Python e a biblioteca pandas para verificar os dados que apresentam valores nulos, além disso podemos montar gráficos que mostram com mais clareza ainda o impacto desses valores nulos em nosso dataset.

Nosso pipeline consiste de 4 passos: começando com a carga dos dados, duas etapas de tratamento e a exportação dos dados.

Data Loader

Nesse artigo vamos utilizar o dataset: Binary Prediction of Poisonous Mushrooms que esta disponível no Kaggle como parte de uma competição. Vamos uar o dataset de treino disponibilizado no site.

Vamos criar uma etapa de Data Loader usando python para poder carregar os dados que vamos usar. Antes deste passo criei uma tabela no banco de dados Postgres, que tenho localmente em minha maquina, para poder carregar os dados. Como os dados estão no Postgres, vamos usar o template de carga já definido do Postgres dentro do Mage.

from mage_ai.settings.repo import get_repo_path
from mage_ai.io.config import ConfigFileLoader
from mage_ai.io.postgres import Postgres
from os import path

if 'data_loader' not in globals():
    from mage_ai.data_preparation.decorators import data_loader

if 'test' not in globals():
    from mage_ai.data_preparation.decorators import test

@data_loader
def load_data_from_postgres(*args, **kwargs):
    """
    Template for loading data from a PostgreSQL database.
    Specify your configuration settings in 'io_config.yaml'.
    Docs: https://docs.mage.ai/design/data-loading#postgresql
    """
    query = 'SELECT * FROM mushroom'  # Specify your SQL query here
    config_path = path.join(get_repo_path(), 'io_config.yaml')
    config_profile = 'default'

    with Postgres.with_config(ConfigFileLoader(config_path, config_profile)) as loader:

        return loader.load(query)

@test
def test_output(output, *args) -> None:
    """
    Template code for testing the output of the block.
    """

    assert output is not None, 'The output is undefined'

Dentro da função load_data_from_postgres() vamos definir a query que vamos usar para carregar a tabela que está no banco. No meu caso configurei as informações do banco no arquivo io_config.yaml onde está definido como configuração default, por isso só precisamos passar o nome default para a variável config_profile.

Depois de executar o bloco, vamos usar a feature Add chart, que ira disponibilizar informações sobre os nosso dados através de templates já definidos. Basta clicar no icone de ao lado do botão play, sinalizado na imagem com a linha amarela.

Vamos selecionar duas opções para poder explorar mias o nosso dataset, as opções summay_overview e feature_profiles. Através do summary_overview, obtemos as informações sobre o número de colunas e e linhas do dataset, também podemos visualizar o total de colunas por tipo, por exemplo o total de colunas categóricas, numéricas e boleanas. Já o feature_profiles, apresentam informações mais descritivas sobre os dados, como por exemplo: tipo, valor mínimo, valor máximo, dentre outras informações, inclusive já podemos visualizar os valores faltantes, que são o foco do nosso tratamento.

Para podermos focar mais nos dados faltantes, vamos usar o template: % of missing values, um gráfico de barras com a porcentagem de dados que estão faltando, em cada uma das colunas.

O gráfico apresenta 4 colunas onde os valores faltantes correspondem a mais de 80% de seu conteúdo, e outras colunas que apresentam valores faltantes mas em uma menor quantidade, essa informação já nós possibilita buscar diferentes estratégias para lidar com esses dados nulos.

Transformer Drop Columns

Para as colunas que possuem mais de 80% dos valores nulos, a estratégia que vamos seguir será a de realizar um drop colums no dataframe, selecionando as colunas que vamos excluir do dataframe. Usando o Bloco TRANSFORMER na linguagem Python, vamos selecionar a opção Colum removal .

from mage_ai.data_cleaner.transformer_actions.base import BaseAction
from mage_ai.data_cleaner.transformer_actions.constants import ActionType, Axis
from mage_ai.data_cleaner.transformer_actions.utils import build_transformer_action
from pandas import DataFrame

if 'transformer' not in globals():
    from mage_ai.data_preparation.decorators import transformer

if 'test' not in globals():
    from mage_ai.data_preparation.decorators import test

@transformer
def execute_transformer_action(df: DataFrame, *args, **kwargs) -> DataFrame:
    """
    Execute Transformer Action: ActionType.REMOVE
    Docs: https://docs.mage.ai/guides/transformer-blocks#remove-columns
    """
    action = build_transformer_action(
        df,
        action_type=ActionType.REMOVE,
        arguments=['veil_type', 'spore_print_color', 'stem_root', 'veil_color'],        
        axis=Axis.COLUMN,
    )
    return BaseAction(action).execute(df)

@test
def test_output(output, *args) -> None:
    """
    Template code for testing the output of the block.

    """
    assert output is not None, 'The output is undefined'

Dentro da função execute_transformer_action() vamos inserir uma lista com o nome das colunas que queremos excluir do dataset, na variável arguments, depois deste passo, basta executar o bloco.

Transformer Fill in Missing Values

Agora para as colunas que possuem menos de 80% de valores nulos, vamos usar a estratégia Fill in Missing Values, pois em alguns casos a pesas de possuir dados faltantes a substituição destes por valores como média, ou moda, pode ser capas de suprir a necessidade dos dados sem causar muitas alterações ao dataset, dependendo de seu objetivo final.

Existem algumas tarefas, como a de classificação, onde a substituição dos dados faltantes por um valor que seja relevante (moda, média, mediana) para o dataset, possa contribuir com o algoritmo de classificação, que poderia chegar a outras conclusões caso o dados fossem apagados como na outra estratégia de utilizamos.

Para tomar uma decisão com relação a qual medida vamos utilizar, vamos recorrer novamente a funcionalidade Add chart do Mage. Usando o template Most frequent values podemos visualizar a moda e a frequência desse valor em cada uma das colunas.

Seguindos passos semelhantes aos anteriores, vamos usar o tranformer Fill in missing values, para realizar a tarefa de subtiruir os dados faltantes usando a moda de cada uma das colunas: steam_surface, gill_spacing, cap_surface, gill_attachment, ring_type.

from mage_ai.data_cleaner.transformer_actions.constants import ImputationStrategy
from mage_ai.data_cleaner.transformer_actions.base import BaseAction
from mage_ai.data_cleaner.transformer_actions.constants import ActionType, Axis
from mage_ai.data_cleaner.transformer_actions.utils import build_transformer_action
from pandas import DataFrame

if 'transformer' not in globals():
    from mage_ai.data_preparation.decorators import transformer

if 'test' not in globals():
    from mage_ai.data_preparation.decorators import test

@transformer
def execute_transformer_action(df: DataFrame, *args, **kwargs) -> DataFrame:

    """
    Execute Transformer Action: ActionType.IMPUTE
    Docs: https://docs.mage.ai/guides/transformer-blocks#fill-in-missing-values

    """
    action = build_transformer_action(
        df,
        action_type=ActionType.IMPUTE,
        arguments=df.columns,  # Specify columns to impute
        axis=Axis.COLUMN,
        options={'strategy': ImputationStrategy.MODE},  # Specify imputation strategy
    )

    return BaseAction(action).execute(df)


@test
def test_output(output, *args) -> None:
    """
    Template code for testing the output of the block.
    """
    assert output is not None, 'The output is undefined'

Na função execute_transformer_action() , definimos a estratégia para a substituição dos dados num dicionário do Python. Para mais opções de substituição, basta acessar a documentação do transformer: https://docs.mage.ai/guides/transformer-blocks#fill-in-missing-values.

Data Exporter

Ao realizar todas as transformações, vamos salvar nosso dataset agora tratado, na mesma base do Postgres mas agora com um nome diferente para podermos diferenciar. Usando o bloco Data Exporter e selecionando o Postgres, vamos definir o shema e a tabela onde queremos salvar, lembrando que as configurações do banco são salvas previamente no arquivo io_config.yaml.

from mage_ai.settings.repo import get_repo_path
from mage_ai.io.config import ConfigFileLoader
from mage_ai.io.postgres import Postgres
from pandas import DataFrame
from os import path

if 'data_exporter' not in globals():
    from mage_ai.data_preparation.decorators import data_exporter

@data_exporter
def export_data_to_postgres(df: DataFrame, **kwargs) -> None:

    """
    Template for exporting data to a PostgreSQL database.
    Specify your configuration settings in 'io_config.yaml'.
    Docs: https://docs.mage.ai/design/data-loading#postgresql

    """

    schema_name = 'public'  # Specify the name of the schema to export data to
    table_name = 'mushroom_clean'  # Specify the name of the table to export data to
    config_path = path.join(get_repo_path(), 'io_config.yaml')
    config_profile = 'default'

    with Postgres.with_config(ConfigFileLoader(config_path, config_profile)) as loader:

        loader.export(
            df,
            schema_name,
            table_name,
            index=False,  # Specifies whether to include index in exported table
            if_exists='replace', #Specify resolution policy if table name already exists
        )

Obrigado e até a próxima 👋

repo -> https://github.com/DeadPunnk/Mushrooms/tree/main

Magic and Muscles: ETL with Mage and DuckDB with data from my powerlifting training

DeadPunnk — Thu, 11 Jul 2024 17:40:01 +0000

You can acecces the full pipeline here

Mage

In my last post, i writed about a dashboard I builted using Python and Looker Studio, to visualize my powrlifting training data. In this post I will walk you through the step by step of a ETL (Extract, Transform, Load) pipeline, using the same dataset.

To build the pipeline we will use Mage to orchestrate the pipeline and Python for transforming and loading the data, as a last step we will export the transformed data into a DuckDB database.

To execute Mage, we're a gointo use the oficial docker image:

docker pull mageai/mageai:latest

The pipeline will look like this:

Extract

The extraction will be simple, we just have to read a csv file and create a pandas dataframe with it, so we can procide to the next steps. Using the Data loader block, we already have a tamplate to work with, just remember to set the "sep" parameter int he read_csv( ) function, só the data is loaded correct.

from mage_ai.io.file import FileIO
import pandas as pd

if 'data_loader' not in globals():

    from mage_ai.data_preparation.decorators import data_loader

if 'test' not in globals():

    from mage_ai.data_preparation.decorators import test

@data_loader
def load_data_from_file(*args, **kwargs):

    filepath = 'default_repo/data_strong.csv'
    df = pd.read_csv(filepath, sep=';')  

    return df

@test
def test_output(output, *args) -> None:
    assert output is not None, 'The output is undefined'

Transform

In this step, using the Transformer block, that have a lot of templates to chose from, we will select a custom template.

The transformation we have to do is basicly the maping of the Exercise Name column, so we can identify which body part correspond to the specific exercise.

import pandas as pd

if 'transformer' not in globals():

    from mage_ai.data_preparation.decorators import transformer

if 'test' not in globals():

    from mage_ai.data_preparation.decorators import test

body_part = {'Squat (Barbell)': 'Pernas',

    'Bench Press (Barbell)': 'Peitoral',

    'Deadlift (Barbell)': 'Costas',

    'Triceps Pushdown (Cable - Straight Bar)': 'Bracos',

    'Bent Over Row (Barbell)': 'Costas',

    'Leg Press': 'Pernas',

    'Overhead Press (Barbell)': 'Ombros',

    'Romanian Deadlift (Barbell)': 'Costas',

    'Lat Pulldown (Machine)': 'Costas',

    'Bench Press (Dumbbell)': 'Peitoral',

    'Skullcrusher (Dumbbell)': 'Bracos',

    'Lying Leg Curl (Machine)': 'Pernas',

    'Hammer Curl (Dumbbell)': 'Bracos',

    'Overhead Press (Dumbbell)': 'Ombros',

    'Lateral Raise (Dumbbell)': 'Ombros',

    'Chest Press (Machine)': 'Peitoral',

    'Incline Bench Press (Barbell)': 'Peitoral',

    'Hip Thrust (Barbell)': 'Pernas',

    'Agachamento Pausado ': 'Pernas',

    'Larsen Press': 'Peitoral',

    'Triceps Dip': 'Bracos',

    'Farmers March ': 'Abdomen',

    'Lat Pulldown (Cable)': 'Costas',

    'Face Pull (Cable)': 'Ombros',

    'Stiff Leg Deadlift (Barbell)': 'Pernas',

    'Bulgarian Split Squat': 'Pernas',

    'Front Squat (Barbell)': 'Pernas',

    'Incline Bench Press (Dumbbell)': 'Peitoral',

    'Reverse Fly (Dumbbell)': 'Ombros',

    'Push Press': 'Ombros',

    'Good Morning (Barbell)': 'Costas',

    'Leg Extension (Machine)': 'Pernas',

    'Standing Calf Raise (Smith Machine)': 'Pernas',

    'Skullcrusher (Barbell)': 'Bracos',

    'Strict Military Press (Barbell)': 'Ombros',

    'Seated Leg Curl (Machine)': 'Pernas',

    'Bench Press - Close Grip (Barbell)': 'Peitoral',

    'Hip Adductor (Machine)': 'Pernas',

    'Deficit Deadlift (Barbell)': 'Pernas',

    'Sumo Deadlift (Barbell)': 'Costas',

    'Box Squat (Barbell)': 'Pernas',

    'Seated Row (Cable)': 'Costas',

    'Bicep Curl (Dumbbell)': 'Bracos',

    'Spotto Press': 'Peitoral',

    'Incline Chest Fly (Dumbbell)': 'Peitoral',

    'Incline Row (Dumbbell)': 'Costas'}


@transformer
def transform(data, *args, **kwargs):
    strong_data = data[['Date', 'Workout Name', 'Exercise Name', 'Weight', 'Reps',    'Workout Duration']]
    strong_data['Body part'] = strong_data['Exercise Name'].map(body_part)

    return strong_data

@test
def test_output(output, *args) -> None:
    assert output is not None, 'The output is undefined'

An intresting feature of Mage is that we can visualize the changes we are making inside the Tranformer block, using the Add chart opting it's possible to generate a pie graph using the column Body part.

Load

Now is time to load the data to DuckDB. In the docker image we already have DuckDB, so we just have to include another block in our pipeline. Lets inlcude the Data Exporter block, with a SQL template so we can create a table and insert the data.

CREATE OR REPLACE TABLE powerlifting 
(
    _date DATE,
    workout_name STRING,
    exercise_name STRING,
    weight STRING,
    reps STRING,
    workout_duration STRING,
    body_part STRING
);

INSERT INTO powerlifting SELECT * FROM {{ df_1 }};

Conclusion

Mage is a powrfull tool to orchestrate pipelines, provide a complete set of templates for developing especific tasks involving ETL. In this post we had a breathh explanation about how to get start using Mage to build pipelines of data. In future post we're gointo explore more about this amizing framework.

One Byte Explainer : Cluster Computing

DeadPunnk — Mon, 17 Jun 2024 12:49:36 +0000

This is a submission for DEV Computer Science Challenge v24.06.12: One Byte Explainer.

Explainer

Cluster computing, consists in using two or more machines to execute a job, in a why that all resources are shared between them. It machine in the cluster is called a node and if one node fails, another node is responsabal for keeping the process a live.

Additional Context

Magia e Músculos: ETL com Mage e DuckDB com dados do meu treino de powerlifting

DeadPunnk — Mon, 03 Jun 2024 14:13:11 +0000

Acesse o pipeline completo aqui

Mage

No ultimo post que fiz, falei um pouco sobre um painel que construí utilizando Python e o Looker Studio, para visualizar os dados do meu treino de powerlifting. Nesse post vou passar pelo passo a passo de construir um pipeline de ETL (extração, transformação e carga), com os mesmos dataset do meu treino.

Para a construção desse pipeline vamos usar o Mage para orquestração, Python para carga e tratamento dos dados e por fim vamos exportar os dados para uma base do DuckDB.

Para executar o Mage vamos usar a imagem oficial do framework:

docker pull mageai/mageai:latest

O pipeline que vamos construir ficará assim:

Extração

A extração será simples, vamos ler um arquivo CSV usando a biblioteca pandas e utilizar um DataFrame para realizar as etapas seguintes. Usando o bloco Data loader conseguimos um template para ler o arquivo CSV e carregar para um DataFrame do Pandas.

from mage_ai.io.file import FileIO
import pandas as pd

if 'data_loader' not in globals():

    from mage_ai.data_preparation.decorators import data_loader

if 'test' not in globals():

    from mage_ai.data_preparation.decorators import test



@data_loader

def load_data_from_file(*args, **kwargs):

    filepath = 'default_repo/data_strong.csv'
    df = pd.read_csv(filepath, sep=';')  

    return df


@test

def test_output(output, *args) -> None:
    assert output is not None, 'The output is undefined'

Transformação

Nesta etapa utilizamos o bloco Transformer que possui diversos templates para tratamento de dados, porem para o nosso caso vamos realizar uma transformação que não possui um template definido.

A transformação que vamos realizar consiste no mapeamento da coluna Exercise Name para criação de uma nova coluna chamada Body part onde vamos poder identificar a que parte do corpo pertence cada um dos exercícios.

import pandas as pd

if 'transformer' not in globals():

    from mage_ai.data_preparation.decorators import transformer

if 'test' not in globals():

    from mage_ai.data_preparation.decorators import test

body_part = {'Squat (Barbell)': 'Pernas',

    'Bench Press (Barbell)': 'Peitoral',

    'Deadlift (Barbell)': 'Costas',

    'Triceps Pushdown (Cable - Straight Bar)': 'Bracos',

    'Bent Over Row (Barbell)': 'Costas',

    'Leg Press': 'Pernas',

    'Overhead Press (Barbell)': 'Ombros',

    'Romanian Deadlift (Barbell)': 'Costas',

    'Lat Pulldown (Machine)': 'Costas',

    'Bench Press (Dumbbell)': 'Peitoral',

    'Skullcrusher (Dumbbell)': 'Bracos',

    'Lying Leg Curl (Machine)': 'Pernas',

    'Hammer Curl (Dumbbell)': 'Bracos',

    'Overhead Press (Dumbbell)': 'Ombros',

    'Lateral Raise (Dumbbell)': 'Ombros',

    'Chest Press (Machine)': 'Peitoral',

    'Incline Bench Press (Barbell)': 'Peitoral',

    'Hip Thrust (Barbell)': 'Pernas',

    'Agachamento Pausado ': 'Pernas',

    'Larsen Press': 'Peitoral',

    'Triceps Dip': 'Bracos',

    'Farmers March ': 'Abdomen',

    'Lat Pulldown (Cable)': 'Costas',

    'Face Pull (Cable)': 'Ombros',

    'Stiff Leg Deadlift (Barbell)': 'Pernas',

    'Bulgarian Split Squat': 'Pernas',

    'Front Squat (Barbell)': 'Pernas',

    'Incline Bench Press (Dumbbell)': 'Peitoral',

    'Reverse Fly (Dumbbell)': 'Ombros',

    'Push Press': 'Ombros',

    'Good Morning (Barbell)': 'Costas',

    'Leg Extension (Machine)': 'Pernas',

    'Standing Calf Raise (Smith Machine)': 'Pernas',

    'Skullcrusher (Barbell)': 'Bracos',

    'Strict Military Press (Barbell)': 'Ombros',

    'Seated Leg Curl (Machine)': 'Pernas',

    'Bench Press - Close Grip (Barbell)': 'Peitoral',

    'Hip Adductor (Machine)': 'Pernas',

    'Deficit Deadlift (Barbell)': 'Pernas',

    'Sumo Deadlift (Barbell)': 'Costas',

    'Box Squat (Barbell)': 'Pernas',

    'Seated Row (Cable)': 'Costas',

    'Bicep Curl (Dumbbell)': 'Bracos',

    'Spotto Press': 'Peitoral',

    'Incline Chest Fly (Dumbbell)': 'Peitoral',

    'Incline Row (Dumbbell)': 'Costas'}


@transformer
def transform(data, *args, **kwargs):
    strong_data = data[['Date', 'Workout Name', 'Exercise Name', 'Weight', 'Reps',    'Workout Duration']]
    strong_data['Body part'] = strong_data['Exercise Name'].map(body_part)

    return strong_data

@test
def test_output(output, *args) -> None:
    assert output is not None, 'The output is undefined'

Uma característica interessante do Mage é que podemos visualizar de maneira bem fácil as mudanças que estamos fazendo, dentro do bloco Transformer na opção Add chart podemos gerar um gráfico de pizza que nos mostram as porcentagens da coluna Body part.

Carga

Por fim, vamos carregar os dados com a nova coluna para nossa base no DuckDB, que por padrão já esta incluída na mesma imagem do Docker em que o Mage esta sendo executado.

Usando o bloco Data exporter vamos selecionar o template do SQL para exportar os dados, e com uma única linha realizamos a inserção dos dados no DuckDB

CREATE OR REPLACE TABLE powerlifting 
(
    _date DATE,
    workout_name STRING,
    exercise_name STRING,
    weight STRING,
    reps STRING,
    workout_duration STRING,
    body_part STRING
);

INSERT INTO powerlifting SELECT * FROM {{ df_1 }};

Podemos visualizar a tabela, usando a opção Add chart do bloco Data exporter, e slecionando a opção Table.

Conclusão

Mage é um orquestrador bastante poderoso e flexível, que permite a integração de diversas tecnologias voltas a ETL, nesse post passamos apenas por uma rápida introdução do que é possível fazer com essa ferramenta, em posts futuros pretendo explorar mais a funcionalidades da ferramenta.

Looker Studio & Python, Analisando meu treino de Powerlifting

DeadPunnk — Thu, 16 May 2024 19:13:49 +0000

Dados do treino

Recentemente, descobri que o aplicativo que utilizo para registrar os dados do meu treino na academia, permite a exportação deles para um arquivo CSV, então decidi usar esses dados para um pequeno projeto, gerando alguns relatórios.

O aplicativo que eu utilizo é o Strong app , ele permite criar registros dos treinos, adicionando o peso e a quantidade de repetições e series realizada. No próprio aplicativo é possível através da versão pró, criar algumas visualizações dos dados, mas ainda sim é uma analise limitada.

Powerlifting

Powerlifting é um esporte de força que consiste na execução de 3 levantamentos: agachamento, supino e terra. O treino de um powerlifter necessita também de outros exercícios acessórios que ajudam na execução dos levantamentos principais, esses acessórios são utilizados para focar em músculos específicos e também em etapas especificas dos levantamentos principais.

Existem varias formas de desenvolver um treino voltado para força, no meu caso em especifico, sigo uma proposta de progressão de carga mais linear e com foco também em volume de repetições. É importante acrescentar, que os treinos são desenvolvidos pelo meu treinador treinador, que é um educador físico e possui metodologias para criação desses programas de treino, e que é importante o acompanhamento de um profissional da área para evitar possíveis lesões.

Analise dos dados

Nessa primeira versão do relatório, criei visualizações que me ajudaram a explorar os dados gerados pelo aplicativo, por tanto pretendo realizar atualizações no painel para ver quais visualizações fazem mais sentido para as analises que pretendo fazer.

Na primeira pagina do relatório me preocupei em mostrar 4 métricas que julguei interessante visualizar, a média de repetições, e a carga máxima nos 3 exercícios do Powerlift, mantendo o foco também nos valores das cargas, quantidade de repetições e duração do treino, nos gráficos subsequentes.

O gráfico de rosca que mostra a porcentagem da quantidade de vezes que foram executados cada um dos exercícios, não levando em consideração a soma das repetições, evidencia os exercícios que são o foco do meu treino atual. Os gráficos de barra sobre os 3 exercícios do Powerlifting, por quantidade de volume (soma de repetições) e média de carga, refletem bem o padrão que minhas execuções costumam seguir, onde as maiores cargas se concentram no levantamento terra (Deadlift) e no agachamento (Squat).

O gráfico de barras que mostra a a quantidade de treinos com relação ao seu total de horas apresenta uma consistência no tempo de treino, com a maioria beirando o total de duas horas, pois num treino de Powerlifting é muito comum que o tempo de descanso seja bem longo, pois as cargas dos treinos são bem altas.

A segunda pagina do relatório tem o foco na partes do corpo que foram mais treinadas, trazendo diferente visões referentes a mesma informação.

Para a criação da segunda pagina do relatório, foi necessário a criação de um novo campo através de feature engineering, usando o campo Exercise Name e um dicionário do python com o mapeamento dos campos para a criação da coluna body_part.

import pandas as pd

strong = pd.read_csv('diretorio/dos/dados/strong.csv', delimiter=';')
data = strong[['Date', 'Workout Name', 'Exercise Name', 'Weight', 'Reps', 'Workout Duration']]
strong.tail()

O dicionário com o mapeamento dos dados foi gerado a partir do comando:

data['Exercise Name'].value_counts().to_dict()

{'Squat (Barbell)': 272,
'Bench Press (Barbell)': 195,
'Deadlift (Barbell)': 174,
'Triceps Pushdown (Cable - Straight Bar)': 107,
'Bent Over Row (Barbell)': 105,
'Leg Press': 105,
'Overhead Press (Barbell)': 78,
'Romanian Deadlift (Barbell)': 78,
...}

Resultado do mapeamento:

body_part = {'Squat (Barbell)': 'Pernas',
'Bench Press (Barbell)': 'Peitoral',
'Deadlift (Barbell)': 'Costas',
'Triceps Pushdown (Cable - Straight Bar)': 'Bracos',
'Bent Over Row (Barbell)': 'Costas',
'Leg Press': 'Pernas',
'Overhead Press (Barbell)': 'Ombros',
'Romanian Deadlift (Barbell)': 'Costas',
...}

Criação da seriee inserção no dataframe do pandas:

data['Body part'] = data['Exercise Name'].map(body_part)
data.head()

Depois da criação da nova coluna, foram criadas visualizações para identificar o as partes do corpo que mais trabalharam durante a execução dos treinos. No treino atual, a parte do corpo que mais fica em evidencia é o peitoral, que é justamente a parte que tenho buscado focar nos treinos, logo em seguida as costas e as pernas.

Conclusão

Essa é a primeira versão do relatório, pretendo fazer melhorias e atualizações nos dados e nas visualizações, quando tiver material suficiente irei fazer mais posts para registrar as alterações, também pretendo usar esse relatório para analisar meus treinos e fazer acompanhamentos de determinadas métricas.

Carregando dados com Apache HOP & Postgres

DeadPunnk — Thu, 09 May 2024 18:08:00 +0000

Pipeline

Nesse artigo, vamos realizar um passo a passo, de como construir um pippeline de carga de dados utilizando a ferramenta Apache HOP. Nossa fonte de dados será um arquivo CSV, em seguida vamos realizar algumas transformações e carregar para uma tabela no nosso banco de dados Postgres.

Dataset

O nosso dataset é o 30000 Spotify Songs que possui informações de musicas que foram extraídas através da API do Spotify e disponibilizadas para download no Kaggle

Construção do pipeline

O primeiro transform utilizado é o CSV file Input, onde é selecionado o diretório em que esta localizado o arquivo csv com os dados que iremos utilizar no pipeline. Depois de selecionado o arquivo, os dados devem aparecer no transform depois de selecionado a opção Get Fields.

Uma vez carregado o arquivo, vamos fazer uma seleção dos campos que queremos utilizar. Nosso dataset conta com 23 colunas, mas vamos separar apenas 6 colunas para processar no pipeline e carregar para a tabela no postgres.
Com o trasnform Select Values, vamos a seleção dos campos que vamos utilizar, na aba Meta-data, clicando no botão Get fields to change vamos trazer os campos para o tranform e atribuir o tipo string aos campos de texto.

Em seguida, utilizaremos o transform String operations para realizar transformações nos campos do tipo string, as tranformações de Trim type e Lower/Upper vão ser atribuídas aos campos. Ao atribuir a opção both a um dos campos, podemos repetir essa ação aos demais campos usando o botão Copy the last edited cell values to all rows.

Agora que finalizamos as transformações, podemos fazer a conexão com o banco de dados e utilizar um tranform para realizar a carga dos dados. Primeiro precisamos configurar a conexão com o banco nos meta dados do Apache Hop, que pode ser acessado no canto superior esquerdo da interface.

Do lado esquerdo da tela, vamos selecionar a opção Relational Database Connection, clicando com o botão direito do mouse e em seguida na opção new. Preencha os campos com as configurações da sua base de dados e teste a conexão, depois basta salvar, clicando no x para fechar a aba irá aparecer a opção para salvar antes de fechar.

Depois de configurado a conexão podemos incluir o transform Table output, que recebe as informações de conexão do banco e faz o mapeamento com os campos da tabela e do pipeline. Lembrando que, é necessário que sua tabela tenha sido criada no banco antes de utilizar esse tranform, e que os campos da tabela tenham tipos correspondentes aos campos do pipeline, que no nosso caso são dados do tipo string.

No nosso caso eu optei por usar os mesmos nomes do dataset original, para facilitar o reconhecimento dos campos.

Conclusão

Uma vez tendo esse processo de carga automatizado podemos pensar em novas etapas para o nosso projeto, podemos realizar novas transformações ou até alterar o banco e que queremos fazer a carga.
Existem diversas opções de tranforms para utilizar e diferentes formas de utiliza-los em conjunto, mas para esse tutorial trouxe uma forma simplificado do que podemos fazer, pretendo explorar mais opções da ferramenta em posts futuros.

Linux Essentials / Gerenciador de Pacotes

DeadPunnk — Wed, 08 May 2024 14:34:21 +0000

Linux Essentials

Estou estudando para tirar minha primeira certificação em Linux. Pretendo compartilhar aqui alguns dos tópicos que tenho estudado, com o intuito de contribuir com o estudo de outras pessoas também.

apt-get

Usado para instalação de softwares através de pacotes. Os pacotes contem arquivos usados para sustentar a aplicações que são instaladas através deles, com bibliotecas, arquivos de configuração, processos e outros tipos de arquivo para sustentação e administração do software.
O apt-get é considerado um gerenciador de pacotes de alto nível, e por isso faz o gerenciamento das dependências necessárias para instalação dos pacotes.

Outros exemplos de gerenciadores de alto nível são: YUM, DNF e ZYPPER.

Os pacotes são organizados em repositórios com diretórios específicos para cada tipo de arquivo, facilitando sua manutenção e organização.

Exemplo:
pacote
arquivo de configuração -> /etc
bibliotecas -> /lib
comandos adm -> /sbin
processos -> /proc

Para encontrarem as novas atualizações os gerenciadores de pacotes utilizam repositórios, no Debian, é possível encontrar as lista de repositórios no diretório: /etc/apt/sources.list

Comandos

Atualização dos pacotes

sudo apt-get update

Instalação dos novos pacotes

sudo apt-get upgrade

Instalação de um ou mais pacotes

sudo apt-get install nome_do_pacote

Remove os pacote mas mantem os arquivos de configuração

sudo apt-get remove nome_do_pacote

Remove e exclui os arquivos de configuração do pacote

sudo apt-get purge nome_do_pacote

Linux Essentials / Vim

DeadPunnk — Tue, 07 May 2024 20:50:35 +0000

Linux Essentials

Estou estudando para tirar minha primeira certificação em linux. Pretendo compartilhar aqui alguns dos tópicos que tenho estudado, com o intuito de contribuir com o estudo de outras pessoas também.

VIm

Vim é editor de texto, considerado uma versão melhorada do editor vi. O editor possui diversas tipos de configuração, desenvolvido para proporcionar edições de texto de forma eficiente.

Link sobre o vim

O vim possui dois modos: modo de inserção e o modo de comandos.
No modo de inserção é possível editar o conteúdo do arquivo e inserir texto, já no modo de comandos é possível executar inúmeras tarefas que também incluem edição, como: apagar parte do texto, copiar, colar dentre outras ações.

Para entrar no modo de comandos basta usar a tecla Esc.

Comando	função
dd / D	corta / deleta uma linha
p	cola o texto
yy	copia uma linha
:q!	força saída do arquivo sem salvar
:wq	salva e fecha o arquivo
?	procura um padrão de texto
$	pula para o final da fila

Para voltar ao modo de inserção basta usar a tecla i

Neste link é possível encontrar outros comandos