DEV Community: Roberto Vinicius da silva

Análise e Precificação do Café

Roberto Vinicius da silva — Mon, 12 Aug 2024 14:33:38 +0000

Este artigo tem como objetivo gerar uma análise exploratória para entender o público, utilização de técnicas de associação de variáveis para extrair insights com Information Values (IV) e utilizar a teoria frequentista para atribuir a probabilidade do café ser premium

Entendimento do negócio

O banco AgroTech Bank é especializado no Agronegócio e deseja trazer mais eficiência no processo de precificação das garantias oferecidas pelos clientes ao solicitar crédito.

Uma garantia é um bem que o cliente coloca como garantidor do empréstimo solicitado. Se o cliente não arcar com os pagamentos em dia o banco tem o direito de “executar as garantias”, ou seja, de pegar o bem fornecido como garantia e tentar vender no mercado para cobrir o saldo devedor deixado pelo cliente inadimplente.

As garantias oferecidas pelos clientes são diversas: Desde valores mobiliários (ações de empresas) até alimentos perecíveis como carnes congeladas ou peixes. Um tipo de garantia em especial muito utilizada pelos clientes da AgroTech Bank é o Café. Muitos clientes solicitam empréstimos de capital de giro com garantia de sacas de café já produzidas.

O problema disso é que o AgroTech Bank não dispõe de uma ferramenta eficiente para a devida precificação das sacas de café. Os problemas que isso têm trazido para a operação são garantias que não valem tanto quanto a área de Garantias tinha estimado no momento do empréstimo. Desta forma, quando o banco tenta vender o café no mercado, muitas vezes o valor de venda não quita o saldo devedor.

Para resolver isso, o banco pediu para a área de Analytics uma Calculadora de Garantias para Sacas de Café. Para construir esse “Data Product” (Produto de Dados), a área de Garantias forneceu uma base com 862 tipos de cafés produzidos mundialmente com 4 caraterísticas que são importantes para definir se o café é Premium (mais caro) ou do tipo Normal (mais barato).

A calculadora esperada pela área segue abaixo:

Com base nessas informações, pede-se:
1) Quais as características do café aumentam a propensão dele ser do tipo Premium?

2) Para construir a calculadora solicitada conforme exemplo acima. A ideia é que o usuário informe as 5 primeiras informações (de País de Origem até a qte de Sacas de 60kg) e a calculadora possa fornecer as duas informações (Valor Aproximado da Garantia e Valor máximo a ser liberado para empréstimo).

Base de dados

A base disponibilizada já está com os dados devidamente tratados, dessa forma não será necessário realizar o processo de ETL (Extract, Transform e Load).

A base esta dividida em dois grupos de variáveis :

Quantitativa: são aquelas que podem ser mediadas em números, como idade altura, peso, renda, etc.

Qualitativa: são aquelas que expressam características ou atributos, com cor, gênero, nacionalidade, profissão, etc.

Análise do Information Value (IV)

O Information Value (IV) é uma métrica que quantifica a capacidade de uma variável preditora em diferenciar entre duas classes, geralmente em um contexto binário (por exemplo, “Sim” e “Não”). O IV é especialmente útil em modelos de previsão. Como a maioria das variáveis são qualitativas optei por essa técnica para análise dos dados.

Realizando as análises com Information Value (IV) das variáveis identificamos que os países e tipo de variedade tem um forte índice de predição para a variável café premium

Insights

A variável país é um forte preditor da variável ‘café premium’;
Podemos segmentar o mercado com base no país, já que essa variável é altamente informativa sobre quem produz café premium;
A variável do tipo variedade também apresenta uma forte predição de café premium;
Podemos pressupor que o tipo de variedade para fabricação do café premium pode ter uma correlação com o país, ou seja, algumas variedades podem ter correlação com a fabricação desse tipo de café;

Respondendo a pergunta que foi levantada no inicio do artigo pela área de negócio, segue as respostas:

01 — Quais as características do café aumentam a propensão dele ser do tipo Premium?

Conforme classificação do Information Value, as características que podem aumentar a propensão de se ter café do tipo premium são: Países, Tipo de variedade e faixa de altitude

A calculadora está disponível no Excel que foi disponibilizado pela área de negócios no GitHub com as devidas alterações

Para ter acesso ao repositório com base de dados e análises realizadas, clique aqui!

Análises Estatísticas: Entendendo Quando e Como Utilizá-las

Roberto Vinicius da silva — Tue, 06 Aug 2024 14:52:23 +0000

No mundo da análise de dados, escolher a técnica estatística correta é fundamental para extrair insights significativos. Neste artigo, irei explorar três técnicas de análises estatísticas importantes: a correlação de Pearson, o Information Value (IV) e o Coeficiente de Determinação (R²). Utilizaremos um dataset fictício com 30 registros para ilustrar cada técnica utilizando o Excel. O Excel com o dataset e as análises realizadas estão disponíveis aqui.

1. Correlação de Pearson: Relacionando Variáveis Quantitativas

A correlação de Pearson é uma medida que avalia a força e a direção da relação linear entre duas variáveis quantitativas. O resultado varia de -1 a 1, onde:

1 indica uma correlação positiva perfeita,
menos 1 indica uma correlação negativa perfeita,
0 indica nenhuma correlação.

Quando utilizar?
Você deve usar a correlação de Pearson quando ambas as variáveis forem quantitativas e apresentarem uma relação linear. Por exemplo, no nosso dataset, podemos analisar a relação entre “Idade” e “Salário”.

Nas análises realizada no Excel, obtemos um valor de 0.93, ou seja, há uma correlação forte entre as variáveis. Além do cálculos realizados, também podemos utilizar o gráfico de dispersão para tentar identificar relação linear positiva/negativa entre as variáveis.

Para calcular a correlação entre as variáveis usamos a função do Excel: correl(matriz1; matriz2)

Através da análise podemos concluir que:

A medida que a idade aumenta, o salário também tende a aumentar;

2. Information Value (IV): Analisando Variáveis Qualitativas

O que é?
O Information Value (IV) é uma métrica que quantifica a capacidade de uma variável preditora em diferenciar entre duas classes, geralmente em um contexto binário (por exemplo, “Sim” e “Não”). O IV é especialmente útil em modelos de previsão.

Quando utilizar?
O IV é utilizado quando você tem variáveis qualitativas (categóricas) e uma variável binária. Por exemplo, podemos analisar a relação entre “Gênero” e “Comprou” (Sim/Não).

Calculamos o IV para entender como o gênero influencia a probabilidade de compra. Se o IV for alto, isso indica que o gênero é um bom preditor para a decisão de compra.

Classificamos o poder de separação entre eles de acordo com o seu valor:

Nas análises realizadas, o valor do IV é de 0.23, ou seja, ele tem um valor com poder de separação médio.

3. Coeficiente de Determinação (R²): Avaliando a Relação entre Variáveis

O que é?
O Coeficiente de Determinação (R²) é uma medida que indica a proporção da variação em uma variável dependente que pode ser explicada pela variação em uma variável independente. O valor de R² varia de 0 a 1, onde quanto mais próximo de 1 indica que a variável explica variação da variável dependente.

Quando utilizar?
Use o R² quando você tiver uma variável qualitativa e uma quantitativa e quiser entender como a qualitativa afeta a quantitativa. Por exemplo, analisamos a relação entre “Gênero” (qualitativa) e “Salário” (quantitativa).

Nas análises, “Salário” é a variável dependente e “Gênero” a independente, com R² = 11%, indicando que o gênero explica apenas 11% da diferença de salários.

Através dessa análise concluirmos que:

R² de 11% sugere que a variável gênero tem uma capacidade limitada para explicar as diferenças salariais, ou seja, 89% da variação nos salários é influenciada por outros fatores que não estão sendo considerados;

Conclusões:

Para a análise de 02 variáveis quantitativas, utilize a Correlação de Pearson e/ou gráfico de dispersão.
Para a análise de 02 variáveis qualitativas, sendo uma binária, use o Information Value (IV).
Para 01 variável qualitativa e 01quantitativa, utilize o Coeficiente de Determinação (R²) e/ou um box plot.

Correlação e Causalidade: Como elas são importantes na nossa análise

Roberto Vinicius da silva — Mon, 05 Aug 2024 14:05:24 +0000

Entender a diferença entre correlação e causalidade é fundamental na análise de dados, pois esses conceitos, embora relacionados, não são sinônimos. Confundir correlação com causalidade pode levar a interpretações incorretas e decisões inadequadas.

Correlação

A correlação refere-se a uma relação estatística entre duas variáveis (análise bidimensional), indicando que mudanças em uma estão associadas a mudanças na outra. As correlações podem ser positivas/negativas, onde ambas as variáveis aumentam ou diminuem juntas, onde uma variável aumenta enquanto a outra diminui. No entanto, a correlação não implica que uma variável cause a outra necessariamente.

Causalidade

Causalidade, implica uma relação de causa e efeito, onde uma mudança em uma variável resulta diretamente em uma mudança em outra. Para estabelecer causalidade, é necessário realizar experimentos controlados que eliminem outras variáveis que possam interferir na relação observada, quando não analisamos

Por que é importante saber a diferença entre elas?

Distinguir correlação de causalidade é crucial para evitar conclusões precipitadas. Um erro comum é assumir que, se duas variáveis estão correlacionadas, uma deve causar a outra. Essa conclusão precipitada é conhecida como “correlação espúria.”

A seguir, apresentamos alguns exemplos de correlação espúria, onde há uma correlação entre as variáveis, mas não necessariamente uma causa a outra.

Acesso a internet entre os cidadãos americanos se correlaciona com o uso de energia solar em Honduras

Precipitação em São Francisco se correlaciona com o número de operadores de impressoras em Rhode Island

Conclusões:

Se 2 variáveis estão correlacionadas , pode ou não haver causalidade;
Se houver correlação e não houver causalidade entre essas 2 variáveis, possivelmente há uma 3ª variável que não foi observada;
Busque fortes evidências para assumir a causalidade;

Guia Básico para tratar dados com Pandas em Python

Roberto Vinicius da silva — Sat, 22 Jun 2024 16:42:01 +0000

Olá, esse guia tem como objetivo apresentar algumas formas de tratamento de dados com a biblioteca pandas do Python, umas das mais utilizadas por profissionais na área de dados.
Primeiro, vamos fazer a importação das respectivas bibliotecas que utilizaremos
`
import pandas as pd
import matplotlib.pylab as plt

Agora, faremos a leitura da nossa base de dados

url= "https://cf-courses-data.s3.us.cloud-object-storage.appdomain.cloud/IBMDeveloperSkillsNetwork-DA0101EN-SkillsNetwork/labs/Data%20files/auto.csv"
Note que, ao fazermos a importação da base de dados, a mesma não tem cabeçalho, então para criar o cabeçalho faremos o processo abaixo:

Criacao do cabeçalho em uma lista com seus respectivos valores

cabecalho = ["symboling","normalized-losses","make","fuel-type","aspiration", "num-of-doors","body-style",
"drive-wheels","engine-location","wheel-base", "length","width","height","curb-weight","engine-type",
"num-of-cylinders", "engine-size","fuel-system","bore","stroke","compression-ratio","horsepower",
"peak-rpm","city-mpg","highway-mpg","price"]

Adicionando o cabeçalho ao dataset que não tem cabeçalho + leitura do dataset no formato csv

df = pd.read_csv(url, names = cabecalho)
`
Nesse exemplo, o valores pendentes vão estar como “?” (interrogação). Alguma dúvidas podem surgir: o que fazer com esses valores que não vieram ? Como tratar ? Posso deletar ? …

A resposta é: Depende.. Existe algumas técnicas que podemos utilizar:

Apagar a coluna completa que está sem as informações;
Apagar a linha completa que está sem as informações;
Substituir os dados pela média/frequência/etc; Essas são algumas, existem várias outras forma de lidarmos com esses dados pendentes #Para visualizar alguns dados,usarmos o comando abaixo df.head() Note que, como havia informado anteriormente, alguns dados pendentes estão como “?” , agora, vamos substituir esses valores por NaN (Not a number)

`
import numpy as np

O comando abaixo substituirá ? por NaN;

O parâmetro inplace = True, salva as alterações realizadas no dataframe que estamos usando (df)

df.replace('?', np.nan, inplace = True)

Ao executar o head(), você notará que o símbolo de interrogação foi substituido por NaN

df.head()
`

Tratando (substituindo) os dados pendentes

No algoritmo abaixo, iremos substituir os valores NaN da coluna normalized-losses pela média, depois que convertermos para o tipo float

`avg_norm_loss = df["normalized-losses"].astype("float").mean(axis=0)
print("Média da normalized-losses:", avg_norm_loss)

substituir os valores NaN da coluna normalized-losses pela média

df["normalized-losses"].replace(np.nan, avg_norm_loss, inplace=True)
`

E assim podemos dar prosseguimento para todas as outras colunas que tiverem informações pendentes. Algumas dúvidas podem surgir, porque foi feita a conversão da normalized-losses para float ? A respota é: Normalized-losses é do tipo objetct, que seria semelhante a “string”, dessa forma não é possível realizarmos operações matemáticas nesse tipo de objeto, por isso fizemos a conversão.

`avg_bore=df['bore'].astype('float').mean(axis=0)
print("Média da bore:", avg_bore)

Substituindo valores NaN da coluna Bore pela média

df["bore"].replace(np.nan, avg_bore, inplace=True)

Substituindo valores NaN da coluna stroke pela média

stroke_mean = df['stroke'].astype('float').mean(axis=0)
df['stroke'].replace(np.nan, stroke_mean, inplace=True)
avg_horsepower = df['horsepower'].astype('float').mean(axis=0)

Substituindo os valores NaN da coluna 'horsepower' pela média

df['horsepower'].replace(np.nan, avg_horsepower, inplace=True)
`
No exemplo abaixo, vamos deletar todos os registros (linhas) que não tem dados da coluna price:

df.dropna(subset=["price"], axis=0, inplace=True)

Algumas informações que podem ser importantes:

axis = 0 >> O zero refere-se as linha .. 1 refere-se as colunas
inplace >> Salva as alterações realizadas no dataframe

Conversão de dados

Como já foi apresentado anteriormente, outra parte fundamental do tratamento dos dados são os tipos de dados na biblioteca pandas: object, float, int,datetime, etc. Afinal, não conseguimos calcular a média de uma variável do tipo string, certo ? Então, precisamos converter o seu data type para que isso seja possível.

Para analisarmos os tipos de dados em pandas, podemos usar a função dtype

`#Verificando o datype em python

Ela retornara o datatype de todas as variáveis (colunas) do nosso data frame

df.dtypes

Abaixo, realizamos a conversão dos data types para float, int e atribuimos a conversão a propria

variável para "salvar" as alterações. Passamos no parâmetro astype("valordavariável")

df[["bore", "stroke"]] = df[["bore", "stroke"]].astype("float")
df[["normalized-losses"]] = df[["normalized-losses"]].astype("int")
df[["price"]] = df[["price"]].astype("float")
df[["peak-rpm"]] = df[["peak-rpm"]].astype("float")`

Antes de fazer a conversão, sempre procure análisar o data type atual da variável com (dtypes) e analisar novamente após a conversão, para garantir que a alteração foi realizada com sucesso.

Esse foi um guia básico e prático de como trabalhar com tratamento de dados utilizando a biblioteca Python, as informações disponibilizadas aqui foram colhidas do curso de Análise de dados com Python — IBM da Cousera, recomendo a todos que estão estudando e procurando ampliar o seu conhecimento nessa área darem uma olhada ou até mesmo realizarem o curso, que apesar de básico é muito bom ! Obrigado a todos por lerem até aqui !

for column in missing_data.columns.values.tolist():
print(column)
print (missing_data[column].value_counts())
print("")

Diferença entre Listas, Tuplas e Dicionários no Python

Roberto Vinicius da silva — Sat, 22 Jun 2024 16:15:12 +0000

Como muitos já devem saber, o Python é uma das linguagens que vem crescendo exponencialmente na análise de dados, assim como tem vários conceitos básicos que precisamos dominar par um melhor aproveitamento. Sendo assim, vou explicar o conceito de alguns itens que eu considero fundamentais e mostrar na prática nesse artigo.
Os exemplos apresentados foram executados no Jupyter Notebook, então, não estranhe a ausência do Print()

Listas

Uma lista é uma estrutura de dados de forma sequencial na qual cada item é acessado a partir de um índice (a partir do zero), que representa sua posição inicial.. A lista é mutável, ou seja, pode ter seus valores alterados.

#Criando uma lista
listadomercado = [“ovos, farinha, leite, maças”]

# Imprimindo a lista
print(listadomercado)

# Imprimindo um item da lista
listadomercado[2]

#Adicionando mais informações a uma lista

listadomercado.append(‘Trigo’)

# Atualizando um item da lista
listadomercado[2] = “chocolate”

# Imprimindo lista alterada
print(listadomercado)

# Deletando um item específico da lista
del listadomercado[3]

# Imprimindo o item com a lista alterada
listadomercado

Listas de listas (Listas aninhadas)

Listas de listas são matrizes em Python, em outras palavras possuem linhas e colunas

`# Criando uma lista de listas
listas = [[1,2,3], [10,15,14], [10.1,8.7,2.3]]

Imprimindo a lista

print(listas)
`

# declaração de 2 listas
lista_s1 = [34, 32, 56]
lista_s2 = [21, 90, 51]

# Concatenando listas
lista_total = lista_s1 + lista_s2

print(lista_total)

Dicionários

Dicionários são utilizados para representar chaves e valores {Key : Value}. Diferente das listas que são ordenadas pelo índice (que começa do 0), nos dicionários nós podemos definir as chaves e os valores, sendo assim, os dicionários são muito utilizados para projetos complexos.


# Isso é um dicionário
estudantes_dict = {“Mateus”:24, “Fernanda”:22, “Tamires”:26, “Cristiano”:25}

#Imprimindo dicionário
print(estudantes_dict)

#Podemos acessar o valor de um chave, da seguinte maneira
print(estudantes_dict[“Fernanda”])

#Limpando um dicionário
estudantes_dict.clear()
#Aqui é importante ressaltar, que ao limparmos o dicionário ele continua #existindo. No entanto, agora temos um dicionário estudantes_dict vazio !

#Adicionando mais itens ao dicionário
estudantes_dict[“Pedro”] = 23

#Deletando um dicionário, ao deletarmos ele deixa de existir
del estudantes_dict

#Exibindo toda as chaves de um dicionário
estudantes_dict.keys()

#Exibindo todas os valores de um dicionário
estudantes_dict.values()

#exibindo os itens de um dicionário (keys + values)
estudantes_dict.items()

#Exibindo o comprimento de um dicionário
print( len(estudantes_dict) )

#As chaves e valores podem ser iguais, mas apresentam informações diferentes. Ainda assim, não é recomendado criar dicionários com chaves e valores iguais, porque pode causar confusão para o entendimento de outros analistas, dificultar a manutenção etc.
dic1 = {“a”:”a"}

Tuplas

São sequências de informações (strings, inteiros, listas, etc.) não mutáveis. Ou seja, depois que definidas não podem ter seus valores alterados. É indicado a sua utilização, somente para situações em que o valor nunca será alterado. (Ex: Fechamento da cotação de uma moeda, data de nascimento, etc.)

# Criando uma tupla
tupla1 = (“Geografia”, 23, “Elefantes”)

# Imprimindo a tupla
tupla1

# Tuplas não suportam append()
tupla1.append(“Chocolate”)

# Tuplas não suportam delete de um item específico
del tupla1[“Gatos”]

# Tuplas podem ter um único item
tupla1 = (“Chocolate”)

# Verificando o comprimento da tupla
len(tupla1)

# Tuplas não suportam atribuição de item
tupla1[1] = 21

# Deletando a tupla
del tupla1

# Tuplas não suportam atribuição de item
tupla1[3] = 21

Se precisarmos fazer alteração de uma informação na tupla, o que fazemos ?
Podemos converter para uma lista, fazemos as alterações necessárias, por fim, convertemos novamente para tupla.

# Convertemos tupla1 para lista
a= list(tupla1)

a.append(“test3”)

# Depois, convertemos a lista para tupla fazendo atribuição

tupla1 = tuple(a)

Dashboard Estratégico X Dashboard Operacional

Roberto Vinicius da silva — Sat, 22 Jun 2024 16:08:48 +0000

Nesse pequeno artigo vou tentar trazer de forma bem resumida as principais características de um Dashboard Estratégico e um Dashboard Operacional.

Dashboards operacionais

Tem como finalidade dar uma visão em tempo real (real time) do desempenho de determinada operação, apresenta métricas bem definidas que garantem a tomada de decisão mais adequada para o momento. Sendo assim, é normal termos um número grande de informações, como por exemplo:

Painéis com informações real-time sobre ligações recebidas/realizadas;
Monitoramento de ligações atendidas/perdidas de um call center;
Chamados acumulados para determinada área;
Google Analystics com informações de trafego de um site;

Dashboard Estratégicos

Tem como principal característica apresentar informações de uma forma simples e rápida, para que os tomadores de decisão possam acompanhar o seu negócio;

Para Few (2006, p. 41), “O uso primários de Dashboards nos dias de hoje é para propósitos estratégicos (…), [pois eles] oferecem uma rápida visão que os tomadores de decisão precisam para monitorar a saúde e as oportunidades de um negócio (…)”.