DEV Community: Lis Barreto

Jovyans Just Wanna Have Fun: Trabalhando com Jupyter Notebooks, Optuna e MLFlow em Ambiente Conteinerizado

Lis Barreto — Mon, 09 Jun 2025 12:31:06 +0000

No melhor dos mundos, sempre estamos gerenciando nossos projetos pessoais em ambientes virtuais (salve o bom e velho venv rs), com gerenciadores como Poetry e UV. No entanto, de vez em quando, precisamos ir além.

O Desafio

Quando queremos expor diferentes serviços em algumas portas, pode ficar difícil gerenciar tantas abas no terminal Linux. Como resolver essa situação? A resposta é simples e direta: com Docker!

Imagens Docker para Jupyter

Hoje é dia é possível encontrar imagens Docker oficiais para o Jupyter, que podem ser encontradas através desse link

Neste tutorial, usaremos a versão da imagem para SciPy, adicionando alguns ingredientes extras como Optuna e MLFlow.

Estrutura do Diretório

Antes de começarmos, vamos criar a estrutura de diretório necessária. Abaixo está como ficará a árvore de diretórios:

projeto/
├── notebooks/
├── requirements.txt
├── start.sh
└── Dockerfile

Configurações Extra do Contêiner

Para temperar o contêiner ao seu gosto, você precisará dos seguintes arquivos:

1. `requirements.txt`

Este arquivo contém as bibliotecas que você deseja instalar:

xgboost
lightgbm
catboost
optuna
mlflow

2. `start.sh`

Um script para iniciar os serviços necessários:

#!/bin/bash

mlflow ui --host 0.0.0.0 --port 5000 &

jupyter lab --ip=0.0.0.0 --port=8888 --no-browser --allow-root

3. `Dockerfile`

O arquivo Dockerfile que define como construir a imagem:

FROM jupyter/scipy-notebook:latest

COPY start.sh /home/jovyan/start.sh
COPY requirements.txt .
COPY ./notebooks /home/jovyan/work/notebooks

USER root
RUN chmod +x /home/jovyan/start.sh
USER jovyan

RUN pip install --no-cache-dir --upgrade pip && \
    pip install --no-cache-dir -r requirements.txt

WORKDIR /home/jovyan/work

EXPOSE 8888
EXPOSE 5000

CMD ["/home/jovyan/start.sh"]

Passo a Passo para Configuração

Agora que você tem todos os arquivos, siga os passos abaixo para configurar seu ambiente:

Crie a pasta local notebooks/. Aqui você pode desenvolver seus notebooks no VS Code e já subí-los pro Jupyter ou criar no Jupyter mesmo e salvar.
Construa a imagem Docker:

   docker build -t ml-jupyter .

Rode o container montando a pasta:

   docker run -p 8888:8888 -p 5000:5000 -v "$(pwd)/notebooks":/home/jovyan/work ml-jupyter

Acesse o Jupyter pelo navegador (link no terminal).

Lembre-se que tudo que for salvo no Jupyter estará disponível na sua pasta local, inclusive arquivos com os artefatos do modelo gerados pelo MLFlow.

Agora sim, podemos dar vida aos projetinhos pessoais sem perder nenhum detalhe!

Referências

Imagens Docker Disponíveis no Jupyter

MLflow with Optuna: Hyperparameter Optimization and Tracking

Boas Práticas em Criptografia de Dados 🔐

Lis Barreto — Fri, 02 Jun 2023 15:13:46 +0000

No artigo anterior, exploramos a importância crucial da criptografia de dados na segurança da informação. Reconhecendo a sua importância e compreendendo os desafios e avanços nessa área em constante evolução, podemos garantir a efetiva proteção dos dados sensíveis.

Neste artigo, daremos continuidade ao nosso mergulho no mundo da proteção de dados, explorando as boas práticas que podem ser aplicadas no dia a dia. Discutiremos orientações e recomendações para a implementação de uma criptografia segura em projetos, incluindo a escolha de algoritmos adequados, o gerenciamento de chaves, o armazenamento seguro de dados criptografados e a proteção contra ataques comuns.

Vem comigo!

Decifrando o Enigma: Qual é o Algoritmo Criptográfico Mais Adequado para o Meu Projeto?

Ao selecionar algoritmos criptográficos, é essencial levar em consideração diversos critérios para garantir a segurança, eficiência e compatibilidade das técnicas de criptografia utilizadas. Esses critérios desempenham um papel fundamental na escolha dos algoritmos apropriados para proteger os dados de forma robusta e confiável.

Segurança

Segurança é o critério primordial a ser considerado. Os algoritmos criptográficos devem ser resistentes a ataques conhecidos e possuir propriedades matemáticas sólidas que dificultem a quebra das chaves ou a recuperação dos dados originais sem autorização. Algoritmos amplamente testados e aprovados por especialistas em segurança são preferíveis, como AES (Advanced Encryption Standard), RSA (Rivest-Shamir-Adleman) e ECC (Elliptic Curve Cryptography).

Eficiência

A eficiência é outro fator importante a ser avaliado. Os algoritmos criptográficos devem ser capazes de lidar com grandes volumes de dados de forma rápida e eficiente, sem comprometer a segurança. Isso é especialmente relevante em cenários onde a criptografia é aplicada em tempo real ou em sistemas com recursos limitados. Algoritmos como AES são conhecidos por sua eficiência e desempenho otimizado.

Compatibilidade

A compatibilidade também desempenha um papel crucial na seleção de algoritmos criptográficos. É importante considerar a interoperabilidade com outros sistemas e protocolos, garantindo que os dados criptografados possam ser compartilhados e processados por diferentes plataformas e aplicativos. Algoritmos padronizados e amplamente adotados, como os recomendados pelo NIST (National Institute of Standards and Technology), tendem a ser mais compatíveis e interoperáveis.

Outros Fatores a Serem Considerados

Além desses critérios principais, outros fatores podem ser levados em consideração, dependendo do contexto específico. Isso inclui:

Facilidade de implementação e manutenção;
Disponibilidade de bibliotecas e ferramentas de suporte;
Escalabilidade;
Capacidade de resistir a ataques futuros e aprimorados.

Ao considerar cuidadosamente esses critérios, é possível selecionar algoritmos criptográficos que atendam aos requisitos de segurança, eficiência e compatibilidade, garantindo a proteção confiável dos dados.

Gerenciamento adequado de chaves

O gerenciamento adequado de chaves criptográficas é fundamental para garantir a segurança dos dados. Isso envolve a geração de chaves de alta qualidade e aleatórias, utilizando algoritmos confiáveis. Além disso, é crucial proteger o armazenamento das chaves, seja por meio de hardware criptográfico ou soluções de software seguras.

A distribuição segura das chaves é necessária para garantir a confidencialidade e autenticidade da transmissão. A rotação periódica das chaves fortalece a segurança, enquanto a revogação rápida em caso de comprometimento é essencial.

Em resumo, um gerenciamento adequado de chaves criptográficas segue as melhores práticas de geração, armazenamento, distribuição, rotação e revogação, fortalecendo a proteção dos dados e reduzindo riscos de comprometimento.

Existem várias serviços gerenciados de criação e controle de chaves criptográficas. Aqui estão alguns exemplos:

AWS Key Management Service (KMS): Oferece um serviço gerenciado para criação e controle de chaves criptográficas na nuvem da Amazon Web Services (AWS). O KMS permite gerar, armazenar e gerenciar chaves criptográficas para uso em serviços e aplicativos da AWS.
Google Cloud Key Management Service (KMS): É um serviço de gerenciamento de chaves oferecido pela plataforma Google Cloud. Permite criar e gerenciar chaves criptográficas para proteger dados em aplicativos e serviços hospedados na infraestrutura do Google Cloud.
Azure Key Vault: É um serviço de gerenciamento de chaves da Microsoft Azure. Permite armazenar e gerenciar chaves criptográficas, certificados e segredos usados em aplicativos e serviços em nuvem. O Azure Key Vault também oferece recursos avançados, como rotação automática de chaves e monitoramento de acesso.
Hashicorp Vault: É uma ferramenta open-source para gerenciamento seguro de segredos, como chaves criptográficas, senhas e tokens de acesso. O Vault oferece recursos avançados, como controle de acesso granular e auditoria, e pode ser implantado em nuvens públicas, privadas ou híbridas.

Essas são apenas algumas opções populares disponíveis no mercado, e cada provedor de nuvem geralmente oferece seu próprio serviço de gerenciamento de chaves. É importante avaliar os recursos e as funcionalidades oferecidas por cada solução para escolher aquela que melhor atenda às necessidades de segurança da sua aplicação.

Proteção dos dados em diferentes estados

Proteção de dados em trânsito

A segurança dos dados durante a transmissão é crucial para proteger as informações contra interceptação e acesso não autorizado. Protocolos como SSL/TLS, a criptografia de dados em redes e o uso de VPNs são técnicas eficazes para fortalecer a segurança durante o trânsito dos dados.

Além disso, é importante adotar boas práticas, como o uso de algoritmos criptográficos robustos e certificados digitais confiáveis, para garantir a autenticidade e integridade dos dados. Com essas medidas, é possível estabelecer uma comunicação segura e proteger as informações contra possíveis ameaças.

Proteção de dados em repouso

A proteção de dados armazenados é fundamental para garantir a segurança das informações, especialmente em caso de comprometimento do armazenamento. A criptografia de discos, a criptografia de banco de dados e a criptografia de arquivos são práticas eficazes para fortalecer a proteção dos dados em repouso. Essas medidas envolvem a aplicação de algoritmos criptográficos robustos e o gerenciamento adequado das chaves de criptografia.

Além da criptografia, é importante implementar medidas de autenticação e controle de acesso para limitar o acesso aos dados apenas a usuários autorizados. Com a aplicação dessas boas práticas, é possível assegurar a confidencialidade e integridade dos dados armazenados, protegendo informações valiosas e sensíveis.

Autenticação e controle de acesso

A autenticação de usuários e o controle de acesso desempenham um papel essencial na segurança e integridade das informações criptografadas. A utilização de senhas fortes e a implementação da autenticação multifator são práticas fundamentais para garantir que apenas pessoas autorizadas possam acessar os dados protegidos.

Além disso, políticas claras de acesso e o uso de sistemas de gerenciamento de identidade e acesso (IAM) são importantes para estabelecer níveis apropriados de acesso e facilitar a administração das chaves criptográficas. Ao adotar essas medidas, é possível reduzir os riscos de acesso não autorizado e preservar a confidencialidade das informações sensíveis.

Conclusão

Ao longo deste artigo, aprendemos um pouco sobre boas práticas em criptografia, ressaltando a importância de garantir a segurança da informação em um mundo cada vez mais digital e ameaçador. Vimos também a importância do gerenciamento adequado de chaves e algumas ferramentas que podem nos auxiliar durante esse processo, a proteção dos dados durante a transmissão e o armazenamento, a autenticação de usuários e o controle de acesso. Essas práticas são fundamentais para fortalecer a proteção dos dados e mitigar os riscos de acesso não autorizado.

No próximo artigo, daremos início à nossa jornada mão na massa no primeiro tutorial de implementação dos algoritmos criptográficos. Vamos explorar passo a passo a implementação de algoritmos fundamentais para a criptografia, permitindo que você aprofunde seus conhecimentos e coloque em prática os conceitos aprendidos.

Qual será o primeiro algoritmo a ser implementado? Será o AES, um dos algoritmos de criptografia simétrica mais amplamente adotados? Ou será o RSA, um dos algoritmos de criptografia assimétrica mais populares? Fique atente e descubra em breve qual será o primeiro algoritmo escolhido!

Ao Infinito e Além!

Criptografia de Dados em uma Casca De Noz 🔐

Lis Barreto — Thu, 25 May 2023 15:08:40 +0000

Boas-vindas ao fascinante universo da criptografia de dados!

A criptografia é essencial na segurança da informação, protegendo comunicações, dados confidenciais, transações financeiras e autenticação de usuários. É fundamental para garantir a confidencialidade, integridade e autenticidade dos dados num mundo tão conectado e dependente da tecnologia.

Nesta série de artigos, vamos explorar de forma prática as técnicas e algoritmos amplamente utilizados na criptografia de dados, pois com a chegada da LGPD, proteger informações sensíveis tornou-se uma prioridade incontestável.

Hoje mergulharemos no mundo da criptografia, explorando sua importância na segurança da informação e desvendando os segredos por trás das técnicas essenciais na proteção de dados.

Vamos lá?

Afinal, o que é Criptografia?

Imagine que você tem uma mensagem super secreta que não quer que ninguém entenda, exceto a pessoa para quem você está enviando. Você poderia simplesmente escrever a mensagem em um papel e entregá-lo a essa pessoa, mas e se alguém interceptar o papel pelo caminho? É aí que entra a criptografia!

Podemos pensar na criptografia como um disfarce para suas palavras, ou seja, palavras cifradas. Nesse processo podemos transformar sua mensagem original em algo que só pode ser entendido por alguém se essa pessoa possuir a "chave" certa. É como usar uma língua secreta ou um código que só você e seu destinatário conhecem.

Em outras palavras, podemos definir criptografia de dados como sendo:

O processo de transformar informações em um formato ilegível, conhecido como texto cifrado, para que apenas pessoas autorizadas possam acessá-lo por meio da aplicação de uma chave.

Um Breve Histórico da Criptografia

A história da criptografia de dados remonta a milhares de anos. Desde as civilizações antigas, como os egípcios e romanos, métodos rudimentares de criptografia eram usados para proteger mensagens importantes durante a comunicação. Um exemplo famoso é o cifra de César, em que cada letra da mensagem original é substituída por uma letra a certa quantidade de posições à frente no alfabeto.

Ao longo dos séculos, a criptografia evoluiu com avanços significativos. Durante a Segunda Guerra Mundial, máquinas de criptografia como a Enigma, desenvolvida por Alan Turing, foram criadas e usadas por militares para codificar e decodificar mensagens secretas.

Se você tiver mais interesse sobre essa história, assista o filme The Imitation Game, onde o Alan Turing é interpretado por Benedict Cumberbatch.

Nos anos 1970, o algoritmo de criptografia simétrica DES (Data Encryption Standard) foi adotado como um padrão de criptografia pelo governo dos EUA. No entanto, com o avanço da tecnologia e a necessidade de algoritmos mais robustos, surgiu o AES (Advanced Encryption Standard), amplamente utilizado atualmente.

Além da criptografia simétrica, a criptografia assimétrica também se tornou essencial. O algoritmo RSA (Rivest-Shamir-Adleman), desenvolvido na década de 1970, revolucionou a criptografia assimétrica ao permitir a troca de chaves públicas de forma segura.

Com o aumento das preocupações com a privacidade e a segurança de dados, a criptografia continua a se desenvolver. Algoritmos modernos, como a criptografia de curva elíptica (ECC) e a criptografia homomórfica, abrem caminho para novas aplicações e desafios emocionantes na proteção dos dados na era digital.

Principais desafios

Os desafios na criptografia de dados estão relacionados às necessidades de:

Estar um passo à frente dos ataques;
Manter algoritmos atualizados;
Encontrar o equilíbrio entre segurança e eficiência.

Ao superar esses desafios, podemos garantir a proteção efetiva das informações em um mundo digital cada vez mais complexo e interconectado.

Aplicações da criptografia

Alguns exemplos de casos de uso com aplicativos reais e os algoritmos de criptografia associados podem ser encontrados em aplicações de:

Uso de criptografia em transações financeiras, como caixas eletrônicos e compras online
Criptografia em dispositivos, como notebooks
Uso de SSL em sites para proteger dados durante a transmissão
Criptografia em mensagens de aplicativos, como WhatsApp
Possibilidade de ter pastas criptografadas no telefone
Criptografia em e-mails com protocolos como o OpenPGP
Uso de criptografia em VPNs e armazenamento em nuvem
Criptografia para garantir integridade e autenticidade de informações, incluindo assinaturas digitais
Uso de criptografia para apagar dados de forma segura, evitando recuperação de informações originais.

Esses são apenas alguns exemplos de casos de uso reais da criptografia e os algoritmos associados a eles. É importante destacar que a escolha dos algoritmos pode variar dependendo da implementação e das especificidades de cada caso de uso.

Classificação

Criptografia simétrica

A criptografia simétrica utiliza a mesma chave para criptografar e descriptografar dados, oferecendo rapidez e eficiência. Porém, é fundamental garantir a segurança da chave compartilhada para evitar acesso não autorizado aos dados. É preciso estabelecer um canal seguro para compartilhar a chave simétrica.

Criptografia assimétrica

A criptografia assimétrica, também chamada de criptografia de chave pública, utiliza pares de chaves: uma pública e uma privada. A chave pública é compartilhada, permitindo que qualquer pessoa criptografe os dados, mas apenas o detentor da chave privada correspondente pode descriptografá-los. Essa abordagem garante a segurança da comunicação, eliminando a necessidade de compartilhar uma chave secreta. A criptografia assimétrica é amplamente usada em diversas aplicações de segurança de dados.

Algoritmos criptográficos

Existem diversos algoritmos criptográficos disponíveis, cada um com características e usos específicos. Alguns exemplos populares incluem o AES (Advanced Encryption Standard), o RSA (Rivest-Shamir-Adleman) e o ECC (Elliptic Curve Cryptography). Esses algoritmos são amplamente adotados na segurança da informação, proporcionando níveis avançados de criptografia em diferentes cenários.

Deixando a formalidade de lado... E se os algoritmos criptográficos fossem Divas Pop? Quem eles seriam na fila do pão?

Saindo um pouco das formalidades de conceitos e definições, resolvi apostar no meu modo BuzzFeed pra escolher uma Diva Pop pra representar cada algoritmo criptográfico. Elas irão nos acompanhar com seus gifs icônicos nos próximos artigos onde veremos a implementação de cada um deles na prática.

Algoritmos Simétricos:

DES (Data Encryption Standard)

Se o DES fosse uma diva pop, seria a Whitney Houston. Assim como Whitney Houston foi uma das maiores vozes da música pop, o DES foi um dos primeiros algoritmos de criptografia amplamente adotados. Ambos têm um legado significativo e foram líderes em suas épocas.

O AES (Advanced Encryption Standard)

Se o AES fosse uma diva pop, ele seria a Beyoncé. Assim como Queen B, o AES é poderoso, confiável e uma referência no mundo da criptografia. Ambos têm uma presença impactante e são verdadeiros líderes, com uma reputação impecável. Assim como Beyoncé protege seu reinado na música, o AES protege informações valiosas com eficiência e resistência contra ataques.

Algoritmos Assimétricos:

RSA (Rivest-Shamir-Adleman)

Se o RSA fosse uma diva pop, seria a Rihanna. Assim como a Riri é icônica na música, o RSA é um dos algoritmos mais populares da criptografia. Ambos são conhecidos por sua originalidade e estilo único. O RSA é inteligente e meticuloso, assim como alguém que faz cálculos complexos de números primos. Ele leva a segurança a sério, assim como a Rihanna leva a sua carreira.

ECC (Elliptic Curve Cryptography)

Se o ECC fosse uma diva pop, seria a Shakira. Assim como a Shakira com seus quadris, o ECC usa curvas elípticas para criar uma dança matemática que protege nossos dados. Essas curvas são como os movimentos elegantes e sofisticados da diva.

Funções de Hash

As funções de hash são algoritmos que recebem um conjunto de dados de entrada e geram um valor de saída, chamado de "hash" ou "resumo". Esses valores são únicos e representam o conjunto de dados original.

A principal diferença entre as funções de hash e os algoritmos criptográficos é que as funções de hash são unidirecionais, ou seja, é fácil calcular o hash de um dado, mas é extremamente difícil ou praticamente impossível obter os dados originais a partir do hash. Além disso, é muito improvável que dois conjuntos de dados diferentes produzam o mesmo hash. Já os algoritmos criptográficos envolvem operações de criptografia e descriptografia, usando chaves para proteger e acessar os dados.

Conclusão

Neste artigo, exploramos a importância fundamental da criptografia de dados na segurança da informação. Destacamos também que além de desempenhar um papel vital na segurança da informação, é uma área em constante evolução. Ao compreender sua importância, estar atualizado com os avanços e enfrentar os desafios, podemos garantir a proteção efetiva das informações em um mundo digital cada vez mais complexo e ameaçador.

No próximo artigo, veremos como as boas práticas de proteção de dados podem ser aplicadas no dia a dia. Veremos orientações e recomendações para implementar uma criptografia segura em projetos, incluindo o uso de algoritmos adequados, gerenciamento de chaves, armazenamento seguro de dados criptografados e proteção contra ataques comuns.

Então até o próximo capítulo dessa saga!

Ao Infinito e Além!

Construindo uma Carreira como Data Engineer

Lis Barreto — Wed, 09 Mar 2022 15:01:48 +0000

Hoje trago mais um dos artigos do livro 97 Things Every Data Engineer Should Know publicado pela O'Reilly, a editora queridinha da área de Dados. O livro foi organizado por Tobias Macey, host do popular Data Engineering Podcast.

Em uma das publicações deste livro, o autor Vijay Kiran nos traz diversas dicas de como construir uma carreira de sucesso em Engenharia de Dados.

Um fato inegável é que a Engenharia de Dados abrange muitas disciplinas sobrepostas, portanto é difícil traçar um único caminho para se tornar um engenheiro de dados. Uma das primeiras dicas que Kiran traz aqui é

Tenha experiência básica em escrever pequenos scripts e desenvolva projetos de limpeza de dados, dessa maneira você deve estar pronto para dar seus primeiros passos no mundo de Engenharia de Dados.

Além disso, o autor cita em seu artigo 3 habilidades essenciais para que um aspirante a Data Engineer tenha sucesso em sua carreira. São elas:

1. Ter conhecimento sólido em ciclo de vida do Software

Lembre-se sempre de que ter conhecimento do ciclo de vida do desenvolvimento de software é inestimável no mundo da Engenharia de Dados!

2. Ter conhecimento em linguagem de programação estática e dinâmica

O uso correto do SQL aliado a uma boa compreensão de pelo menos uma outra linguagem de programação estática e uma dinâmica (um exemplo disso são linguagens como Python e Rust) te dará a importante visão de como um software de qualidade é construído e em como ele pode ser aplicado ao mundo dos dados.

3. Decidir antecipadamente em qual área deseja se concentrar e desenvolver suas habilidades para complementar essa função

A terceira habilidade fundamental depende da subfunção da Engenharia de Dados você deseja se especializar. Para aqueles que desejam se especializar em processamento de dados, desenvolver sua compreensão das tecnologias de armazenamento de dados, bem como continuar a aprimorar suas habilidades com SQL, é fundamental. Para quem quer descer uma rota de Engenharia de Software mais tradicional, aprimorando suas habilidades analíticas será crucial, pois seu foco principal será em projetos de Big Data.

Conselho Final: Entrar de cabeça no universo Open-Source!

O conselho final se aplica a todos os níveis, desde aspirantes a engenheiros de dados até engenheiros de software estabelecidos que desejam dar o próximo passo: entrar em código aberto! Se você está aprendendo a construir e se divertindo com Engenharia de Dados de código aberto, você está adicionando ao seu repertório essas habilidades.

E aí? O que você achou dos conselhos do Vijay Kiran? Você concorda com todos eles? Acrescentaria outras dicas pra quem tá começando na área?

Comenta aí embaixo o que você achou e não esqueça de curtir, salvar e compartilhar esse post. (:

Analisando Posts do Hacker News

Lis Barreto — Fri, 04 Mar 2022 19:50:12 +0000

Todo o conteúdo deste projeto pode ser encontrado no meu repositório do GitHub. Para mais detalhes, acesse o link.

Introdução

O Hacker News é um site iniciado pela incubadora de startups Y Combinator, onde as histórias enviadas por usuários (conhecidas como "posts") são votadas e comentadas, semelhante ao reddit. O Hacker News é extremamente popular nos círculos de tecnologia e startups, e as postagens que chegam ao topo das listagens do Hacker News podem receber centenas de milhares de visitantes como resultado.

Objetivo

Estamos especificamente interessados em postagens cujos títulos começam com Ask HN ou Show HN. Os usuários enviam postagens Ask HN para fazer uma pergunta específica à comunidade Hacker News. Abaixo segue um exemplo:

Ask HN: Como melhorar meu site pessoal?

Da mesma forma, os usuários enviam postagens do Show HN para mostrar à comunidade do Hacker News um projeto, produto ou apenas algo interessante. Abaixo segue um exemplo:

Show HN: Plataforma de desenvolvimento de hardware baseada em Wio Link ESP8266 Web of Things'

Compararemos esses dois tipos de postagens para determinar o seguinte:

Em média, quais postagens recebem mais comentários? Os posts cujos títulos começam com Ask HN ou Show HN?
Em média, qual horário recebe uma quantidade maior de comentários?

Abrindo e explorando os dados

Você pode encontrar o conjunto de dados aqui, mas observe que ele foi reduzido de quase 300.000 linhas para aproximadamente 20.000 linhas removendo todos os envios que não recebeu nenhum comentário e, em seguida, amostragem aleatória das submissões restantes.

Abaixo estão as descrições das colunas:

id: O identificador exclusivo do Hacker News para a postagem
título: O título do post
url: o URL para o qual as postagens são vinculadas, se a postagem tiver uma URL
num_points: o número de pontos que o post adquiriu, calculado como o número total de votos positivos menos o número total de votos negativos
num_comments: O número de comentários que foram feitos no post
autor: o nome de usuário da pessoa que enviou a postagem
created_at: A data e hora em que a postagem foi enviada

Vamos começar importando as bibliotecas que precisamos e lendo o conjunto de dados em uma lista de listas e explorando as primeiras 5 linhas.

from csv import reader

opened_file = open ('hacker_news.csv',encoding = 'utf8')
read_file = reader (opened_file)
hn = list (read_file)

for row in hn[:5]:
    print (row)
    print('\n')

Observe que a primeira lista nas listas internas contém os cabeçalhos das colunas e as listas posteriores contêm os dados de uma linha. Para analisar nossos dados, precisamos primeiro remover a linha que contém os cabeçalhos das colunas. Vamos remover essa primeira linha.

headers = hn[0]  #Não execute esta célula mais de uma vez
hn = hn[1:]

print (headers)
print('\n')
for row in hn[:5]:
    print (row)
    print('\n')

Agora que removemos os cabeçalhos de hn, estamos prontos para filtrar nossos dados. Como estamos preocupados apenas com títulos de postagem que começam com Ask HN ou Show HN, criaremos novas listas de listas contendo apenas os dados desses títulos.

Classificando os dados

Para encontrar as postagens que começam com Ask HN ou Show HN (e variações de maiúsculas e minúsculas), usaremos o método string startswith e verificaremos os dados imprimindo cinco linhas de cada lista.

ask_posts = []
show_posts = []
other_posts = []

for row in hn:
    title = row[1]
    title_lower = title.lower()

    if title_lower.startswith('ask hn'):
        ask_posts.append(row)

    elif title_lower.startswith('show hn'):
        show_posts.append(row)

    else:
        other_posts.append(row)

for row in ask_posts[:5]:
    print (row)
    print('\n')
print('\n')
for row in show_posts[:5]:
    print (row)
    print('\n')
print('\n')
for row in other_posts[:5]:
    print (row)
    print('\n')
print('Número de posts Ask HN:',len(ask_posts))
print('Número de posts Show HN:',len(show_posts))
print('Número de outros posts:',len(other_posts))

Em seguida, vamos determinar se as postagens de perguntas ou de exibição recebem mais comentários em média.

total_ask_comments = 0

for row in ask_posts:
    total_ask_comments +=  int(row[4])

avg_ask_comments = total_ask_comments / len (ask_posts)

total_show_comments = 0

for row in show_posts:
    total_show_comments +=  int(row[4])

avg_show_comments = total_show_comments / len (show_posts)

print('Número médio de comentários Ask HN:',avg_ask_comments)
print('Número médio de comentários Show HN:',avg_show_comments)

Reformatando e analisando os dados

Fica claro que, em média, os posts de pergunta recebem mais comentários do que os posts de exibição. Como as postagens de perguntas são mais propensas a receber comentários, focaremos nossa análise restante apenas nessas postagens.

Em seguida, determinaremos se as postagens de perguntas criadas em um determinado momento são mais propensas a atrair comentários. Usaremos as seguintes etapas para realizar essa análise:

Calcular a quantidade de posts Ask HN criados em cada hora do dia, juntamente com o número de comentários recebidos.
Calcular o número médio de comentários que as postagens de solicitação recebem por hora de criação.

Usaremos o módulo datetime para trabalhar com os dados na coluna created_at para calcular a quantidade de postagens e comentários de perguntas por hora criados.

import datetime as dt

result_list = []

for row in ask_posts:
    result_list.append ( [ row[6] , int(row[4]) ] )

counts_by_hour = {}
comments_by_hour = {}

for row in result_list:
    time_created = dt.datetime.strptime(row[0],'%m/%d/%Y %H:%M')
    hour = time_created.hour

    if hour not in counts_by_hour:
        counts_by_hour[hour] = 1
        comments_by_hour[hour] = row[1]
    else:
        counts_by_hour[hour] += 1
        comments_by_hour[hour] += row[1]

print('O número de postagens de perguntas criadas durante cada hora do dia:')
print(counts_by_hour)
print('\n')
print('O número correspondente de comentários criados a cada hora recebida:')
print(comments_by_hour)

Em seguida, usaremos esses dois dicionários para calcular o número médio de comentários para postagens criadas durante cada hora do dia, criando uma lista de listas contendo as horas em que as postagens foram criadas e o número médio de comentários que essas postagens receberam.

avg_by_hour = []

for hour in counts_by_hour:
    no_of_posts = counts_by_hour[hour]
    no_of_comments = comments_by_hour[hour]
    avg_no_comments = comments_by_hour[hour] / counts_by_hour[hour] 
    avg_by_hour.append([hour,avg_no_comments])

print(avg_by_hour)

Agora vamos classificar os dados acima em ordem decrescente do número médio de comentários para facilitar a análise.

swap_avg_by_hour = []

for value in avg_by_hour:
    swap_avg_by_hour.append([value[1],value[0]])

sorted_swap = sorted(swap_avg_by_hour,reverse = True)

print('Os 5 horários com maior numéro médio de comentários por postagens do Ask HN')
print('\n')

for row in sorted_swap:
    template = '{time}:00: {num:.2f} média de comentários por post.'
    print(template.format(time = row[1] , num = row[0]))

Conclusões

As postagens de perguntas têm um número médio de comentários mais alto do que as postagens de exibição.
O horário de 15:00 GMT tem o maior número médio de comentários.

Referências

Este projeto guiado faz parte do Data Enginnering Carreer Path proposto pela

Adentre o universo da Engenharia de Dados com profissionais brasileiros que se tornaram referência na área!

Lis Barreto — Thu, 24 Feb 2022 14:49:57 +0000

Desde que eu passei a me interessar por temas relacionados à dados, decidi buscar referências nacionais que me ajudassem a desbravar esse universo. A vida era mais simples quando eu queria acompanhar tópicos relacionados à Análise de Dados e algoritmos de Machine Learning, mas depois que passei a querer entender mais sobre temas relacionados à Engenharia de Dados passou a ser difícil encontrar conteúdo de qualidade, gratuito e em português.

Por isso decidi compartilhar com vocês essa playlist que eu criei no YouTube. Aqui você vai mergulhar em tópicos de carreira, ferramentas essenciais no dia a dia da área como Apache Spark, Apache Airflow e Apache Kafka. Como um bônus você ainda leva uma seção de inteligência de negócios e tópicos mais avançados.

O que você vai encontrar por aqui

1. Carreira

Nossa playlist já começa com um banho de loja sobre a área e ninguém melhor pra falar sobre carreira do que a super Carina Sucupira. Seguindo o fluxo a Pamela Santos e o Allan Sene também enriquecem essa nossa seção sobre carreira.

2. Ferramentas

O Data Hackers não podia ficar fora dessa, né? Então o Rodrigo Teoria vem aí pra puxar o Supletivo DH. Se você não conhece o Hadoop, o Spark, o Airflow e o Kafka, não pode deixar de passar por essa seção. Além de trazer uma introdução dessas ferramentas, a galera da comunidade não deixou a desejar nas dicas pra quem quer se aprofundar nos estudos.

Recentemente me deparei também com o canal do Luan Moreno M. Maciel e ele tem me ajudado bastante a ter um panorama geral sobre como as ferramentas são utilizadas por engenheiros de dados.

3. Business Intelligence e Analytics

Quem puxa essa conversa é a Dani Monteiro, uma gigante da área de Dados. A Dani traz pra aqui pra gente algo que não pode ficar de fora da trilha de um bom profissional da área, o braço de inteligência de negócios.

Na sequência o André Araújo traz um aulão de análise de dados com PySpark, excelente pra quem curte um bom e velho mão na massa.

4. Tópicos Avançados

Pra quem quer descobrir como perder o medo do Git e até mesmo estruturar um data lake, o André Sionek traz na medida certa uma abordagem sobre esses tópicos.

Acesse a playlist Engenharia de Dados no YouTube

Siga os profissionais que contribuíram pra que esse conteúdo chegasse até você.

E as comunidades:

Data Warehouse, Data Lake e Data Lakehouse: Conceitos e Diferenças

Lis Barreto — Fri, 18 Feb 2022 14:12:58 +0000

Data Warehouses

Os data warehouses têm alimentado as decisões de Business Intelligence (BI) por cerca de 30 anos. Ao longo da história, as tecnologias de data warehouse evoluíram em resposta às mudanças na escala e na natureza dos dados relevantes para os tomadores de decisão e ao surgimento da internet e outras inovações tecnológicas.

Os data warehouses geralmente seguem um conjunto de diretrizes para projetar sistemas que controlam o fluxo de dados usados na tomada de decisões. Eles são projetados para otimizar as consultas de dados, evitar conflitos entre consultas em execução simultânea, oferecer suporte a dados estruturados e fazer a suposição de que os dados inseridos provavelmente não serão alterados frequentemente.

Como os data warehouses foram originalmente desenvolvidos usando tecnologia local para orientar as decisões de BI, eles tiveram alguns pontos fracos na adaptação à atmosfera de dados moderna. A proliferação de dispositivos inteligentes e comércio baseado na web aumentou o volume e a variedade de dados. Os armazéns de dados tradicionalmente dependem de formatos de dados proprietários, que não oferecem suporte a arquivos de vídeo, imagem ou texto livre. Isso leva a um suporte limitado para cargas de trabalho de aprendizado de máquina.

As tecnologias tradicionais de data warehouse forçam os usuários a investir em capacidade de computação e armazenamento suficientes para lidar com o pico de tráfego de usuários. Com o crescimento exponencial que muitas empresas observaram em seus dados nos últimos anos, esse design pode se tornar extremamente caro.

Figura 1.1. Diagrama de um data warehouse
Fonte: Databricks Academy

Data Lakes

Os data lakes só passaram a ser amplamente utilizados na última década, impulsionados por enormes aumentos na variedade e no volume de dados e impulsionados por avanços tecnológicos para armazenar e processar dados de maneira econômica e eficiente. Data lakes são frequentemente definidos em oposição a data warehouses: enquanto um data warehouse fornece dados limpos e estruturados para análises de BI, um data lake permite que uma organização armazene dados de qualquer natureza de forma permanente e econômica em qualquer formato - na verdade, os data lakes permitem ambos dados estruturados e semiestruturados a serem armazenados junto com dados não estruturados, como vídeo, imagens, texto livre e arquivos de log.

Ao contrário dos data warehouses, o armazenamento de dados e a computação não são acoplados no design do data lake. Isso levou a várias tecnologias que evoluíram em torno do trabalho com dados armazenados em data lakes. O Apache Spark, por exemplo, o mecanismo de computação usado pelo Databricks, pode executar consultas analíticas, extrair-transformar-carregar e cargas de trabalho de aprendizado de máquina sobre enormes quantidades de dados armazenados em data lakes.

Apesar de todos os seus pontos fortes, os data lakes não eliminaram a necessidade de data warehouses. Para análises de BI, a maioria das empresas continua a carregar os dados relevantes de seu data lake em um data warehouse, e é aqui que a maioria dos analistas executa consultas e gera relatórios. Além disso, como todos os dados de uma organização chegam a um lago de dados, eles podem rapidamente se tornar o que é conhecido como um pântano de dados - um lago de dados mal mantido que é difícil de navegar e consultar.

Figura 1.2. Diagrama de um data lake
Fonte: Databricks Academy

Data Lakehouse

Um data lakehouse é um novo paradigma de gerenciamento de dados aberto que combina os recursos mais populares de data lakes e data warehouses. De acordo com seu projeto, eles implementam estruturas de dados e recursos de gerenciamento de dados semelhantes aos de um data warehouse, diretamente no tipo de armazenamento de baixo custo usado para data lakes. Mesclar essas ideias em um único sistema significa que as equipes de dados podem se mover mais rapidamente, pois podem usar os dados sem acessar vários sistemas. Data lakehouses também garantem que as equipes tenham os dados mais completos e atualizados disponíveis para projetos de ciência de dados, aprendizado de máquina e análise de negócios.

Figura 1.3. Diagrama de um data lakehouse
Fonte: Databricks Academy

Referências

Fundamentals of the Databricks Lakehouse Platform

Os 3 R's da Engenharia de Dados

Lis Barreto — Wed, 02 Feb 2022 17:28:12 +0000

Tobias Macey é host do popular Data Engineering Podcast e organizador do livro 97 Things Every Data Engineer Should Know publicado pela O'Reilly, a editora queridinha da área de Dados.

Em um dos artigos publicados por Macey ele enfatiza 3 competências que ele considera imprescindíveis no dia a dia da Engenharia de Dados.

Reliability (Confiabilidade)

A confiabilidade está relacionada às características dos dados que contribuem para um alto grau de confiança das análises que você está realizando, ou seja, dessas análises serem consideradas corretas. Da mesma maneira, a confiabilidade está atrelada ao fato de que os algoritmos sofisticados de Machine Learning necessitam de consistência dos dados.

Reproducibility (Reprodutibilidade)

A reprodutibilidade é uma competência crítica ao trabalhar com
sistemas. Se não existir a possibilidade de outro membro do time ou unidade de negócios verificar e recriar independentemente seus conjuntos de dados e análises, não há maneira de ter certeza que os resultados originais eram válidos. Isso tem um impacto direto no conceito de confiabilidade, pois se você é capaz de reproduzir consistentemente um determinado conjunto de dados, você pode ter a certeza de que é confiável.

Repeatability (Repetibilidade)

Se todos os seus servidores morrerem ou o datacenter em que seus sistemas estão sendo executados estiver destruído ou incapacitado por um desastre natural, você precisa de um plano de recuperação. É aqui que entra em jogo o terceiro R, repetibilidade. Está tudo bem em construir um cluster Spark ou instalar um banco de dados PostgreSQL, mas pode você conseguiria fazer isso rapidamente e repetidamente?

E aí? O que você achou dos 3 R's propostos por Macey? Você concorda com todos eles? Acrescentaria outros pontos que você considera mais que necessários no cotidiano da área de Engenharia de Dados?

Comenta aí embaixo o que você achou e não esqueça de curtir, salvar e compartilhar esse post. (:

Analisando Dados da App Store e Google Play - Parte II

Lis Barreto — Fri, 28 Jan 2022 14:27:01 +0000

Todo o conteúdo deste projeto pode ser encontrado no meu repositório do GitHub. Para mais detalhes, acesse o link.

Aplicativos mais comuns por gênero

Parte I

Como mencionamos na introdução, nosso objetivo é determinar os tipos de aplicativos que provavelmente atrairão mais usuários, pois nossa receita é altamente influenciada pelo número de pessoas que usam nossos aplicativos.

Para minimizar riscos e sobrecarga, nossa estratégia de validação para uma ideia de aplicativo é composta de três etapas:

Crie uma versão Android mínima do aplicativo e adicione-a ao Google Play.
Se o aplicativo tiver uma boa resposta dos usuários, nós o desenvolveremos ainda mais.
Se o aplicativo for lucrativo após seis meses, também criamos uma versão iOS do aplicativo e a adicionamos à App Store.

Como nosso objetivo final é adicionar o aplicativo na App Store e no Google Play, precisamos encontrar perfis de aplicativos que tenham sucesso em ambos os mercados. Por exemplo, um perfil que pode funcionar bem para os dois mercados pode ser um aplicativo de produtividade que faz uso de gamificação.

Vamos começar a análise obtendo uma noção dos gêneros mais comuns para cada mercado. Para isso, construiremos uma tabela de frequência para a coluna prime_genre do conjunto de dados da App Store e as colunasGenres e Category do conjunto de dados do Google Play.

Parte II

Vamos construir duas funções que podemos usar para analisar as tabelas de frequência:

Uma função para gerar tabelas de frequência que mostram percentagens
Outra função que podemos usar para exibir as porcentagens em ordem decrescente

def freq_table(dataset, index):
    table = {}
    total = 0

    for row in dataset:
        total += 1
        value = row[index]
        if value in table:
            table[value] += 1
        else:
            table[value] = 1

    table_percentages = {}
    for key in table:
        percentage = (table[key] / total) * 100
        table_percentages[key] = percentage 

    return table_percentages


def display_table(dataset, index):
    table = freq_table(dataset, index)
    table_display = []
    for key in table:
        key_val_as_tuple = (table[key], key)
        table_display.append(key_val_as_tuple)

    table_sorted = sorted(table_display, reverse = True)
    for entry in table_sorted:
        print(entry[1], ':', entry[0])

Parte III

Começamos examinando a tabela de frequência para a coluna prime_genre do conjunto de dados da App Store.

display_table(ios_final, -5)

Podemos verificar que entre os aplicativos gratuitos em inglês, mais da metade (58,16%) são jogos. Os aplicativos de entretenimento estão perto de 8%, seguidos pelos aplicativos de foto e vídeo, que estão perto de 5%. Apenas 3,66% dos aplicativos são projetados para a educação, seguidos por aplicativos de redes sociais que somam 3,29% dos aplicativos em nosso conjunto de dados.

A impressão geral é que a App Store (pelo menos a parte que contém aplicativos em inglês gratuitos) é dominada por aplicativos que são projetados para se divertir (jogos, entretenimento, foto e vídeo, redes sociais, esportes, música, etc.), enquanto aplicativos com práticas propósitos (educação, compras, serviços públicos, produtividade, estilo de vida, etc.) são mais raros. No entanto, o fato de os aplicativos divertidos serem os mais numerosos também não significa que eles também tenham o maior número de usuários - a demanda pode não ser a mesma que a oferta.

Vamos continuar examinando as colunas Genres eCategory do conjunto de dados do Google Play (duas colunas que parecem estar relacionadas).

display_table(android_final, 1) # Category

O cenário parece significativamente diferente no Google Play: não existem muitos aplicativos projetados para se divertir, e parece que um bom número de aplicativos são projetados para fins práticos (família, ferramentas, negócios, estilo de vida, produtividade, etc.). No entanto, se investigarmos isso mais a fundo, podemos ver que a categoria família (que responde por quase 19% dos aplicativos) significa principalmente jogos para crianças.

Mesmo assim, os aplicativos práticos parecem ter uma melhor representação no Google Play em comparação com a App Store. Esta imagem também é confirmada pela tabela de frequência que vemos na coluna Genres:

display_table(android_final, -4)

A diferença entre as colunas Genres eCategory não é muito clara, mas uma coisa que podemos notar é que a coluna Genres é muito mais granular (tem mais categorias). No momento, estamos apenas procurando o panorama geral, então trabalharemos apenas com a coluna Category daqui para frente.

Até este ponto, descobrimos que a App Store é dominada por aplicativos projetados para diversão, enquanto o Google Play mostra um cenário mais equilibrado de aplicativos práticos e divertidos. Agora, gostaríamos de ter uma ideia sobre o tipo de aplicativo que tem a maioria dos usuários.

Aplicativos mais populares por gênero na App Store

Uma maneira de descobrir quais gêneros são os mais populares (têm mais usuários) é calcular o número médio de instalações para cada gênero de aplicativo. Para o conjunto de dados do Google Play, podemos encontrar essas informações na coluna Installs, mas para o conjunto de dados da App Store, essas informações estão ausentes. Como solução alternativa, tomaremos o número total de classificações do usuário como um proxy, que podemos encontrar no aplicativo rating_count_tot.

Abaixo, calculamos o número médio de classificações de usuários por gênero de aplicativo na App Store:

genres_ios = freq_table(ios_final, -5)

for genre in genres_ios:
    total = 0
    len_genre = 0
    for app in ios_final:
        genre_app = app[-5]
        if genre_app == genre:            
            n_ratings = float(app[5])
            total += n_ratings
            len_genre += 1
    avg_n_ratings = total / len_genre
    print(genre, ':', avg_n_ratings)

Em média, os aplicativos de navegação têm o maior número de avaliações de usuários, mas esse número é fortemente influenciado pelo Waze e pelo Google Maps, que têm quase meio milhão de avaliações de usuários juntas:

for app in ios_final:
    if app[-5] == 'Navigation':
        print(app[1], ':', app[5]) # Imprime nome e número de avaliações

O mesmo padrão se aplica a aplicativos de redes sociais, onde o número médio é fortemente influenciado por alguns gigantes como Facebook, Pinterest, Skype, etc. O mesmo se aplica a aplicativos de música, onde alguns grandes jogadores como Pandora, Spotify e Shazam influenciam fortemente o número médio.

Nosso objetivo é encontrar gêneros populares, mas aplicativos de navegação, redes sociais ou música podem parecer mais populares do que realmente são. O número médio de classificações parece ser distorcido por muito poucos aplicativos que têm centenas de milhares de classificações de usuários, enquanto os outros aplicativos podem ter dificuldade em passar do limite de 10.000. Poderíamos ter uma imagem melhor removendo esses aplicativos extremamente populares para cada gênero e, em seguida, refazer as médias, mas deixaremos esse nível de detalhe para mais tarde.

Os aplicativos de referência têm 74.942 avaliações de usuários em média, mas na verdade são a Bíblia e o Dictionary.com que elevam a avaliação média:

for app in ios_final:
    if app[-5] == 'Reference':
        print(app[1], ':', app[5])

No entanto, esse nicho parece apresentar algum potencial. Uma coisa que poderíamos fazer é pegar outro livro popular e transformá-lo em um aplicativo onde poderíamos adicionar diferentes recursos além da versão bruta do livro. Isso pode incluir citações diárias do livro, uma versão em áudio do livro, questionários sobre o livro, etc. Além disso, também podemos incorporar um dicionário dentro do aplicativo, para que os usuários não precisem sair de nosso aplicativo para olhar palavras em um aplicativo externo.

Essa ideia parece se encaixar bem com o fato de que a App Store é dominada por aplicativos para diversão. Isso sugere que o mercado pode estar um pouco saturado com aplicativos divertidos, o que significa que um aplicativo prático pode ter mais chance de se destacar entre o grande número de aplicativos na App Store.

Outros gêneros que parecem populares incluem clima, livro, comida e bebida ou finanças. O gênero do livro parece se sobrepor um pouco à ideia do aplicativo que descrevemos acima, mas os outros gêneros não nos parecem muito interessantes:

Aplicativos de clima - as pessoas geralmente não passam muito tempo no aplicativo e as chances de lucrar com adições no aplicativo são baixas. Além disso, obter dados meteorológicos confiáveis ao vivo pode exigir que conectemos nossos aplicativos a APIs não livres.
Alimentos e bebidas - os exemplos aqui incluem Starbucks, Dunkin 'Donuts, McDonald's, etc. Portanto, fazer um aplicativo popular de comida e bebida requer uma cozinha real e um serviço de entrega, o que está fora do escopo de nossa empresa.
Aplicativos de finanças - esses aplicativos envolvem serviços bancários, pagamento de contas, transferência de dinheiro, etc. Construir um aplicativo de finanças requer conhecimento de domínio e não queremos contratar um especialista em finanças apenas para construir um aplicativo.

Agora vamos analisar um pouco o mercado do Google Play.

Aplicativos mais populares por gênero no Google Play

Para o mercado do Google Play, temos dados sobre o número de instalações, então devemos ser capazes de ter uma ideia mais clara sobre a popularidade do gênero. No entanto, os números de instalação não parecem precisos o suficiente - podemos ver que a maioria dos valores é aberta (100+, 1.000+, 5.000+, etc.):

display_table(android_final, 5) # A coluna 'Installs'

Um problema com esses dados é que não são precisos. Por exemplo, não sabemos se um aplicativo com mais de 100.000 instalações possui 100.000 instalações, 200.000 ou 350.000. No entanto, não precisamos de dados muito precisos para nossos propósitos - queremos apenas ter uma ideia de quais gêneros de aplicativos atraem mais usuários e não precisamos de precisão perfeita com relação ao número de usuários.

Vamos deixar os números como estão, o que significa que consideraremos que um aplicativo com mais de 100.000 instalações tem 100.000 instalações e um aplicativo com mais de 1.000.000 de instalações tem 1.000.000 de instalações e assim por diante.

Para realizar cálculos, no entanto, precisaremos converter cada número de instalação em float - isso significa que precisamos remover as vírgulas e os caracteres de adição, caso contrário, a conversão falhará e gerará um erro. Faremos isso diretamente no loop abaixo, onde também calculamos o número médio de instalações para cada gênero (categoria).

categories_android = freq_table(android_final, 1)

for category in categories_android:
    total = 0
    len_category = 0
    for app in android_final:
        category_app = app[1]
        if category_app == category:            
            n_installs = app[5]
            n_installs = n_installs.replace(',', '')
            n_installs = n_installs.replace('+', '')
            total += float(n_installs)
            len_category += 1
    avg_n_installs = total / len_category
    print(category, ':', avg_n_installs)

Em média, os aplicativos de comunicação têm o maior número de instalações: 38.456.119. Este número é fortemente distorcido por alguns aplicativos que têm mais de um bilhão de instalações (WhatsApp, Facebook Messenger, Skype, Google Chrome, Gmail e Hangouts) e alguns outros com mais de 100 e 500 milhões de instalações:

for app in android_final:
    if app[1] == 'COMMUNICATION' and (app[5] == '1,000,000,000+'
                                      or app[5] == '500,000,000+'
                                      or app[5] == '100,000,000+'):
        print(app[0], ':', app[5])

Se removêssemos todos os aplicativos de comunicação com mais de 100 milhões de instalações, a média seria reduzida cerca de dez vezes:

under_100_m = []

for app in android_final:
    n_installs = app[5]
    n_installs = n_installs.replace(',', '')
    n_installs = n_installs.replace('+', '')
    if (app[1] == 'COMMUNICATION') and (float(n_installs) < 100000000):
        under_100_m.append(float(n_installs))

sum(under_100_m) / len(under_100_m)

Vemos o mesmo padrão para a categoria de players de vídeo, que é a segunda colocada com 24.727.872 instalações. O mercado é dominado por aplicativos como Youtube, Google Play Filmes e TV ou MX Player. O padrão é repetido para aplicativos sociais (onde temos gigantes como Facebook, Instagram, Google+, etc.), aplicativos de fotografia (Google Fotos e outros editores de fotos populares) ou aplicativos de produtividade (Microsoft Word, Dropbox, Google Calendar, Evernote, etc. .).

Novamente, a principal preocupação é que esses gêneros de aplicativos possam parecer mais populares do que realmente são. Além disso, esses nichos parecem ser dominados por alguns gigantes contra os quais é difícil competir.

O gênero de jogo parece bastante popular, mas antes descobrimos que essa parte do mercado parece um pouco saturada, então gostaríamos de sugerir um aplicativo diferente, se possível.

Os livros e o gênero de referência também parecem bastante populares, com um número médio de instalações de 8.767.811. É interessante explorar isso com mais profundidade, pois descobrimos que esse gênero tem algum potencial para funcionar bem na App Store, e nosso objetivo é recomendar um gênero de aplicativo que mostra potencial para ser lucrativo tanto na App Store quanto no Google Play.

Vamos dar uma olhada em alguns dos aplicativos desse gênero e seu número de instalações:

for app in android_final:
    if app[1] == 'BOOKS_AND_REFERENCE':
        print(app[0], ':', app[5])

O livro e o gênero de referência incluem uma variedade de aplicativos: software para processar e ler e-books, várias coleções de bibliotecas, dicionários, tutoriais sobre programação ou linguagens, etc. Parece que ainda há um pequeno número de aplicativos extremamente populares que distorcem a média:

for app in android_final:
    if app[1] == 'BOOKS_AND_REFERENCE' and (app[5] == '1,000,000,000+'
                                            or app[5] == '500,000,000+'
                                            or app[5] == '100,000,000+'):
        print(app[0], ':', app[5])

No entanto, parece que existem apenas alguns aplicativos muito populares, então este mercado ainda mostra potencial. Vamos tentar obter algumas ideias de aplicativos com base no tipo de aplicativo que está em algum lugar no meio em termos de popularidade (entre 1.000.000 e 100.000.000 de downloads):

for app in android_final:
    if app[1] == 'BOOKS_AND_REFERENCE' and (app[5] == '1,000,000+'
                                            or app[5] == '5,000,000+'
                                            or app[5] == '10,000,000+'
                                            or app[5] == '50,000,000+'):
        print(app[0], ':', app[5])

Este nicho parece ser dominado por software para processamento e leitura de e-books, bem como várias coleções de bibliotecas e dicionários, então provavelmente não é uma boa ideia construir aplicativos semelhantes, pois haverá uma concorrência significativa.

Também notamos que existem alguns aplicativos desenvolvidos em torno do livro Alcorão, o que sugere que construir um aplicativo em torno de um livro popular pode ser lucrativo. Parece que pegar um livro popular (talvez um livro mais recente) e transformá-lo em um aplicativo pode ser lucrativo para os mercados do Google Play e da App Store.

No entanto, parece que o mercado já está cheio de bibliotecas, então precisamos adicionar alguns recursos especiais além da versão bruta do livro. Isso pode incluir citações diárias do livro, uma versão em áudio do livro, questionários sobre o livro, um fórum onde as pessoas podem discutir o livro, etc.

Conclusões

Neste projeto, analisamos dados sobre aplicativos móveis da App Store e Google Play com o objetivo de recomendar um perfil de aplicativo que possa ser lucrativo para ambos os mercados.

Concluímos que pegar um livro popular (talvez um livro mais recente) e transformá-lo em um aplicativo pode ser lucrativo para os mercados do Google Play e da App Store. Os mercados já estão cheios de bibliotecas, então precisamos adicionar alguns recursos especiais além da versão bruta do livro. Isso pode incluir citações diárias do livro, uma versão em áudio do livro, questionários sobre o livro, um fórum onde as pessoas possam discutir o livro, etc.

Referências

Este projeto guiado faz parte do Data Enginnering Carreer Path proposto pela

Analisando Dados da App Store e Google Play - Parte I

Lis Barreto — Fri, 28 Jan 2022 14:26:02 +0000

Todo o conteúdo deste projeto pode ser encontrado no meu repositório do GitHub. Para mais detalhes, acesse o link.

Objetivo

Nosso objetivo neste projeto é encontrar perfis de aplicativos móveis que sejam lucrativos para os mercados da App Store e Google Play. Estamos trabalhando como analistas de dados para uma empresa que desenvolve aplicativos para dispositivos móveis Android e iOS, e nosso trabalho é permitir que nossa equipe de desenvolvedores tome decisões baseadas em dados com relação ao tipo de aplicativo que constroem.

Em nossa empresa, só criamos aplicativos de download e instalação gratuitos, e nossa principal fonte de receita consiste em anúncios no aplicativo. Isso significa que nossa receita para qualquer aplicativo é influenciada principalmente pelo número de usuários que usam nosso aplicativo. Nosso objetivo para este projeto é analisar dados para ajudar nossos desenvolvedores a entender quais tipos de aplicativos podem atrair mais usuários.

Explorando os Dados

Em setembro de 2018, havia aproximadamente 2 milhões de aplicativos iOS disponíveis na App Store e 2,1 milhões de aplicativos Android no Google Play.

Fonte: Statista

Coletar dados para mais de quatro milhões de aplicativos requer uma quantidade significativa de tempo e dinheiro, então, tentaremos analisar uma amostra de dados. Para evitar o gasto de recursos com a coleta de novos dados por conta própria, devemos primeiro tentar ver se podemos encontrar quaisquer dados existentes relevantes sem nenhum custo. Felizmente, esses são dois conjuntos de dados que parecem adequados para o nosso propósito:

Um conjunto de dados contendo dados sobre aproximadamente dez mil aplicativos Android do Google Play. Você pode baixar o conjunto de dados através desse link.
Um conjunto de dados contendo dados sobre aproximadamente sete mil aplicativos iOS da App Store. Você pode baixar o conjunto de dados através desse link.

Vamos começar abrindo os dois conjuntos de dados e, em seguida, continuar explorando os dados.

from csv import reader

### Dataset do Google Play
opened_file = open('googleplaystore.csv')
read_file = reader(opened_file)
android = list(read_file)
android_header = android[0]
android = android[1:]

### Dataset da App Store
opened_file = open('AppleStore.csv')
read_file = reader(opened_file)
ios = list(read_file)
ios_header = ios[0]
ios = ios[1:]

Para tornar mais fácil explorar os dois conjuntos de dados, primeiro escreveremos uma função chamada explore_data () que podemos usar repetidamente para explorar as linhas de uma forma mais legível. Também adicionaremos uma opção para nossa função para mostrar o número de linhas e colunas para qualquer conjunto de dados.

def explore_data(dataset, start, end, rows_and_columns=False):
    dataset_slice = dataset[start:end]    
    for row in dataset_slice:
        print(row)
        print('\n') # Adiciona uma nova linha vazia entre as outras linhas

    if rows_and_columns:
        print('Número de linhas:', len(dataset))
        print('Número de colunas:', len(dataset[0]))

print(android_header)
print('\n')
explore_data(android, 0, 3, True)

Vemos que o conjunto de dados do Google Play tem 10841 aplicativos e 13 colunas. Em uma rápida olhada, as colunas que podem ser úteis para o propósito de nossa análise são 'App', 'Category', 'Reviews', 'Installs', 'Type', 'Price', e 'Genres'.

Agora vamos dar uma olhada no conjunto de dados da App Store.

print(ios_header)
print('\n')
explore_data(ios, 0, 3, True)

Temos 7197 aplicativos iOS neste conjunto de dados e as colunas que parecem interessantes são: 'track_name', 'currency', 'price', 'rating_count_tot', 'rating_count_ver' e 'prime_genre'. Nem todos os nomes de coluna são autoexplicativos neste caso, mas os detalhes sobre cada coluna podem ser encontrados na documentação do conjunto de dados.

Deletando Dados Errados

O conjunto de dados do Google Play tem uma seção de discussão dedicada e podemos ver que uma das discussões descreve um erro para a linha 10472. Vamos imprimir esta linha e compará-la com o cabeçalho e outra linha que está correta.

print(android[10472])  # linha incorreta
print('\n')
print(android_header)  # cabeçalho
print('\n')
print(android[0])      # linha correta

A linha 10472 corresponde ao aplicativo Life Made WI-Fi Touchscreen Photo Frame, e podemos ver que a classificação é 19. Isso está claramente desativado porque a classificação máxima para um aplicativo do Google Play é 5 (conforme mencionado na seção de discussões, este problema é causado por um valor ausente na coluna 'Categoria'). Como consequência, vamos deletar esta linha.

print(len(android))
del android[10472]  # não execute essa linha de código mais de uma vez
print(len(android))

Removendo Entradas Duplicadas

Parte I

Se explorarmos o conjunto de dados do Google Play por tempo suficiente, descobriremos que alguns aplicativos têm mais de uma entrada. Por exemplo, o aplicativo Instagram possui quatro entradas:

for app in android:
    name = app[0]
    if name == 'Instagram':
        print(app)

No total, existem 1.181 casos em que um aplicativo ocorre mais de uma vez:

duplicate_apps = []
unique_apps = []

for app in android:
    name = app[0]
    if name in unique_apps:
        duplicate_apps.append(name)
    else:
        unique_apps.append(name)

print('Número de aplicativos duplicados:', len(duplicate_apps))
print('\n')
print('Examplos de aplicativos duplicados:', duplicate_apps[:15])

Não queremos contar determinados aplicativos mais de uma vez quando analisamos os dados, então precisamos remover as entradas duplicadas e manter apenas uma entrada por aplicativo. Uma coisa que poderíamos fazer é remover as linhas duplicadas aleatoriamente, mas provavelmente poderíamos encontrar uma maneira melhor.

Se você examinar as linhas que imprimimos nas duas células acima para o aplicativo Instagram, a principal diferença acontece na quarta posição de cada linha, que corresponde ao número de comentários. Os diferentes números mostram que os dados foram coletados em momentos diferentes. Podemos usar isso para construir um critério para manter as linhas. Não removeremos as linhas aleatoriamente, mas manteremos as linhas com o maior número de revisões, pois quanto maior o número de revisões, mais confiáveis serão as avaliações.

Para fazer isso, vamos:

Criar um dicionário em que cada chave seja um nome de aplicativo exclusivo e o valor seja o maior número de avaliações desse aplicativo;
Usar o dicionário para criar um novo conjunto de dados, que terá apenas uma entrada por aplicativo (e apenas selecionamos os aplicativos com o maior número de avaliações)

Parte II

Vamos começar construindo o dicionário.

reviews_max = {}

for app in android:
    name = app[0]
    n_reviews = float(app[3])

    if name in reviews_max and reviews_max[name] < n_reviews:
        reviews_max[name] = n_reviews

    elif name not in reviews_max:
        reviews_max[name] = n_reviews

Em uma célula de código anterior, descobrimos que existem 1.181 casos em que um aplicativo ocorre mais de uma vez, portanto, o comprimento do nosso dicionário (de aplicativos exclusivos) deve ser igual à diferença entre o comprimento do nosso conjunto de dados e 1.181.

print('Tamanho esperado:', len(android) - 1181)
print('Tamanho atual:', len(reviews_max))

Agora, vamos usar o dicionário reviews_max para remover as duplicatas. Para os casos duplicados, manteremos apenas as entradas com o maior número de revisões. Na célula de código abaixo:

Começamos inicializando duas listas vazias, android_clean ealready_added.
Fazemos loop através do conjunto de dados android e para cada iteração:
- Isolamos o nome do aplicativo e o número de avaliações.
- Adicionamos a linha atual (app) à listaandroid_clean, e o nome do aplicativo (name) à listaalready_added se:
  - O número de comentários do aplicativo atual corresponde ao número de comentários desse aplicativo, conforme descrito no dicionário reviews_max; e
  - O nome do aplicativo ainda não está na lista already_added. Precisamos adicionar essa condição suplementar para contabilizar os casos em que o maior número de avaliações de um aplicativo duplicado é o mesmo para mais de uma entrada (por exemplo, o aplicativo Box tem três entradas e o número de avaliações é o mesmo) . Se apenas verificarmos por reviews_max [name] == n_reviews, ainda acabaremos com entradas duplicadas para alguns aplicativos.

android_clean = []
already_added = []

for app in android:
    name = app[0]
    n_reviews = float(app[3])

    if (reviews_max[name] == n_reviews) and (name not in already_added):
        android_clean.append(app)
        already_added.append(name) # certifique-se de estar dentro do bloco

Agora vamos explorar rapidamente o novo conjunto de dados e confirmar se o número de linhas é 9.659.

explore_data(android_clean, 0, 3, True)

Temos 9659 linhas, exatamente como o esperado.

Removendo aplicativos que não sejam em inglês

Parte I

Se você explorar os conjuntos de dados o suficiente, notará que os nomes de alguns dos aplicativos sugerem que eles não são direcionados a um público que fala inglês. Abaixo, vemos alguns exemplos de ambos os conjuntos de dados:

print(ios[813][1])
print(ios[6731][1])

print(android_clean[4412][0])
print(android_clean[7940][0])

Não estamos interessados em manter esse tipo de aplicativo, então vamos removê-lo. Uma maneira de fazer isso é remover cada aplicativo cujo nome contém um símbolo que não é comumente usado no texto em inglês - o texto em inglês geralmente inclui letras do alfabeto inglês, números compostos por dígitos de 0 a 9, sinais de pontuação (.,! ,?,;, etc.) e outros símbolos (+, *, /, etc.).

Todos esses caracteres que são específicos para textos em inglês são codificados usando o padrão ASCII. Cada caractere ASCII tem um número correspondente entre 0 e 127 associado a ele, e podemos aproveitar isso para construir uma função que verifica o nome de um aplicativo e nos diz se ele contém caracteres não ASCII.

Construímos esta função abaixo e usamos a função incorporada ord () para descobrir o número de codificação correspondente de cada caractere.

def is_english(string):

    for character in string:
        if ord(character) > 127:
            return False

    return True

print(is_english('Instagram'))
print(is_english('爱奇艺PPS -《欢乐颂2》电视剧热播'))

A função parece funcionar bem, mas alguns nomes de aplicativos em inglês usam emojis ou outros símbolos (™, - (traço), - (traço), etc.) que estão fora da faixa ASCII. Por causa disso, removeremos aplicativos úteis se usarmos a função em sua forma atual.

print(is_english('Docs To Go™ Free Office Suite'))
print(is_english('Instachat 😜'))

print(ord('™'))
print(ord('😜'))

Parte II

Para minimizar o impacto da perda de dados, removeremos um aplicativo apenas se seu nome tiver mais de três caracteres não ASCII:

def is_english(string):
    non_ascii = 0

    for character in string:
        if ord(character) > 127:
            non_ascii += 1

    if non_ascii > 3:
        return False
    else:
        return True

print(is_english('Docs To Go™ Free Office Suite'))
print(is_english('Instachat 😜'))

A função ainda não é perfeita e muito poucos aplicativos que não sejam em inglês podem passar por nosso filtro, mas isso parece bom o suficiente neste ponto de nossa análise - não devemos gastar muito tempo com otimização neste ponto.

Abaixo, usamos a função is_english () para filtrar os aplicativos em outros idiomas para ambos os conjuntos de dados:

android_english = []
ios_english = []

for app in android_clean:
    name = app[0]
    if is_english(name):
        android_english.append(app)

for app in ios:
    name = app[1]
    if is_english(name):
        ios_english.append(app)

explore_data(android_english, 0, 3, True)
print('\n')
explore_data(ios_english, 0, 3, True)

Podemos ver que ficamos com 9.614 aplicativos para Android e 6.183 aplicativos para iOS.

Isolando os aplicativos gratuitos

Como mencionamos na introdução, apenas criamos aplicativos cujo download e instalação são gratuitos, e nossa principal fonte de receita consiste em anúncios no aplicativo. Nossos conjuntos de dados contêm aplicativos gratuitos e não livres, e precisaremos isolar apenas os aplicativos gratuitos para nossa análise. Abaixo, isolamos os aplicativos gratuitos para ambos os nossos conjuntos de dados.

android_final = []
ios_final = []

for app in android_english:
    price = app[7]
    if price == '0':
        android_final.append(app)

for app in ios_english:
    price = app[4]
    if price == '0.0':
        ios_final.append(app)

print(len(android_final))
print(len(ios_final))

Ficamos com 8864 aplicativos para Android e 3222 aplicativos para iOS, o que deve ser suficiente para nossa análise.

DEV Community: Lis Barreto

Jovyans Just Wanna Have Fun: Trabalhando com Jupyter Notebooks, Optuna e MLFlow em Ambiente Conteinerizado

O Desafio

Imagens Docker para Jupyter

Estrutura do Diretório

Configurações Extra do Contêiner

1. requirements.txt

2. start.sh

3. Dockerfile

Passo a Passo para Configuração

Referências

Boas Práticas em Criptografia de Dados 🔐

Decifrando o Enigma: Qual é o Algoritmo Criptográfico Mais Adequado para o Meu Projeto?

Segurança

Eficiência

Compatibilidade

Outros Fatores a Serem Considerados

Gerenciamento adequado de chaves

Proteção dos dados em diferentes estados

Proteção de dados em trânsito

Proteção de dados em repouso

Autenticação e controle de acesso

Conclusão

Ao Infinito e Além!

Criptografia de Dados em uma Casca De Noz 🔐

Boas-vindas ao fascinante universo da criptografia de dados!

Afinal, o que é Criptografia?

Um Breve Histórico da Criptografia

Principais desafios

Aplicações da criptografia

Classificação

Criptografia simétrica

Criptografia assimétrica

Algoritmos criptográficos

Algoritmos Simétricos:

DES (Data Encryption Standard)

O AES (Advanced Encryption Standard)

Algoritmos Assimétricos:

RSA (Rivest-Shamir-Adleman)

ECC (Elliptic Curve Cryptography)

Funções de Hash

Conclusão

Ao Infinito e Além!

Construindo uma Carreira como Data Engineer

1. Ter conhecimento sólido em ciclo de vida do Software

2. Ter conhecimento em linguagem de programação estática e dinâmica

3. Decidir antecipadamente em qual área deseja se concentrar e desenvolver suas habilidades para complementar essa função

Conselho Final: Entrar de cabeça no universo Open-Source!

Analisando Posts do Hacker News

Introdução

Objetivo

Abrindo e explorando os dados

Classificando os dados

Reformatando e analisando os dados

Conclusões

Referências

Adentre o universo da Engenharia de Dados com profissionais brasileiros que se tornaram referência na área!

O que você vai encontrar por aqui

1. Carreira

2. Ferramentas

3. Business Intelligence e Analytics

4. Tópicos Avançados

Data Warehouse, Data Lake e Data Lakehouse: Conceitos e Diferenças

Data Warehouses

Data Lakes

Data Lakehouse

Referências

Os 3 R's da Engenharia de Dados

Reliability (Confiabilidade)

Reproducibility (Reprodutibilidade)

Repeatability (Repetibilidade)

Analisando Dados da App Store e Google Play - Parte II

Aplicativos mais comuns por gênero

Parte I

Parte II

Parte III

Aplicativos mais populares por gênero na App Store

Aplicativos mais populares por gênero no Google Play

Conclusões

Referências

1. `requirements.txt`

2. `start.sh`

3. `Dockerfile`