DEV Community: Jaedson Silva

CookieDB: Meu projeto de banco de dados noSQL open-source 🍪

Jaedson Silva — Mon, 10 Jul 2023 21:24:56 +0000

O CookieDB é um banco de dados noSQL que usa o modelo de documento para armazenar os dados. Desenvolvido totalmente em Python, o CookieDB foi projetado para ser seguro, moderno, leve e fácil de usar. Feito para todos os tipos de projetos, especialmente para aqueles que não necessitam de um banco de dados complexo e complicado de configurar.

Você pode contribuir para o avanço do projeto enviando sugestões, adicionando funcionalidades ou corrigindo erros por meio de PRs, reportando falhas de segurança ou bugs no repositório do CookieDB no Github, qualquer tipo de contribuição é bem-vinda!

Além disso, você pode usar as Issues do GitHub para tirar suas dúvidas ou reportar falhas.

Outros projetos relacionados ao CookieDB também estão disponíveis, como um servidor e um cliente Python para acesso ao servidor (CookieDB Server e CookieDB Client respectivamente).

🔒 Segurança

Para manter a segurança, todos os dados armazenados em um banco de dados CookieDB são criptografados utilizando o algoritmo AES-256, além de conter um código otimizado para melhorar a velocidade de criptografia.

🚀 Velocidade

Desde a primeira versão, venho buscando novas formas de fazer com que o armazenamento de dados seja rápido. A última versão do CookieDB será a mais rápida e otimizada, com novos métodos de armazenamento que são testados várias vezes para comprovar o desempenho.

✌️ Fácil de usar

O CookieDB possui documentação clara e atualizada sobre cada método que você precisar utilizar, seja para criar, obter, atualizar ou deletar dados no banco. Você pode adicionar praticamente qualquer tipo de dado ao banco de dados, como listas, dicionários, strings, números, valores booleanos, sets e tuplas. Veja um simples exemplo de uso do CookieDB:

from cookiedb import CookieDB

database = CookieDB('MyDatabase', key='secret')
database.add('languages/python', {'creator': 'Guido', 'ext': '.py'})

python_creator = database.get('languages/python/creator')
python_ext = database.get('languages/python/ext')

print(f'Python creator: {python_creator}')
print(f'Python extension: {python_ext}')

Todos os dados são armazenados em um arquivo .cookiedb, onde você pode realizar cópias facilmente para manter seus dados seguros.

Como eu deixei meu banco de dados open-source 4 VEZES mais rápido

Jaedson Silva — Wed, 05 Apr 2023 01:10:39 +0000

Sim, eu desenvolvi um banco de dados noSQL em Python chamado CookieDB que armazena seus dados em arquivos criptografados de forma rápida e simples, sem complicações. Mas no início, não era tão rápido assim...

Conhecendo o CookieDB

Eu decidi criar o este banco de dados como forma de aprendizado, além de estar empolgado com a ideia de usar meu próprio banco de dados em outros projetos.

A ideia era armazenar todos os dados em um arquivo JSON, utilizando uma classe em Python com métodos para criar, obter, atualizar e deletar dados. Algo realmente simples. Porém, como forma de segurança, eu adicionei a possibilidade de criptografar o banco de dados usando a biblioteca cryptography. Mas o problema de performance começa ao usar o JSON e a biblioteca cryptography.

Escrita e leitura de um grande volume de dados 😰

Imagine que uma aplicação receba 1 milhão de usuários em um dia, obviamente esses usuários não se registraram de uma vez só, mas cada escrita de um novo usuário no banco de dados demora alguns milissegundos que, somados no final do dia, resultarão em alguns segundos ou minutos, dependendo do desempenho do banco de dados. Se o número de usuários por dia aumentar, o tempo total também aumenta, podendo causar transtornos na aplicação.

Então, escrevi um código que adiciona, obtém e deleta 1 milhão de usuários para testar a performance entre as versões 7.0 e 5.0 do CookieDB. A versão 7.0 possui as otimização feitas para alcançar uma velocidade 4 vezes maior que a versão 5.0, que não possui tais otimizações. Esse é o código:

import random
import secrets
import time

import cookiedb

cookiedb_version = cookiedb.__version__

db = cookiedb.CookieDB(key='ultra-secret-key!')
db.create_database(f'test-{cookiedb_version}', if_not_exists=True)
db.open(f'test-{cookiedb_version}')


def generate_data(users_number: int) -> list:
    names = ['Jaedson', 'Pedro', 'Maria', 'Lucas',
             'Larissa', 'Mateus', 'Edvaldo', 'Luíza']
    password = secrets.token_hex(32)

    users = []

    for __ in range(users_number):
        name = random.choice(names)
        email = name.lower() + '@mail.com'

        users.append({
            'name': name,
            'email': email,
            'password': password
        })

    return users


def test_add_users(users: list) -> None:
    db.add('users/', users)


def test_get_users() -> None:
    db.get('users/')


def test_delete_users() -> None:
    db.delete('users/')


def main() -> None:
    users_test_number = 1000000
    total_time = 0

    print(f'Test CookieDB version {cookiedb_version}')
    print(f'Test with {users_test_number} users data')

    users = generate_data(users_test_number)
    print('Data ready. Testing...\n')

    start = time.time()
    test_add_users(users)
    test_time = time.time() - start
    total_time += test_time

    print(f'Add users in {test_time:.4f}')

    start = time.time()
    test_get_users()
    test_time = time.time() - start
    total_time += test_time

    print(f'Get users in {test_time:.4f}')

    start = time.time()
    test_delete_users()
    test_time = time.time() - start
    total_time += test_time

    print(f'Delete users in {test_time:.4f}')

    print(f'\nTest finished in {total_time:.4f}')


main()

Agora, veja a comparação de performance entre as duas versões do banco de dados CookieDB:

Versão 5.0

Test CookieDB version 5.0.0
Test with 1000000 users data
Data ready. Testing...

Add users in 13.4102
Get users in 9.3546
Delete users in 18.8088

Test finished in 41.5736

Versão 7.0

Test CookieDB version 7.0.0
Test with 1000000 users data
Data ready. Testing...

Add users in 3.0604
Get users in 2.5955
Delete users in 5.1419

Test finished in 10.7977

Observem a diferença: de 40 para apenas 10 segundos para executar três ações com 1 milhão de usuários. Pode parecer pouco, mas se executarmos esse teste com 10 milhões de usuários, a diferença seria de 7 minutos para 1 minuto!

Os problemas que encontrei...

Os problemas que encontrei estão relacionados a biblioteca cryptography e o módulo json, que já vem embutido no Python 3.

Biblioteca `cryptography`

O resultado da criptografia utilizando a biblioteca cryptography é codificado em base64 para facilitar o transporte do conteúdo criptografado. O que é desnecessário em meu projeto, já que o banco de dados é local.

Obviamente, a codificação em base64 leva tempo, inclusive se o conteúdo a ser codificado for grande.

Para resolver este problema, utilizei a biblioteca pycryptodome, que permite manipular a criptografia de uma forma "pura", onde o resultado da criptografia é retornado em bytes, sem serem codificados em base64. Com isso, criei uma classe em Python para facilitar a criptografia dos dados. Você pode ver o código no arquivo _encrypt.py do projeto CookieDB.

Módulo `json`

O problema aqui não é o módulo em si, e sim sua velocidade em codificar e decodificar dados JSON. Isso pode ser resolvido utilizando o módulo pickle do Python, onde você pode serializar dicionários, listas, strings, classes e diversos tipos da linguagem Python. Além de dar uma grande melhoria na velocidade, o tamanho do arquivo também diminui muito, já que não é preciso ser lido por humanos, igual o JSON.

Conclusão

Procure otimizar seu projeto ao máximo, há sempre uma forma de deixá-lo mais rápido, seja criando suas próprias soluções ou utilizando soluções já desenvolvidas e testadas.

O projeto CookieDB passa por diversas mudanças constantemente, seja para uma nova funcionalidade, correção de bugs ou melhoria de performance. Meu objetivo é fazer com que ele seja usável em grandes aplicações, e pra isso, é necessário um bom trabalho no desenvolvimento.

Links úteis

Melhores sites gratuitos para aprender programação

Jaedson Silva — Sun, 09 Oct 2022 19:14:59 +0000

Na internet você pode encontrar diversos cursos gratuitos, artigos e documentações disponíveis para serem consumidos a qualquer momento, sem pagar nada.

Todos os sites listados nesse artigo já foram usados por mim, por isso, garanto que possuem um bom método de ensino.

Se você quer aprender a programar mas não quer comprar nenhum curso, vou te apresentar 3 sites para aprender a programar de graça.

Curso em Vídeo

O Curso em Vídeo com certeza é o site que a maioria dos programadores conhece. Foi lá onde milhares de desenvolvedores tiveram seu primeiro contato com programação, justamente por ser explicado de forma simples e direta.

Aqui estão algumas características do Curso em Vídeo:

Diversos cursos de linguagens, banco de dados e outros;
Curso organizado em módulos e vídeos de alta qualidade;
Teste de conhecimento no final do curso;
Certificado de conclusão pago.

Digital Innovation One

Diferente do Curso em Vídeo, a DIO (Digital Innovation One) apresenta um leque maior de cursos, não focando apenas em linguagens, mas também oferecendo cursos de frameworks, cloud, design e outros. Uma grande vantagem dessa plataforma é que ela oferece diversos Bootcamps gratuitos para seus usuários.

As principais características da DIO são:

Certificado de conclusão gratuito;
Teste de conhecimento no final do curso;
Maior número de cursos;
Bootcamps gratuitos.

Fundação Bradesco (Escola Virtual)

A Fundação Bradesco é uma escola virtual que apresenta diversos cursos, não apenas focados em tecnologia, mas possui uma grande variedade de cursos sobre esse assunto.

Algumas características da Fundação Bradesco são:

Cursos básicos, direcionados a iniciantes;
Teste de conhecimento no final do curso;
Certificado de conclusão gratuito;
Cursos disponíveis apenas em formato de texto.

Conclusão

Estudando nestes sites, você com certeza conseguirá uma boa base de linguagens, frameworks, banco de dados ou qualquer outra tecnologia, sendo necessário apenas esforço e dedicação.

Te vejo no próximo artigo, dev! 🖖👾

Como aprendi a programar

Jaedson Silva — Fri, 07 Oct 2022 21:43:33 +0000

Vou mostrar, de forma breve, a minha trajetória como programador, do início até este exato momento! Mas antes, você pode me conhecer um pouco...

Sobre mim

Sou Jaedson Silva, tenho 15 anos de idade, desenvolvedor a 2 anos e nascido no interior de Alagoas. Sou apaixonado por astronomia e tecnologia, sempre desenvolvendo projetos e estudando para expandir meus conhecimentos.

De onde veio a vontade de programar?

O ano era 2017/2018, meu irmão já tinha começado a programar, ele sabia C#, JavaScript, HTML e CSS. As vezes eu ia no quarto dele e observava o que ele fazia no computador, ficava me perguntando o que era aquilo, e o porquê de tantas linhas de texto.

No início, eu não tinha aquele interesse grande de se tornar um desenvolvedor, mas resolvi aprender alguma coisa, e o mais simples era o HTML5. Baixei um editor de texto, coloquei uma aula e fui praticando. Mas isso não foi muito longe, no outro dia eu já tinha esquecido das aulas e o resto do interesse foi embora.

As mudanças

De 2018 a 2020, muitos anos se passaram, minha personalidade mudou muito durante esse tempo, e eu queria fazer algo que pudesse me dar dinheiro, aprender algo que eu gostasse de fazer. Então, me veio a ideia de ser designer gráfico.

Eu não sabia nada dessa área, mas comecei pelo celular, usando um aplicativo simples e algumas aulas do YouTube. Aprendi bastante coisa sobre design durante uns 4 dias, obviamente que não me tornei um profissional, mas já me sentia pronto para anunciar meu serviço a outras pessoas.

E deu certo, consegui alguns clientes e estava satisfeito sendo designer, mesmo sentindo que meus designs não eram bons o suficiente (e realmente não eram), mas, era o que minha criatividade colocava pra fora.

A programação bateu na minha porta novamente...

No final de 2020, em dezembro, meu irmão teve a ideia de criar uma agência de desenvolvimento web, já que eu era um designer e ele um desenvolvedor. Então, meu irmão disse que ficava muito "cansativo" trabalhar como full-stack (front-end e back-end) em um projeto, já que eu "só" seria o designer da aplicação, então, ele me disse que eu deveria aprender HTML5 e CSS3 para ser um desenvolvedor front-end. Eu gostei muito dessa ideia, e no mesmo dia, ele me ensinou algumas coisas sobre HTML5.

Conheci alguns cursos gratuitos, inclusive o curso de HTML5 e CSS3 do Curso em Vídeo, que foi o pontapé inicial para se tornar um desenvolvedor.

Aprendi HTML5 e CSS3 com esse curso, depois, fiz o curso de JavaScript também no Curso em Vídeo.

Novos caminhos

Após terminar o curso de JavaScript, me interessei pela linguagem Python, que até hoje, é a que mais uso para desenvolver meus projetos. Fiz muitos cursos de Python, na Digital Innovation One, Fundação Bradesco e Curso em Vídeo até sentir que eu estava dominando bem a linguagem.

A partir disso, aprendi sobre banco de dados, servidores web e mais sobre front-end, com React.js e Next.js.

Conclusão

Hoje, tenho certeza que tomei a decisão certa em se tornar um desenvolvedor. Tenho mais de 90 repositórios públicos e diferentes tipos projetos, como framework de servidor web, banco de dados, biblioteca de testes unitários e muito mais.

É isso, essa foi a breve história da minha trajetória como desenvolvedor.

DEV Community: Jaedson Silva

CookieDB: Meu projeto de banco de dados noSQL open-source 🍪

🔒 Segurança

🚀 Velocidade

✌️ Fácil de usar

Como eu deixei meu banco de dados open-source 4 VEZES mais rápido

Conhecendo o CookieDB

Escrita e leitura de um grande volume de dados 😰

Versão 5.0

Versão 7.0

Os problemas que encontrei...

Biblioteca cryptography

Módulo json

Conclusão

Links úteis

Melhores sites gratuitos para aprender programação

Curso em Vídeo

Digital Innovation One

Fundação Bradesco (Escola Virtual)

Conclusão

Como aprendi a programar

Sobre mim

De onde veio a vontade de programar?

As mudanças

A programação bateu na minha porta novamente...

Novos caminhos

Conclusão

Biblioteca `cryptography`

Módulo `json`