Como Configurar e Integrar o MiniO com Java

Adriano Aguiar — Tue, 02 Jul 2024 15:01:10 +0000

O MiniO é uma solução de armazenamento compatível com S3, ideal para empresas que precisam armazenar dados internamente. Além de oferecer capacidade de armazenamento de arquivos, essa solução permite a criação de data lakes, sendo especialmente útil para profissionais que lidam com grandes volumes de dados.

Neste artigo, vou demonstrar como configurar a integração com Java e realizar o envio de arquivos. Abordaremos os seguintes tópicos:

Vantagens de Usar o MiniO;
Levantando uma Imagem MiniO;
Tela de Acesso ao MiniO;
Configurando um Projeto em Java com MiniO;
Arquivo de Configuração;
Enviando Arquivos Usando o Postman;
Exemplo de Como Enviar um Arquivo para o MiniO;
Exemplo de Como Remover um Arquivo do MiniO;
Exemplo de Como Buscar um Arquivo pelo Nome no MiniO.

Acompanhe o passo a passo detalhado para levantar uma imagem do MiniO, configurar seu projeto em Java e realizar o processo de envio de arquivos.

Qual a vantagem de usar

O MiniO é um servidor de armazenamento de objetos open-source e compatível com o S3 da Amazon, permitindo uma migração fácil para a Amazon. Além disso, está disponível para várias plataformas.

Levantando uma Imagem MiniO:

Vou explicar como iniciar uma imagem do MiniO no Docker e incluir as credenciais de acesso no arquivo docker-compose.yml. Abaixo está um exemplo:

docker-compose up -d

Para acessar localmente, basta informar a seguinte URL: http://localhost:9000/

E aqui está a tela de acesso:

Configurando um projeto em java com Minio:

Como estou utilizando Maven, vou mostrar como adicionar as dependências necessárias no arquivo pom.xml:

Agora, precisamos iniciar o MiniO. Para isso, vamos criar um arquivo de configuração da seguinte forma:

No entanto, precisamos definir as variáveis de ambiente com as informações necessárias para que o projeto consiga se conectar ao MiniO.

Arquivo de configuração:

Abaixo está um exemplo de como enviar um arquivo para o MiniO utilizando o Postman:

Abra o Postman e selecione o método POST.
Insira a URL do seu servidor MiniO
Vá até a aba "Body" e selecione "form-data".
Adicione um campo com o nome file e, no valor, selecione o arquivo que deseja enviar.
Clique em "Send" para enviar o arquivo.

Abaixo está um exemplo de como enviar um arquivo para o MiniO utilizando Java:

Abaixo está um exemplo de código em Java para remover um arquivo do MiniO:

Abaixo está um exemplo de como buscar um arquivo pelo nome no MiniO utilizando Java:

Conclusão
Neste artigo, exploramos como o MiniO pode ser uma solução eficiente para o armazenamento de dados, oferecendo compatibilidade com o Amazon S3 e sendo uma alternativa open-source robusta. Abordamos desde a configuração do MiniO e a integração com Java até exemplos práticos de envio e remoção de arquivos.

O MiniO se destaca por sua facilidade de uso e flexibilidade, permitindo que empresas de todos os tamanhos implementem soluções de armazenamento escaláveis e seguras. Com a configuração correta e o uso das APIs, é possível integrar o MiniO a diversas aplicações, proporcionando uma experiência de armazenamento de objetos eficiente e acessível.

No próximo artigo, abordaremos como utilizar o MiniO com multitenancy, permitindo que você gerencie vários inquilinos de forma isolada e segura. Fique atento para aprender mais sobre essa funcionalidade avançada e como ela pode beneficiar ainda mais sua infraestrutura de armazenamento.

Repositório do Projeto:
https://github.com/adrianoaguiardez/minio-spring

Visite o MiniO

Site Oficial do MiniO: https://min.io

Documentação

Documentação Oficial: Documentação do MiniO
GitHub
Repositório Oficial: https://github.com/minio/minio

Implementando o Dual Write com Mensageria PostgreSQL

Adriano Aguiar — Thu, 14 Mar 2024 12:09:41 +0000

Na era dos negócios digitais, a garantia da consistência dos dados é uma preocupação crítica. Em processos como o processamento de pedidos, onde a precisão e integridade das informações são essenciais, estratégias eficazes para gerenciar transações simultâneas são indispensáveis. Neste artigo, exploraremos como o Dual Write, combinado com a mensageria do PostgreSQL, pode ser uma solução poderosa para alcançar esse objetivo.

Dual Write: Uma Introdução

O Dual Write é uma técnica que envolve escrever dados simultaneamente em dois sistemas ou bancos de dados. Essa abordagem é adotada para garantir a consistência e integridade dos dados, especialmente em cenários onde múltiplas transações ocorrem simultaneamente.

Lidar com erros é uma parte essencial do processo de Dual Write. Se ocorrer uma falha na gravação principal, o sistema será automaticamente direcionado para um agendador de tarefas, que neste contexto específico utiliza a funcionalidade 'Scheduled' do framework Spring Boot. Este agendador tentará a cada 2 minutos, garantindo que nenhum pedido seja perdido ou processado de forma inadequada. Ao ser acionado, o agendador recupera todos os pedidos que não foram concluídos e os encaminha para o tópico 'pg_notify' com o devido payload. Assim que o payload é enviado, o sistema entra em um modo de escuta ('listen') para processar a mensagem e, consequentemente, os pedidos associados.

Cenário de Uso: Processamento de Pedidos

Considere um cenário em sistema de gerenciamento de pedido: a liberação de um pedido. Neste caso, precisamos atualizar o status do pedido em um banco de dados PostgreSQL e garantir que a transação seja concluída sem falhas após a confirmação do pagamento. Se ocorrer algum erro durante o processo, é crucial ter um mecanismo de recuperação confiável.

Pedido: Essa classe representa a tabela de pedido e sempre vou salvar os dados com status Aberto para depois validar se o pedido será concluído.

*Implementação com Mensageria do PostgreSQL
*
Para implementar o Dual Write, podemos aproveitar as capacidades de mensageria do PostgreSQL. Ao escrever os dados no banco principal, também podemos aproveitar a mesma arquitetura e utilizar o banco para nos ajudar e sem precisar instalar e integrar com outras soluções como Kafka ou RabbitMQ. Isso garante que, mesmo em caso de falha na gravação principal, os dados ainda possam ser recuperados.

Tarefa: Essa classe representa um agendamento feito para verificar os pedidos que estão pendentes e caso encontre será encaminhado para mensageria do Postgres com tópico list_pedido..

Agora precisamos fazer com que o Postgres processa esse evento e verifica como é situação do pedido, lembrando que vou só simular que será confirmado o pagamento e atualizar para concluído, vou aqui apresentar como fica essa funcionalidade do consumer desse evento, mas essa funcionalidade eu acabei colocando no mesmo projeto para facilitar apresentação do mesmo, porém posso criar projeto separado somente para consumir esses eventos.

Considerações:

Implementar o Dual Write com mensageria PostgreSQL é uma estratégia robusta para garantir a consistência dos dados em processos críticos, como o processamento de pedidos. Ao escrever dados simultaneamente em dois sistemas, podemos minimizar o risco de falhas e garantir que as transações sejam concluídas de forma confiável. No entanto, é essencial gerenciar cuidadosamente os erros e considerar os impactos no desempenho e na escalabilidade do sistema. Com uma implementação cuidadosa e uma abordagem pragmática, o Dual Write pode se tornar uma ferramenta poderosa para maximizar a integridade dos dados em ambientes empresariais dinâmicos.

Segue link repositório: https://github.com/adrianoaguiardez/dual-write-mensageria-postgres

DEV Community: Adriano Aguiar

Como Configurar e Integrar o MiniO com Java

Implementando o Dual Write com Mensageria PostgreSQL