DEV Community

Dica rápida: Rodando o DeepSeek (ou qualquer modelo) localmente

Angelo Belchior on January 29, 2025

Hype é Hype. Isso é fato. Mas confesso que fazia tempo que algo não me deixava tão empolgado quanto o Memphis Depay no Corinthians DeepSeek. N...
Collapse
 
aramis_7 profile image
Aramis •

Tem suporte pra eu treinar uma LLM dessas com uma base de dados, por exemplo, artigos científicos? Assim tenho algo personalizado ou mais focado? Ou é mais eficiente usar as que já estão disponíveis mostradas no tutorial?

Collapse
 
angelobelchior profile image
Angelo Belchior •

Nesse caso talvez RAG (Retrieval-Augmented Generation) ajude. Você consegue fazer com que o modelo consulte uma base de dados externa antes de montar a mensagem de resposta. O modelo recebe os dados recuperados e usa como contexto para gerar uma resposta mais "precisa". Esse link pode te ajudar: blog.dsacademy.com.br/como-rag-ret...

Collapse
 
gsousaigor profile image
Igor Garcia De Sousa •

Artigo maravilhoso, porém me surgiu uma dúvida.
Há algum custo e se houver, qual é?

Collapse
 
angelobelchior profile image
Angelo Belchior •

Muito obrigado. Não tem nenhum custo!!! Tudo é executado na sua máquina de forma offline. (No caso você precista estar on-line para baixar o modelo, mas depois dele instalado, pode ficar offline)

Collapse
 
jessilyneh profile image
Jessilyneh •

Que artigo bacana, parabens!!! Vou salvar pra seguir como tutorial

Collapse
 
angelobelchior profile image
Angelo Belchior •

Muito obrigado!

Collapse
 
flavio_apompilio_4121ffc profile image
Flavio A Pompilio • • Edited

Top, Angelino! Obrigado por compartilhar.

Para alterar a porta:

[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "127.0.0.1:[port]", "User")
Enter fullscreen mode Exit fullscreen mode

Sai do carro, entra no carro.

Collapse
 
angelobelchior profile image
Angelo Belchior •

Hahahahah.. valew mano :)

Collapse
 
felipersb profile image
Felipe Sales •

Artigo fantástico Angelão. Parabéns cara!!!

Collapse
 
angelobelchior profile image
Angelo Belchior •

Valew :)

Collapse
 
calvin_alexandre_711cfd4b profile image
Calvin Alexandre •

Bom demais!

Collapse
 
angelobelchior profile image
Angelo Belchior •

muito obrigado

Collapse
 
claubercy profile image
Claubercy Kloss •

Consigo rodar um modelo desses hospedado numa api Flask, por exemplo, para servir de IA para o meu front?

Collapse
 
angelobelchior profile image
Angelo Belchior •

É possível. Porém, a sua infraestrutura precisa ser muito boa para suportar algumas requisições ao mesmo tempo. Rodar o modelo em si é tranquilo, o problema é escalar isso. Atender duas ou três pessoas ao mesmo tempo é de boa, mas quando a quantidade de requisições começar a subir vai ser necessário ter uma infra parruda com máquinas com GPUs e uma boa quantiade de memória. Escalar um modelo LLM não é fácil e muito menos barato, vide OpenAI: OpenAI Is Growing Fast and Burning Through Piles of Money: nytimes.com/2024/09/27/technology/...