DEV Community

Dica rápida: Rodando o DeepSeek (ou qualquer modelo) localmente

Angelo Belchior on January 29, 2025

Hype é Hype. Isso é fato. Mas confesso que fazia tempo que algo não me deixava tão empolgado quanto o Memphis Depay no Corinthians DeepSeek. N...
Collapse
 
aramis_7 profile image
Aramis

Tem suporte pra eu treinar uma LLM dessas com uma base de dados, por exemplo, artigos científicos? Assim tenho algo personalizado ou mais focado? Ou é mais eficiente usar as que já estão disponíveis mostradas no tutorial?

Collapse
 
angelobelchior profile image
Angelo Belchior

Nesse caso talvez RAG (Retrieval-Augmented Generation) ajude. Você consegue fazer com que o modelo consulte uma base de dados externa antes de montar a mensagem de resposta. O modelo recebe os dados recuperados e usa como contexto para gerar uma resposta mais "precisa". Esse link pode te ajudar: blog.dsacademy.com.br/como-rag-ret...

Collapse
 
flavio_apompilio_4121ffc profile image
Flavio A Pompilio • Edited

Top, Angelino! Obrigado por compartilhar.

Para alterar a porta:

[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "127.0.0.1:[port]", "User")
Enter fullscreen mode Exit fullscreen mode

Sai do carro, entra no carro.

Collapse
 
angelobelchior profile image
Angelo Belchior

Hahahahah.. valew mano :)

Collapse
 
gsousaigor profile image
Igor Garcia De Sousa

Artigo maravilhoso, porém me surgiu uma dúvida.
Há algum custo e se houver, qual é?

Collapse
 
angelobelchior profile image
Angelo Belchior

Muito obrigado. Não tem nenhum custo!!! Tudo é executado na sua máquina de forma offline. (No caso você precista estar on-line para baixar o modelo, mas depois dele instalado, pode ficar offline)

Collapse
 
jessilyneh profile image
Jessilyneh

Que artigo bacana, parabens!!! Vou salvar pra seguir como tutorial

Collapse
 
angelobelchior profile image
Angelo Belchior

Muito obrigado!

Collapse
 
felipersb profile image
Felipe Sales

Artigo fantástico Angelão. Parabéns cara!!!

Collapse
 
angelobelchior profile image
Angelo Belchior

Valew :)

Collapse
 
calvin_alexandre_711cfd4b profile image
Calvin Alexandre

Bom demais!

Collapse
 
angelobelchior profile image
Angelo Belchior

muito obrigado