DEV Community

Bruno Duarte
Bruno Duarte

Posted on

3

VSCode + Ollama + Continue = chat e tab completions gratuitamente

Como instalar e usar LLMs localmente no seu VSCode:


1- Baixe Ollama diretamente pelo site https://ollama.com/, ele ira criar seu server local para a LLM

Ollama website

2- Baixe uma LLM (neste tutorial vamos usar o qwen2) no site https://ollama.com/library

Ollama models library

qwen2 model

Você deve ter pelo menos 8 GB de RAM disponíveis para rodar os modelos de 7B, 16 GB para rodar os modelos de 13B e 32 GB para rodar os modelos de 33B.

3- Abra o terminal e cole este comando:



ollama run qwen2


Enter fullscreen mode Exit fullscreen mode

4- Após a instalação ele ja estará rodando a LLM no seu terminal, onde você ja pode testar fazendo alguma pergunta. Digite /bye para sair

terminal

5- Instale a extensão Continue no seu VSCode:

Continue extension

6- Abra o Continue e verá a tela de adicionar modelo, selecione Ollama:

Continue

7- Selecione Autodetect, ele ja reconhecerá a LLM instalada na sua máquina

Continue extension

8- Chat funcionando! Para saber mais detalhes e comandos acesse: https://docs.continue.dev/intro

Tab Autocomplete:


1- Vamos configurar o Continue para utilizar sua LLM para o autocomplete no VSCode. Selecione a engrenagem no canto inferior direito da tela de chat

config

2- Dentro do arquivo config.json: adicione:



"tabAutocompleteModel": {
    "title": "Tab Autocomplete Model",
    "provider": "ollama",
    "model": "qwen2",
    "apiBase": "http://localhost:11434/"
  },


Enter fullscreen mode Exit fullscreen mode

Irá ficar mais ou menos assim:

Image description

Depois você pode testar outras LLMs para o autocomplete, como a starcoder2-3b

3- Tudo certo, agora você tem autocomplete via LLM local!

vscode

Agora você tem todas as funcionalidades do Copilot na sua máquina, de forma totalmente gratuita.

Billboard image

The Next Generation Developer Platform

Coherence is the first Platform-as-a-Service you can control. Unlike "black-box" platforms that are opinionated about the infra you can deploy, Coherence is powered by CNC, the open-source IaC framework, which offers limitless customization.

Learn more

Top comments (0)