DEV Community

Bruno Duarte
Bruno Duarte

Posted on

3

VSCode + Ollama + Continue = chat e tab completions gratuitamente

Como instalar e usar LLMs localmente no seu VSCode:


1- Baixe Ollama diretamente pelo site https://ollama.com/, ele ira criar seu server local para a LLM

Ollama website

2- Baixe uma LLM (neste tutorial vamos usar o qwen2) no site https://ollama.com/library

Ollama models library

qwen2 model

Você deve ter pelo menos 8 GB de RAM disponíveis para rodar os modelos de 7B, 16 GB para rodar os modelos de 13B e 32 GB para rodar os modelos de 33B.

3- Abra o terminal e cole este comando:



ollama run qwen2


Enter fullscreen mode Exit fullscreen mode

4- Após a instalação ele ja estará rodando a LLM no seu terminal, onde você ja pode testar fazendo alguma pergunta. Digite /bye para sair

terminal

5- Instale a extensão Continue no seu VSCode:

Continue extension

6- Abra o Continue e verá a tela de adicionar modelo, selecione Ollama:

Continue

7- Selecione Autodetect, ele ja reconhecerá a LLM instalada na sua máquina

Continue extension

8- Chat funcionando! Para saber mais detalhes e comandos acesse: https://docs.continue.dev/intro

Tab Autocomplete:


1- Vamos configurar o Continue para utilizar sua LLM para o autocomplete no VSCode. Selecione a engrenagem no canto inferior direito da tela de chat

config

2- Dentro do arquivo config.json: adicione:



"tabAutocompleteModel": {
    "title": "Tab Autocomplete Model",
    "provider": "ollama",
    "model": "qwen2",
    "apiBase": "http://localhost:11434/"
  },


Enter fullscreen mode Exit fullscreen mode

Irá ficar mais ou menos assim:

Image description

Depois você pode testar outras LLMs para o autocomplete, como a starcoder2-3b

3- Tudo certo, agora você tem autocomplete via LLM local!

vscode

Agora você tem todas as funcionalidades do Copilot na sua máquina, de forma totalmente gratuita.

API Trace View

Struggling with slow API calls? 👀

Dan Mindru walks through how he used Sentry's new Trace View feature to shave off 22.3 seconds from an API call.

Get a practical walkthrough of how to identify bottlenecks, split tasks into multiple parallel tasks, identify slow AI model calls, and more.

Read more →

Top comments (0)

A Workflow Copilot. Tailored to You.

Pieces.app image

Our desktop app, with its intelligent copilot, streamlines coding by generating snippets, extracting code from screenshots, and accelerating problem-solving.

Read the docs

👋 Kindness is contagious

Please leave a ❤️ or a friendly comment on this post if you found it helpful!

Okay