Como Instalar e Rodar uma IA Localmente no seu Computador

Introdução

Neste post abordaremos o processo de instalação e configuração de uma Inteligência Artificial para operar localmente no seu computador, com foco nos sistemas Linux e macOS. Algumas das ferramentas que utilizaremos ainda estão em fase beta no Windows, por isso ele não será abordado. Esta IA pode ser utilizada para uma variedade de propósitos, como responder a perguntas ocasionais, atuar como um professor particular de matemática ou até mesmo ajudar na geração de mensagens de commits para projetos de software (que seria o meu uso :) ).

Requisitos

• Docker
• 16GB RAM (Recomendado)

Instalação

Primeiro, vamos precisar instalar nosso LLM (Large Language Model) e a ferramenta que usaremos para manipular esses LLMs será o Ollama. O processo de download é bem simples.

Link do Github

• Linux:

  curl -fsSL https://ollama.com/install.sh | sh

• MacOS:

  Somente baixar e executar pelo link do Github.

Após a instalação, vamos digitar o seguinte comando no terminal: ollama run llama3.1, onde "llama3.1" é o LLM que usaremos como exemplo.

Assim que executarmos esse comando, o modelo será baixado. Quando o download for concluído, já poderemos interagir com ele diretamente do terminal.

No entanto, como queremos uma interface gráfica e a capacidade de customizar nossos modelos, precisaremos de outra ferramenta, chamada Open Web UI.

Usaremos o Docker para executar essa ferramenta com o seguinte comando:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Após o Docker estar em execução, você pode acessar o endereço http://localhost:3000/ para abrir a interface gráfica, onde poderemos utilizar os modelos.

Será necessário criar uma conta local. Após a criação da conta, você poderá usar o modelo que baixamos anteriormente pelo seu navegador.

Customização de IAS

Para fazer essas customizações, você pode usar o próprio site do Open Web UI e também ajustar as configurações localmente. No site, você encontrará vários modelos já customizados que podem servir como ponto de partida ou inspiração para suas próprias personalizações.

Solução de Problemas

Caso esteja seguindo o tutorial usando Linux e encontre problemas com o Open Web UI não conseguindo identificar o seu modelo, o problema pode estar relacionado à porta em que o Ollama está escutando.

Pode ser solucionado dessa forma:

1. Crie um arquivo override sudo nano /etc/systemd/system/ollama.service.d/override.conf
2. Adicione a variável de ambiente dentro do arquivo override.conf O arquivo precisa ficar dessa forma: [Service] Environment="OLLAMA_HOST=0.0.0.0"
3. Salve o arquivo.
4. Recarregue o systemd: sudo systemctl daemon-reload
5. Reinicie o Serviço Ollama: sudo systemctl restart ollama

Referências

https://docs.openwebui.com/

https://www.cloudflare.com/pt-br/learning/ai/what-is-large-language-model/

https://github.com/ollama/ollama