Como Rodar Ollama com Docker e Aceleração de GPU NVIDIA (Guia Prático)

Evandro Carvalho — Tue, 06 Oct 2026 19:32:24 +0000

A demanda por executar modelos de linguagem locais (Llama, DeepSeek, Qwen, Mistral) para garantir soberania de dados, privacidade e zero custos com tokens de API explodiu.

O Ollama tornou-se o padrão mais simples e eficiente para isso. No entanto, instalar o binário ou drivers CUDA diretamente no sistema operacional do servidor muitas vezes gera conflito de dependências, quebra de bibliotecas após atualizações do kernel (apt upgrade) ou dificuldades para isolar ambientes.

Neste guia, você vai ver como isolar toda a stack de inferência dentro do Docker utilizando o NVIDIA Container Toolkit, com alocação correta de VRAM e boas práticas de segurança de rede.

1. Configurando o NVIDIA Container Toolkit (Host)

Para que o daemon do Docker consiga passar as GPUs e capacidades de computação CUDA para os containers, o host (Debian/Ubuntu) precisa do runtime oficial da NVIDIA.

Execute no terminal:

# 1. Adicionar o repositório oficial da NVIDIA
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 2. Instalar o toolkit e configurar o Docker daemon
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

2. O `compose.yaml` com Aceleração de GPU

Crie um arquivo compose.yaml (ou docker-compose.yml) na pasta do seu projeto.

O ponto crucial está na diretiva deploy.resources.reservations.devices, onde definimos o driver nvidia e as capacidades necessárias (gpu, compute, utility):

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama-gpu-server
    restart: unless-stopped
    ports:
      # Amarre ao localhost para não expor a API sem autenticação na rede externa!
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama_models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu, compute, utility]

volumes:
  ollama_models:
    name: ollama_models_volume

Suba o container em background:

docker compose up -d

3. Validando se a GPU está ativa dentro do Container

Para confirmar se o container está de fato enxergando a GPU NVIDIA e o CUDA:

docker exec -it ollama-gpu-server nvidia-smi

Se a saída do nvidia-smi exibir sua GPU (ex: RTX 3060, RTX 4060 Ti, A100, etc.), o passthrough foi configurado com sucesso!

4. Baixando e Testando Modelos

Você pode interagir diretamente com a CLI do Ollama dentro do container:

# Baixar e testar um modelo leve e rápido (ex: Llama 3.2 de 3B)
docker exec -it ollama-gpu-server ollama run llama3.2:3b

# Ou um modelo focado em código / raciocínio (ex: Qwen 2.5 Coder 7B)
docker exec -it ollama-gpu-server ollama run qwen2.5-coder:7b

Para listar os modelos que já estão persistidos no seu volume Docker:

docker exec -it ollama-gpu-server ollama list

5. Dica Crítica de Segurança de Rede

⚠️ Atenção: Por padrão, a API REST do Ollama (http://localhost:11434/api/...) não implementa camada de autenticação.

Se você alterar a porta para 0.0.0.0:11434, qualquer usuário na mesma rede local (ou na internet, se houver IP público) poderá:

Submeter prompts e consumir 100% da sua VRAM e CPU;
Excluir modelos baixados via chamada DELETE;
Fazer download de modelos arbitrários no seu disco.

Como proteger em produção:

Mantenha a porta amarrada estritamente em 127.0.0.1:11434 no Compose.
Utilize um reverse proxy como Caddy ou Nginx com autenticação por cabeçalho (Authorization: Bearer <seu-token>) e terminação SSL/TLS se precisar expor para outros serviços.
Se for para acesso remoto privado, utilize um túnel VPN moderno como Tailscale ou WireGuard.

Conclusão e Recursos

Rodar o Ollama via Docker Compose traz a tranquilidade de atualizar imagens sem medo de quebrar bibliotecas do sistema operacional, além de facilitar a réplica do ambiente em qualquer servidor.

Publiquei o guia completo com benchmarks de consumo de VRAM (8GB vs 12GB vs 16GB), dicas de dimensionamento de hardware e integrações no meu blog:

👉 Guia Completo: Ollama com Docker e GPU no Fymax Sentinel

Como você está rodando LLMs locais na sua infraestrutura hoje? Utiliza Docker, bare-metal ou soluções como vLLM/LocalAI? Deixe nos comentários!

AI-Powered Zero-Day Chaining: A Deep Dive into Claude Mythos & Project Glasswing

Evandro Carvalho — Sun, 03 May 2026 17:23:06 +0000

The cybersecurity landscape just shifted. Anthropic has confirmed Claude Mythos, a model capable of autonomously identifying and chaining Zero-Day vulnerabilities in under 120 seconds.

Key Technical Highlights:

IVD Architecture: Iterative Vulnerability Discovery allows the model to interact with virtualized environments in real-time, finding memory overflows that static analysis misses.
Polymorphic Payloads: Mythos generates code that changes its signature with every execution, making signature-based detection (AV/EDR) 94% less effective.
Attack Graphs: It maps multi-hop attack paths (up to 18 hops) that are virtually invisible to heuristic scanners.
We are officially entering the AI vs AI era. If you're still relying on legacy firewalls, you're defending a castle with a paper door.

Check out the full technical benchmarks and the performance comparison at Fymax Sentinel: 👉 https://en.landingfymax.com.br/cybersecurity/claude-mythos-ai-cyber-weapon-2026

How are you preparing your stack for autonomous exploit chaining? Let's discuss in the comments.

Llama 4 and the Rise of Sovereign AI: Why Open Source Won in 2026

Evandro Carvalho — Sat, 25 Apr 2026 01:13:55 +0000

This week in April 2026, the AI landscape shifted. Meta’s Llama 4 release isn't just about higher benchmarks; it's about who owns the intelligence. For the first time, organizations can deploy a top-tier model that matches proprietary performance while keeping 100% data ownership.

In this article, we explore the technical breakthroughs and the geopolitical impact of Meta’s boldest move yet.

https://en.landingfymax.com.br/artificial-intelligence/llama-4-meta-open-source-sovereignty-2026

DEV Community: Evandro Carvalho