Construí una Capa de IA Local para Mis Documentos y Fotos — Esto es lo que Aprendí

winchi — Wed, 12 Aug 2026 15:59:26 +0000

El Problema

Quería hacer preguntas sobre mi propia documentación y fotos sin enviarlas a un servicio de IA en la nube. Cosas simples como:

"¿Cuánto gasté en electricidad el año pasado?"
"¿Qué documentos tengo sobre el seguro del coche?"
"¿Cuántas fotos hice en España en 2023?"

Pero no quería que mis facturas, contratos y fotos familiares acabaran en los datos de entrenamiento de otra persona.

El Stack

Componente	Propósito
Paperless-ngx	Archivo de documentos, OCR, metadatos estructurados
Immich	Copia de seguridad de fotos y vídeo
ChromaDB	Índice de búsqueda semántica
Ollama	Inferencia local de LLM
Open WebUI	Interfaz de chat unificada
MCP	Herramientas deterministas para datos estructurados
LiteLLM	Enrutamiento de modelos

Todo se ejecuta en una sola máquina Windows 11 con una RTX 5080 16GB. Una Orange Pi 5 Plus se encarga de los backups.

Dos Lecciones Difíciles

1. Las herramientas deterministas ganan al razonamiento de LLM para cualquier cosa contable

Empecé pidiéndole al modelo que sumara mis facturas. Daba respuestas erróneas. Cada vez.

La solución fue una herramienta MCP de 20 líneas que consulta la API de Paperless y devuelve un número. Sin razonamiento, sin alucinación — solo el conteo correcto.

2. La disciplina de routing importa

Para campos estructurados de facturas (proveedor, total, IVA, número de factura), añadí una regla estricta al prompt del sistema:

> "Consulta siempre a Paperless para estos campos. Nunca uses el índice semántico."

Esto eliminó la mayoría de respuestas erróneas que estaba obteniendo. El índice semántico es genial para "encuéntrame algo sobre el seguro del coche." Es terrible para "¿cuál es el total exacto de la factura #1234?"

¿Por Qué No Usar Directamente la IA Nativa de Paperless 3.0?

Estoy en Paperless 3.0.3, así que tengo las funciones nativas de IA incluyendo chat con documentos. Esta configuración no las reemplaza — las complementa:

Alcance más amplio: La misma interfaz cubre documentos, fotos y vídeo
Operaciones deterministas: Las herramientas MCP garantizan precisión para consultas estructuradas
Experiencia unificada: Una interfaz de chat para todo

Lo Que No Funcionó

También documenté los fracasos. Algunos destacados:

Los intentos iniciales de dejar que el modelo razonara sobre totales de facturas
Intentar usar el índice semántico para extracción exacta de campos
La confusión inicial sobre qué fuente de datos consultar para cada tarea

Write-up completo (español e inglés): github.com/fwinchi/ia-local-casa

Para Quién Es Esto

Personas que quieren consultar sus propios datos sin IA en la nube
Entusiastas del autoalojamiento
Cualquiera curioso sobre MCP como herramienta práctica para precisión de datos

No soy desarrollador. Construido con asistencia de IA, verificación cruzada de sugerencias, y testing antes de aplicar.

Feedback bienvenido — especialmente sobre qué tengo mal.

I Built a Local AI Layer for My Documents and Photos — Here's What I Learned

winchi — Wed, 12 Aug 2026 11:56:47 +0000

The Problem

I wanted to ask questions about my own paperwork and photos without sending them to a cloud AI service. Simple things like:

"How much did I spend on electricity last year?"
"What documents do I have about my car insurance?"
"How many photos did I take in Spain in 2023?"

But I didn't want my invoices, contracts, and family photos ending up in someone else's training data.

The Stack

Component	Purpose
Paperless-ngx	Document archive, OCR, structured metadata
Immich	Photos and video backup
ChromaDB	Semantic search index
Ollama	Local LLM inference
Open WebUI	Unified chat interface
MCP	Deterministic tools for structured data
LiteLLM	Model routing

Everything runs on a single Windows 11 machine with an RTX 5080 16GB. An Orange Pi 5 Plus handles backups.

Two Hard Lessons

1. Deterministic tools beat LLM reasoning for anything countable

I started by asking the model to tally my invoices. It gave wrong answers. Every time.

The fix was a 20-line MCP tool that queries the Paperless API and returns a number. No reasoning, no hallucination — just the correct count.

2. Routing discipline matters

For structured invoice fields (supplier, total, VAT, invoice number), I added a strict rule to the system prompt:

> "Always query Paperless for these fields. Never use the semantic index."

This eliminated most of the wrong answers I was getting. The semantic index is great for "find me something about car insurance." It's terrible for "what's the exact total of invoice #1234?"

Why Not Just Use Paperless 3.0's Native AI?

I'm on Paperless 3.0.3, so I do have the native AI features including document chat. This setup doesn't replace them — it complements them:

Broader scope: Same interface covers documents, photos, and video
Deterministic operations: MCP tools guarantee accuracy for structured queries
Unified experience: One chat interface for everything

What Didn't Work

I documented the failures too. Some highlights:

Early attempts at letting the model reason about invoice totals
Trying to use the semantic index for exact field extraction
Initial confusion about which data source to query for which task

Full write-up (Spanish and English): github.com/fwinchi/ia-local-casa

Who This Is For

People who want to query their own data without cloud AI
Self-hosting enthusiasts
Anyone curious about MCP as a practical tool for data accuracy

Not a developer. Built with AI assistance, cross-checking suggestions, and testing before applying.

Feedback welcome — especially on what I've got wrong.

DEV Community: winchi