🌐 A Note on Language: Why This Post is Written in Italian
To the global developer community:
I decided to write this article in Italian, my native language, for a very simple reason that goes beyond convention: I'm convinced that science doesn't have a language, and that architectural concepts and code have even less.
Sometimes, as non-English-speaking developers, we almost feel compelled to express ourselves in a language that isn't ours, simply out of fear of not being "seen" or heard. But true technical collaboration is based on ideas, the solidity of an architecture, and what concepts can convey. If an idea is valid, it overcomes any language barrier; once the paradigm is understood, everyone is free to implement it in the programming language—and natural language—of their choice.
Today, thanks to LLM-based instant translation systems, breaking down this friction literally takes two clicks. If you find Thalamus's vision stimulating, technology will allow you to read it perfectly in your own language. Let's focus on what really matters: the ideas.
Ho deciso di scrivere questo articolo in italiano, la mia lingua madre, per una ragione molto semplice che va oltre le convenzioni: sono convinto che la scienza non abbia una lingua, e che i concetti architetturali e il codice ne abbiano ancora meno.
A volte, come sviluppatori non anglofoni, ci sentiamo quasi costretti a esprimerci in una lingua che non ci appartiene nell'intimo, solo per il timore di non essere "visti" o ascoltati. Ma la vera collaborazione tecnica si basa sulle idee, sulla solidità di un'architettura e su ciò che i concetti riescono a trasmettere. Se un'idea è valida, supera qualsiasi barriera linguistica; una volta compreso il paradigma, ognuno è libero di implementarlo nel linguaggio di programmazione – e nella lingua naturale – che preferisce.
Oggi, grazie ai sistemi di traduzione istantanea basati sugli LLM, abbattere questo attrito richiede letteralmente due clic. Se troverete stimolante la visione di Thalamus, la tecnologia vi permetterà di leggerla perfettamente nella vostra lingua. Concentriamoci su quello che conta davvero: le idee.
1. L'Origine Biologica: Perché la "Corteccia LLM" sta collassando
Nel cervello umano, il talamo non è un semplice passacavo passivo. È la stazione di rilancio centrale, il filtro sensoriale e il meccanismo di gating della mente. Elabora, prioritizza e instrada le informazioni sensoriali in entrata prima che raggiungano la corteccia cerebrale. Senza questo filtro attivo, la corteccia verrebbe sommersa da un rumore ambientale infinito, portando al collasso cognitivo immediato.
Le attuali integrazioni AI per lo sviluppo (come VS Code Copilot o OpenWebUI) soffrono esattamente dello stesso problema. Ogni volta che l'IDE interagisce con un modello, invia una massa caotica di contesto non strutturato: system prompt proprietari, alberi di directory giganti, dichiarazioni di skill statiche e intere cronologie di chat non filtrate.
Ci troviamo a nutrire la nostra "corteccia LLM" con una "Token Soup" un minestrone da oltre 150KB per rispondere a domande banali come "Dove è definita questa funzione?". Questo approccio rozzo comporta:
- Spreco Computazionale enorme: Tempi di prefill biblici sui motori di inferenza locali (Ollama, Llama.cpp), saturando la VRAM e la larghezza di banda del chip (un problema critico quando si lavora in locale su hardware a memoria unificata).
- Context Drift & Entropia: I modelli perdono focus ("Lost in the Middle") a causa di istruzioni contraddittorie accumulatesi nei turni precedenti.
- Perdita di Idempotenza: Richieste duplicate o fallite rinviano la stessa massa di token senza mantenere uno stato pulito.
2. Il Cambio di Paradigma: "Context Window as RAM, not Storage"
I builder di applicazioni LLM stanno commettendo un errore fondamentale: trattare la context window come un hard disk.
La ricerca recente (formalizzata da progetti come Mem0 nel 2026) dimostra che la context window si comporta esattamente come la RAM di sistema: è volatile, estremamente costosa in termini di calcolo e le sue prestazioni degradano esponenzialmente all'aumentare dei token in input.
Inoltre, la letteratura scientifica più recente ("The Price of Meaning: Why Every Semantic Memory System Forgets", arXiv 2026) ha dimostrato matematicamente un limite intrinseco dei sistemi basati puramente sulla ricerca semantica (RAG vettoriale classico): l'organizzazione delle informazioni basata solo sul significato geometrico genera inevitabilmente interferenze, falsi richiami e amnesia sotto carico. La ricerca vettoriale non basta per lo sviluppo software, dove serve precisione millimetrica.
Per questo Thalamus introduce un'architettura di memoria ibrida e deterministica:
- La Lavagna di Stato (State Blackboard in Postgres JSONB): Un registro persistente e centralizzato che traccia i "Contratti di Dipendenza" attivi (schemi DB reali, contratti API, task corrente e componenti esistenti). L'LLM non deve dedurre lo stato del progetto rileggendo la cronologia; lo riceve come snapshot deterministico.
- Memoria Episodica (Qdrant Vector DB): Utilizzata esclusivamente per recuperare frammenti storici pertinenti tramite Topic Routing (es. isolando i vettori taggati
#databasequando si lavora sul backend, evitando che il rumore del CSS contamini la logica SQL).
3. L'Evoluzione del Middleware: Il Pattern "Tabula Rasa"
Nella prima implementazione concettuale, Thalamus agiva in modalità passiva tramite un orchestratore n8n, intercettando i payload e applicando Regex complesse per "sgrassare" i tag XML del client. Questo approccio si è rivelato fragile e parziale: costringeva a rincorrere continuamente i cambi di boilerplate dei vari provider.
Abbiamo quindi ridefinito l'architettura passando al pattern Tabula Rasa (Ricostruzione Attiva).
Thalamus ora agisce come un Cognitive Middleware autonomo scritto in FastAPI e posizionato dietro un gateway di standardizzazione (LiteLLM). Quando il client invia una richiesta:
- Tabula Rasa: Thalamus intercetta la chiamata e scarta il system prompt proprietario del client per evitare la "token soup".
- Sgrassatore Opzionale (Non-Mandatory): Il microservizio include un modulo di sgrassaggio flessibile per ripulire i tag del client ed estrarre informazioni utili (es. codice selezionato o riferimenti ai file). Tuttavia, non è un vincolo bloccante: se lo sgrassatore fallisce o il formato del client cambia, la pipeline non si interrompe.
- Estrazione dei Metadati: Isola il
message_id(per garantire l'idempotenza su Postgres) e ilsession_id. - Ricostruzione Attiva: Compila da zero un prompt denso e strutturato unendo lo snapshot della Blackboard, la sliding window dei log di chat in Postgres e l'ultimo messaggio puro dell'utente.
4. Flusso Operativo della Pipeline v2
Il ciclo di vita di ogni interazione su Thalamus si divide in due hook asincroni:
Pre-Hook (Sintesi del Contesto)
- Idempotency Check: Verifica se il
message_idè già presente in Postgres. Se sì, restituisce immediatamente la risposta memorizzata nella cache. - State & Vector Fusion: Estrae la
state_blackboardattiva e interroga Qdrant applicando il filtro sultopic_tagcorrente. - Prompt Assembly: Genera il prompt finale inserendo le regole di aggiornamento strutturate tramite i tag XML
<thalamus_update>.
Post-Hook (Apprendimento e Scrittura dello Stato)
- Contract Parsing: Intercetta l'output dell'LLM prima che raggiunga il client, cercando il blocco
<thalamus_update>. - Blackboard Patch: Esegue un aggiornamento atomico (patch JSONB) su Postgres per registrare i nuovi fatti architettonici (es. nuovi file creati o schemi modificati).
- Episodic Logging: Salva il turno di chat sgrassato (solo user/assistant puri) in Postgres per le chiamate future.
5. Call for Collaboration: Sali a Bordo
Thalamus è un progetto sperimentale open-source ed è attualmente un work in progress a tutti gli effetti.
Ci tengo a essere estremamente chiaro e trasparente per evitare false aspettative: al momento lo stack infrastrutturale (Postgres + Qdrant + LiteLLM + FastAPI Core) è pronto ed eseguibile in Docker, ma è stato testato esclusivamente il flusso (flow) logico e di comunicazione tra i componenti. Abbiamo validato l'infrastruttura di intercettazione, la persistenza e il passaggio dei payload, ma non siamo ancora di fronte a un assistente "chiavi in mano" pronto per l'uso quotidiano in produzione. La logica profonda dell'agente e la stabilità delle modifiche di stato sulla Blackboard sono in fase di sviluppo attivo.
Siamo nella fase più entusiasmante del progetto: quella in cui la teoria si scontra con la pratica e le "strade aperte" da esplorare sono moltissime. Stiamo cercando sviluppatori, software architect ed entusiasti di IA locale per collaborare su queste sfide aperte:
- Algoritmi di Gravity RAG: Implementare la formula logica di decadimento temporale del
gravity_scorenei log conversazionali, per decidere matematicamente quando un messaggio deve "svanire" per non saturare la memoria episodica. - Gestione dei Conflitti della Blackboard: Progettare algoritmi di risoluzione quando l'LLM propone modifiche allo stato che contraddicono i contratti attivi o lo schema database.
- Prompt Tuning Multi-Modello su DB: Ottimizzare i template del system prompt (salvati a caldo su Postgres in
system_config) per mappare comportamenti diversi su modelli diversi (es. DeepSeek-R1 vs Llama-3 locali).
Se vuoi sporcarti le mani su un'architettura che sfida i limiti della gestione del contest.
🧠 Thalamus: LLM Context Orchestrator & Cognitive Exoskeleton
Stop sending the "token soup." Start orchestrating high-density cognitive flows based on Active Prompt Reconstruction.
⚠️ Project Status: Work In Progress (Flow-Tested Concept)
Thalamus is currently a highly experimental, open-source concept. The orchestration infrastructure (FastAPI, Postgres, Qdrant, and LiteLLM) is fully scaffolded and containerized via Docker, but currently only the logical communication flow has been validated. It is not yet a plug-and-play production assistant. We are actively developing the core agentic reasoning loops and state blackboard patch synchronization.
🚀 The Problem: Context Overflow & "Lost in the Middle"
Current LLM-IDE integrations (VS Code Copilot, Continue, OpenWebUI) suffer from a structural flaw: they treat the LLM's context window as an hard disk rather than RAM. Every single query sends up to 150KB+ of unformatted "Token Soup" (redundant system prompts, static tool definitions, full unstructured chat histories, and massive directory trees).
This approach causes:
- …
💬 Lascia un commento qui sotto con le tue riflessioni o apri una Issue sul repository per iniziare a discutere del design!
Top comments (0)