Sintesi di TechCrunch, NVIDIA Developer Blog, arXiv, Databricks Blog, TechTalks e MindStudio.
TL;DR
Negli ultimi mesi è emerso un consenso crescente nel mondo della ricerca e dell'industria: quando si valuta un AI agent, il modello di linguaggio è solo uno dei fattori. La differenza reale la fa l'harness — lo scaffolding di strumenti, memoria, orchestrazione, supervisione e governance che trasforma un modello in un sistema autonomo. Evidenze recenti mostrano che uno stesso modello può raddoppiare i costi o triplicare i punteggi a seconda dell'harness utilizzato.
1. Il segnale NVIDIA: AVO raggiunge il 100% su ARC-AGI-3
Il risultato
Il 21 agosto 2026, NVIDIA ha pubblicato una ricerca che dimostra come il proprio sistema AVO (Agentic Variation Operators) — originariamente progettato per ottimizzare autonomamente kernel GPU su DGX B200 — abbia ottenuto un punteggio perfetto 100.00 RHAE su ARC-AGI-3, completando tutti i 183 livelli della porzione pubblica del benchmark in 6.624 azioni. Il modello sottostante era Claude Opus 5.
Il dato che fa notizia
Sempre utilizzando Claude Opus 5, senza harness personalizzato, ARC Prize riporta un punteggio di circa 30% sulla stessa porzione pubblica. La differenza non deriva da un modello diverso, ma dall'harness: AVO aggiunge due componenti che il modello nativo non possiede:
- Memoria persistente: conserva implementazioni precedenti, risultati di valutazione, output di compilatori/profiler e ragionamento accumulato attraverso i confini del contesto.
- Supervisore (supervisor): monitora la traiettoria globale dell'agente, rileva stalli o cicli improduttivi e redirige l'agente principale verso strategie alternative.
La trasferibilità che sorprende
Il risultato più interessante non è il 100% in sé, ma il fatto che la stessa architettura — sostanzialmente invariata — sia stata trasferita da un dominio specializzato (ottimizzazione GPU, feedback da compilatori) a un dominio completamente diverso (ragionamento interattivo su giochi senza regole esplicite, feedback da transizioni d'ambiente). Il ciclo rimane lo stesso: ipotesi → azione → osservazione → aggiornamento → revisione.
Le cautele metodologiche
NVIDIA stessa specifica che:
- Il risultato è sulla porzione pubblica di ARC-AGI-3, non sulle porzioni semi-private o private.
- Il confronto con VISTA (7.542 azioni vs 6.624) non è un'ablation controllata — i due sistemi differiscono per backend, rappresentazione delle osservazioni, memoria e impostazioni di reasoning.
- Il confronto con Opus 5 nativo (30% vs 100%) non è isolato — diverso setting di reasoning e diversa configurazione di valutazione.
Il messaggio di fondo, difendibile, è che il punteggio di un agente dipende dall'intero sistema, non solo dal modello. Citazione diretta: "The model matters, but the model is not the entire agent."
2. Databricks: l'harness decide anche i costi
Il benchmark interno
A luglio 2026, Databricks ha pubblicato un benchmark interno condotto sulla propria codebase multi-milione di righe (Python, Go, TypeScript, Scala, Rust, Java, Bazel, Protobuf). Il messaggio è netto: la scelta dell'harness può più che raddoppiare i costi senza alcun cambiamento nella qualità dell'output.
Parole del CEO Ali Ghodsi: "You can pick the same model but different harnesses, and you get significantly more cost if you use the wrong harness... That itself can 2x your cost."
Il problema pratico
I costi di token stanno diventando una delle prime tre voci di spesa R&D per i clienti Databricks, dietro solo gli stipendi e altri costi IT. Aziende che sono passate da zero a decine di milioni al mese in spesa AI — anche con errori costosi — hanno bisogno di strumenti per governare questa spesa.
Omnigent: il meta-harness open source
Per rispondere a questo problema, Databricks ha introdotto Omnigent, un meta-harness open source (Apache 2.0) che si posiziona sopra gli harness esistenti (Claude Code, Codex, Pi, agenti custom). Invece di sostituirli, Omnigent li orchestra:
- Composizione: combina modelli e harness diversi con una singola riga di codice.
- Controllo: politiche contestuali che impongono budget di costo, permessi granulari e guardrail.
- Collaborazione: sessioni agent condivisibili via URL per revisione di gruppo in tempo reale.
- Sandbox OS: intercettazione di richieste di rete per evitare che segreti (es. token GitHub) lascino l'ambiente.
L'idea chiave: l'harness sta diventando a sua volta un layer separato di astrazione, come lo è diventato Kubernetes rispetto ai singoli server.
3. Il quadro teorico: lo "System Scaling" di UC Berkeley
La tesi
Un paper di UC Berkeley pubblicato a maggio 2026 (arXiv:2605.26112) formalizza il concetto: il prossimo collo di bottiglia nell'AI agentica non è il model scaling, ma lo system scaling — scalare l'harness come oggetto di progetto di prima classe.
Citazione: "The dominant story of recent AI progress has been model scaling... For agentic AI, this story is now incomplete."
I sei componenti dell'harness
Il paper decompone un agent harness in:
- Reasoning substrate: il/i LLM sottostanti
- Memory store: archiviazione a lungo termine
- Context constructor: assemblaggio e pulizia del contesto inviato al modello
- Skill-routing layer: decisione su quali skill/strumenti attivare
- Orchestration loop: sequenziamento delle operazioni
- Verification-and-governance layer: controllo di qualità, permessi, rollback, audit trail
I tre colli di bottiglia strutturali
| Bottleneck | Descrizione | Esempio pratico |
|---|---|---|
| Context governance | La capacità del contesto non basta; serve una politica di selezione rigorosa | Claude Code ha un sistema a 5 livelli di compaction, compreso "micro-compact" per tool obsoleti e scrittura di log su disco con preview di 8KB per evitare token bloat |
| Trustworthy memory | Il rischio è la "memoria stabile ma sbagliata" — un agente confida in una nota vecchia su un codicebase rifattorizzata | Meccanismo "skeptical memory": ogni affermazione in MEMORY.md è verificata contro il filesystem prima di azioni distruttive |
| Dynamic skill routing | Avere skill non basta; serve routing e verifica post-condizione | Skill concatenate su problemi ambigui introducono errori di routing e contraddizioni se non controllate |
Il paper sviluppa anche CheetahClaws, un harness di riferimento open source per benchmarkare questi componenti in modo isolato.
I nuovi metrici di valutazione
I benchmark attuali sono troppo focalizzati sul one-shot outcome. Il paper propone metriche di processo:
- Trajectory hygiene: quanto è pulita la sequenza di azioni?
- Context efficiency: token spesi vs valore informativo
- Memory hygiene: la memoria rimane utile o diventa rumorosa nel tempo?
- Communication fidelity: quanto bene gli agenti multi-modello condividono stato?
- Verification cost: overhead delle verifiche intermedie
- Safe evolution: se l'agente "apprende" nel tempo, rimane governabile?
4. Perché il mercato sta cambiando: evidenze e tendenze
4.1 Harness commerciali vs open
L'ecosistema si sta polarizzando tra:
- Harness proprietari: Claude Code (Anthropic), Codex (OpenAI), Cursor, Windsurf — integrati in prodotti verticali.
- Harness open/comunitari: OpenClaw, CheetahClaws, frameworks LangChain/LangGraph, stack NVIDIA NeMo.
- Meta-harness: Omnigent, compositori multi-agente — un livello superiore che orchestra harness eterogenei.
4.2 Il supervisor come pattern emergente
Il concetto di un agente "supervisore" che osserva e corregge l'agente principale non è nuovo, ma AVO lo rende concreto come componente architetturale standard. Si ispira ai modelli CEO/direttore di progetto: il main agent esegue, il supervisor valuta la traiettoria e interviene quando si blocca.
4.3 Multi-agent architectures
Databricks Genie, Harvey (frontier advisor + open-source worker), Anthropic Research System (lead agent + subagenti paralleli): tutti convergono su architetture a più livelli dove il routing tra modelli/agenti è gestito a livello di harness.
5. Implicazioni per le organizzazioni
5.1 Non ottimizzare il modello sbagliato
Uno degli errori più comuni è passare da GPT-4o a Claude 3.5 Sonnet sperando in guadagni, mentre il vero problema è a monte o a valle del modello: retrieval non efficiente, orchestrazione sequenziale, assenza di retry logico.
5.2 Costi reali
- Per-token pricing ≠ costo per task. L'harness determina quanti token vengono spesi per completare un task.
- Fino a 2x di costo in più con lo stesso modello e harness sbagliato (Databricks).
- L'efficienza dell'azione su ARC-AGI-3: AVO risparmia ~12% sulle azioni rispetto a VISTA sullo stesso modello — in un task sintetico; in un processo industriale l'impatto è ancora maggiore.
5.3 Governance e sicurezza
L'harness è anche il luogo dove si implementano:
- Audit trail
- Rollback su azioni distruttive
- Sandbox OS per limitare accessi
- Politiche di costo dinamico
- Controlli di allineamento (alignment)
NVIDIA sottolinea che l'open harness permette di "girare più manopole" per migliorare l'accuratezza e la sicurezza, mentre modelli closed-source con harness closed-source limitano il controllo.
5.4 Talent gap
Esiste una crescente domanda di harness engineers — professionisti che progettano l'architettura di esecuzione attorno ai modelli, piuttosto che solo prompt engineers o ML engineers. Le competenze richieste includono: design di memoria affidabile, orchestrazione concorrente, governance di contesto, verifica formale di output.
6. Conclusione: verso un nuovo layer di astrazione
La narrazione dominante degli ultimi anni è stata: "Il modello è tutto. Bigger is better." I fatti del 2026 ribaltano lo schema.
- NVIDIA AVO dimostra che lo stesso modello può passare dal 30% al 100% su un benchmark complesso con l'harness giusto.
- Databricks dimostra che lo stesso modello può avere costi raddoppiati con l'harness sbagliato.
- UC Berkeley formalizza che i bottleneck sono governance del contesto, memoria affidabile e routing dinamico — non la dimensione del modello.
Il futuro dell'AI agentica si gioca su questo layer intermedio: l'harness. E forse, presto, sul meta-harness che lo sovrasta.
Fonti
- TechCrunch — Nvidia just showed that the harness, not the AI model, is now the real hero (21 ago 2026)
- NVIDIA Developer Blog — NVIDIA AVO Reaches 100% on ARC-AGI-3 (21 ago 2026)
- arXiv — From Model Scaling to System Scaling: Scaling the Harness in Agentic AI (UC Berkeley, mag 2026)
- Databricks Blog — Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase (lug 2026)
- Databricks Blog — Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents (giu 2026)
- TechTalks — Why the future of agentic AI is all about the harness (1 giu 2026)
- MindStudio — What Is the Harness vs Model Distinction? (4 giu 2026)
- explainx.ai — NVIDIA AVO Hits 100% on ARC-AGI-3 — But Read the Fine Print (21 ago 2026)
- arXiv — AVO: Agentic Variation Operators for Autonomous Evolutionary Search (2603.24517)
- ARC Prize — ARC-AGI-3 methodology e risultati
Top comments (0)