Needle 2: the 14 MB agentic model, tested properly
https://www.youtube.com/watch?v=_-5b7PigRSQ
视频 Needle 2: the 14 MB agentic model, tested properly 详细评测并介绍了由 Cactus Compute 推出的轻量级 Agent 端侧模型 Needle 2。
作者通过实际安装、测试与代码验证，梳理了该模型的架构亮点、核心功能、存在的 Bug 与限制，以及适用场景：
模型核心特点与架构创新
- 极致轻量： 全模型仅 14 MB（4500万参数、2-bit 量化），运行所需内存仅约 26–28 MB，完全不需要 GPU，可直接部署在低成本的无网边缘设备（如智能门铃、温控器等）。
- 架构精简： 移除了传统的 Feed-Forward（前馈）层，改用无需存储权重且计算效率极高的 Hadamard 变换；事实记忆则通过哈希 N-gram 表查找，大幅减少了算力消耗（每 Token 仅需 70 Megaflops）。
- 三大核心功能： 专门用于 工具调用 (Tool Calling)、设备控制 (Device Control) 以及 从文本提取结构化数据 (Structured Extraction)。
实测发现的三大问题/缺陷
- 对话上下文漂移（Answer Drift）：
- 多轮对话后模型的判断准确度会下降（例如将“亮度调至一半”从最初正确的 50% 逐渐漂移为 30%）。
解决方法： 需在代码中主动调用未在文档中公开的
agent.reset()方法清空上下文状态。置信度得分（Confidence Score）反向/不可靠：
作者在实测中发现，模型在执行完全正确的工具调用时给出的置信度为
0.0000，而在执行错误的工具调用时却给出了0.71的高置信度。结构化提取存在局限：
对日期格式要求严格（必须为 ISO 标准格式
YYYY-MM-DD）；提取多字段（如 8 个字段）时容易产生幻觉，将字段标签误填为字段值。
最终结论与适用场景
- 优势： 安装极其简单（PyPI 一键安装）、内存占用有明确上限、支持完全离线运行、输出带有明确的推理链（Reasoning Trace）。
- 不适用： 不适合做闲聊 Chatbot，也缺乏通用大模型的世界知识。
- 最佳场景： 非常适合嵌入式设备、IoT 智能家居控制器等硬件成本受限且只需进行指令解析与控制的离线端侧场景。
Top comments (0)