WorkBuddy 本地大模型需手动通过「AI 模型管理」添加单个.gguf文件并启用llama.cpp引擎;路径不含中文/空格、线程数设为物理核心数、关闭Windows Defender;断网重启后验证网络流量为0且能秒回系统时间,方确认纯本地运行。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
WorkBuddy 本地大模型调用不依赖云端 API,但必须手动加载 GGUF 模型并启用 llama.cpp 引擎——否则即使文件放对位置,模型也不会真正运行。
怎么把 .gguf 模型文件正确加载进 WorkBuddy
WorkBuddy 不会自动扫描硬盘找模型,必须通过「AI 模型管理」界面显式添加路径。常见错误是双击模型文件用其他工具打开,或把模型拖进主窗口——这些操作完全无效。
点击左下角齿轮图标 → 左侧选「AI 模型管理」→ 点「添加本地模型」
在弹窗中点「浏览」,**必须选中 .gguf 后缀的单个文件**(如
),不能选文件夹
名称可自定义,但「上下文长度」建议填
,线程数设为 CPU 物理核心数(Windows 任务管理器 → 性能 → CPU 可查)
关键一步:务必勾选「启用本地推理引擎(llama.cpp)」,否则模型只是存着,不参与推理
为什么模型显示“已就绪”却响应极慢或无输出
表面状态正常,实际可能卡在推理层。llama.cpp 对硬件和参数敏感,几个典型原因:
Qwen
阿里巴巴推出的一系列AI大语言模型和多模态模型
下载
类量化模型在老旧 CPU(如 i5-7200U)上单次生成可能超 20 秒,换
或
量化档位可提速,但牺牲精度
线程数设太高(比如设成逻辑核心数 8,而物理核心只有 2)反而引发调度争抢,推荐值始终是物理核心数
模型路径含中文或空格(如
)会导致 llama.cpp 加载失败,日志里出现
但 UI 不报错
未关闭 Windows Defender 实时防护——它会反复扫描 .gguf 文件,导致推理中途卡顿,临时禁用可验证
如何确认模型真正在本地跑,而不是偷偷连网调用远程服务
WorkBuddy 的离线状态不是默认开启的,必须主动断网 + 主动验证。光看状态栏“离线运行中”不可靠,因为它是基于上次网络检测缓存的。
拔掉网线 / 关闭 Wi-Fi,再重启 WorkBuddy,此时状态栏才可信
在聊天框输入明确需本地计算的指令,例如「请输出当前系统时间」,如果秒回且内容格式像本地 shell 输出(如
),说明走的是本地推理
打开 Windows 资源监视器 → 网络 → 找
进程,观察「发送/接收字节」列是否持续为
;只要出现非零值,说明有后台连接(可能是更新检查或遥测,需关隐私设置)
最易被忽略的一点:Claw 服务和本地模型是两套独立系统。即使模型加载成功,若右下角 Claw 状态是「未启动」,所有涉及文件读写、自动化流程的任务仍无法执行——它们依赖 Claw 调度,不走纯模型推理路径。
qwen2.5-0.5b-q4_k_m.gguf4096q4_k_mq2_kq3_k_lC:\我的模型\qwen.gguffailed to load model2026-04-08 18:35:22WorkBuddy.exe0