AnythingLLM Desktop 是一款把 AI 对话、文档知识库和智能代理整合到个人电脑上的桌面应用,支持 Windows、macOS 与 Linux。它可以使用内置或外部的本地模型,也能连接 OpenAI、Anthropic、Gemini、OpenRouter、Ollama、LM Studio 等服务。真正需要先决定的不是界面主题,而是模型在哪里运行、资料要交给谁处理,以及你是否需要多人共享。
下载后先完成桌面版的三项配置
AnythingLLM Desktop 的正确起点是先确定“模型在哪里运行、资料放在哪个工作区、是否需要多人访问”。桌面版适合单机使用;Docker 版才承担多用户、权限和浏览器访问。首次安装只建立一个测试工作区和少量非敏感文档,先确认回答能引用正确内容,再导入正式资料。
- 按 Windows、macOS 或 Linux 与处理器架构选择 1.16.1 安装包;Windows 优先选择当前用户安装。
- 在设置中分别确认聊天模型、嵌入模型和向量数据库,不要把更换聊天模型误当成索引重建。
- 创建测试工作区,先用附件完成一次总结,再将需要跨线程复用的文档嵌入工作区。
- 核对回答来源、数据目录和备份方式;未完成权限设计前不要开启网络发现或暴露到公网。
先确定模型运行在本机还是云端
AnythingLLM Desktop 本身免费并采用 MIT 开源许可,安装后无需注册账号即可开始配置。选择本地模型时,模型文件、文档索引和聊天数据可以留在设备上,但推理速度、可用上下文和模型规模会受内存、显存与磁盘空间限制。选择云端模型时,客户端负担较轻,通常需要相应服务的 API 密钥,并可能按调用量计费;发送给模型提供商的提示词和上下文也要遵循对方的数据政策。
首次配置建议按“聊天模型、嵌入模型、向量数据库”三个角色分别确认。聊天模型负责生成回答,嵌入模型负责把资料转换为可检索的向量,向量数据库保存这些索引。它们可以全部使用本地组件,也可以混合本地与云端服务。只换聊天模型不会自动重建已有文档索引,调整嵌入方案前应先确认是否需要重新处理资料。
用工作区隔开项目与上下文
工作区适合按客户、课程、研究主题或知识库用途划分资料。每个工作区可以设置自己的模型、系统提示词和文档范围,同一工作区下还能建立多个聊天线程。这样做的价值是让长期资料与临时对话保持边界,而不是把所有文件堆进一个不断增长的聊天记录。
导入资料后,先用一个答案明确、能在原文定位的问题检查检索效果,再逐步加入更多文档。回答偏离资料时,应先核对文件是否进入正确工作区、解析内容是否完整、引用片段是否相关,然后再调整检索数量、相似度阈值或重排策略。增加更多上下文不一定更准确,噪声过多反而可能干扰模型判断。
附件与 RAG 文档不是同一种用法
临时附件会把内容用于当前线程,适合一次性总结、改写或比较少量文件;当全文超过模型上下文窗口时,部分内容可能被裁剪。嵌入到工作区的文档会被切分并建立索引,通过 RAG 只检索与问题相关的片段,适合多轮问答和反复使用的资料库。
| 资料方式 | 适合任务 | 主要边界 |
|---|---|---|
| 聊天附件 | 当前线程的一次性阅读与总结 | 受模型上下文窗口限制,不会自动供其他线程长期调用。 |
| 工作区 RAG | 跨线程复用的大型资料库 | 回答依赖切分和检索结果,不会把全文每次都送给模型。 |
| 固定文档 | 必须始终进入上下文的短小关键资料 | 会持续占用上下文,应控制长度和数量。 |
嵌入文档后,该工作区中的其他线程也能检索它。放入合同、内部报告或个人资料前,应先确认工作区用途;若接入云端聊天或嵌入服务,还要确认哪些文本会被发送到外部服务。
本地优先也需要备份与权限管理
官方文档列出了桌面版的数据目录:Windows 位于用户目录下的 AppData\Roaming\anythingllm-desktop\storage,macOS 位于用户 Library 的 Application Support 目录,Linux 位于 ~/.config/anythingllm-desktop/storage。其中包含 SQLite 数据库、文档解析结果、向量缓存、本地模型、插件和日志。迁移或重装前应在应用完全退出后备份整个 storage 目录,而不是只复制原始文档。
桌面版默认只在本机回环地址监听。开启 Network discovery 后,后端 API 会监听局域网地址,但它不会变成带登录界面的共享网站;官方明确提醒不要把桌面版暴露到公网,因为该接口前面没有用户认证。需要多人账号、权限控制、浏览器访问或嵌入网页聊天时,应选择 Docker 版并按服务器方式部署。
硬件需求主要由本地模型决定
AnythingLLM 客户端本身较轻,官方给出的基础本地体验参考配置为 16GB 内存和 8 核 CPU;Windows 使用本地模型时建议有 GPU,8–12GB 或更多显存有助于运行更大的模型。该数字不是所有模型的最低门槛:小模型可以降低资源需求,大模型、长上下文和并行代理任务会增加内存、显存与存储占用。若使用云端模型,电脑端要求会明显降低。
截至 2026-09-06,官方稳定版为 1.16.1,发布于 2026-08-27。基础桌面应用可免费使用,但可选的 Desktop Pro 功能以及外部模型、搜索、语音或其他第三方服务可能另行收费。对于只想在一台电脑上建立个人 AI 工作区、管理文档并使用代理工具的人,Desktop 是直接入口;如果目标是团队共享和权限管理,Docker 版更符合产品边界。
相关软件
没有相关内容!
暂无评论...
![AnythingLLM Desktop的使用截图[1]](https://wn.zmoyun.com/wp-content/uploads/2026/09/1788591453-anythingllm-desktop-screenshot-1.webp)
![AnythingLLM Desktop的使用截图[2]](https://wn.zmoyun.com/wp-content/uploads/2026/09/1788591456-anythingllm-desktop-screenshot-2.webp)