跳转到主内容

使用本地 AI 模型聊天

为什么要使用本地 AI 模型？​

在本地使用 AI 模型具有重要优势：

  • 本质安全 - 你的数据保留在本地计算机上，绝不发送到外部服务器
  • 没有额外费用 - 本地模型没有每次使用的 API 成本
  • 隐私得到保障 - 适用于敏感文件和信息

为什么选择 Ollama？​

Ollama 是一个工具，便于在本地运行 AI 模型。它在每台计算机上单独安装，因此没有用户数量的限制——无需共享服务器。

安装 Ollama​

  1. 访问 Ollama 下载页面
  2. 下载适用于你的操作系统的版本（Windows、macOS 或 Linux）
  3. 按照安装程序完成安装 Ollama
  4. 安装后，Ollama 会在后台自动运行

安装一个语言模型​

安装 Ollama 后，至少需要下载一个语言模型：

  1. 打开 Ollama 界面（通过系统托盘图标或终端）
  2. 下载你选择的语言模型

推荐模型​

优先选择具备 工具能力 与 视觉能力 的模型：

  • Tools 能力 - 模型可以使用应用中的所有工具，如联网搜索和生成图片
  • Vision 能力 - 模型可以分析并描述图片
推荐模型

qwen3-vl:4b 在速度与工具/视觉能力之间提供了良好平衡。请通过终端安装这个模型：

ollama pull qwen3-vl:4b

根据硬件选择模型​

模型的性能在很大程度上取决于你电脑的硬件：

硬件建议
有限 (8GB RAM，无 GPU)选择较小的模型（1-4B 参数）
中等 (16GB RAM，基础 GPU)模型至多 7B 参数
强大 (32GB+ RAM，现代 GPU)可能使用更大模型（13B+）
速度 vs. 质量

较小的模型通常在速度方面表现更好，但可能给出不那么准确的答案。请尝试以找到最适合你场景的平衡点。

桌面应用中的配置​

一旦 Ollama 运行并安装了模型，桌面应用会自动检测到它。然后你可以在对话中将本地模型作为云模型的替代选项进行选择。

可用的具备工具/视觉支持的模型​

查看 ollama.com/library 的完整列表。筛选带有：

  • Tools 标签表示具备工具能力
  • Vision 标签表示具备图片识别能力

热门选项：

  • qwen3-vl:4b - 紧凑、快速，工具 + 视觉
  • llama3.2-vision - 具备视觉能力
  • mistral - 快速的通用任务
WhatsApp