零成本给自己搭一个私有 AI 聊天站：Ollama + Open WebUI 实操手记

为什么想自己搭一个

我在电站上班，平时少不了让 AI 帮忙润色通报、解释报错、整理培训材料。但公网上的 AI 服务有个让我别扭的地方：粘贴过去的每一段文字，都出了我自己的电脑。运行手册、缺陷记录这些东西，说轻了是单位资料，说重了还涉及生产安全，我不想拿它们去赌别家的隐私条款。

所以我的目标很简单：在自己电脑上跑一个能聊天的私有 AI，网页界面，顺手好用。调研了一圈之后，我选了这两个组合——Ollama 负责跑模型，Open WebUI 负责给人看。两者都是 GitHub 上十几万 star 的开源项目，文档齐全，Windows 上也能一路点下来。

说个具体场景你就有感觉了：上次我把一段脱敏后的巡检记录格式要求丢给它，让它按模板逐条重写，全程没有一行文字离开我的硬盘。这种"用起来没有心理负担"的感觉，是公网服务给不了的。

▲ 图 1：Ollama 项目标志（来源：ollama/ollama GitHub 仓库 README，MIT 许可）

Ollama 可以理解成"大模型版的 Docker"：一条命令把模型拉下来、跑起来，不用自己折腾 Python 环境和显卡驱动。Open WebUI 则是一个自托管的网页聊天界面，长得像 ChatGPT，但后端连的是你本机的 Ollama。聊天内容、上传的文件，全部留在你自己的机器上。

第一步：装 Ollama 并跑通第一个模型

Ollama 支持 Windows、macOS、Linux。Windows 下两种装法任选其一：

打开官网下载页，下载 OllamaSetup.exe 一路下一步；
或者在 PowerShell 里执行官方一键安装命令：irm https://ollama.com/install.ps1 | iex。

装完它会在后台常驻一个服务，默认监听 127.0.0.1:11434。打开命令行，拉一个中文能力不错的开源模型试试：

ollama run qwen3:8b

第一次运行会自动下载模型（qwen3:8b 约 5.2 GB），下完直接进入对话。电脑配置一般的话，可以换小一档的 qwen3:4b（约 2.5 GB）或者 qwen3:1.7b（约 1.4 GB），先把流程跑通再追大模型。下载卡住不用急，放到网速好的时段让它慢慢拉即可。

跑起来之后常用两条命令：ollama list 看本地有哪些模型，ollama ps 看正在运行占了多少内存。

第二步：装 Open WebUI

Open WebUI 官方推荐 Docker 一键部署，但国内直连它的镜像仓库 ghcr.io 经常拉不动，所以我在自己电脑上走的是 pip 安装这条路，反而更省心。唯一要注意：官方 README 明确要求 Python 3.11，版本不对装不上。

pip install open-webui
open-webui serve

装完执行 open-webui serve，浏览器打开 http://localhost:8080 就能看到界面。第一次打开会要求注册账号——第一个注册的账号自动就是管理员，记得设个像样点的密码。

▲ 图 2：Open WebUI 官方横幅（来源：open-webui/docs 文档仓库）

如果你的 Ollama 和 Open WebUI 装在同一台电脑上，WebUI 一般会自动识别到本机的模型，不用手动配。万一没认出来，去左下角头像 → Settings → Connections，把 Ollama API 的开关打开、地址指向 http://localhost:11434 即可。

Open WebUI 后台 Connections 设置页，可管理 OpenAI API 与 Ollama API 连接

▲ 图 3：Connections 设置页（来源：open-webui/docs 文档仓库）

▲ 图 4：Open WebUI 聊天主界面（来源：open-webui 仓库 README 自带 demo 截图）

界面上选一个 qwen3 模型，就能开始聊了。左侧栏还有 Workspace、Knowledge 这些入口，后面进阶会用到。

两个进阶玩法

用知识库功能喂它站内资料。 左侧 Workspace → Knowledge 新建一个知识库，把规程、说明书 PDF 拖进去，再开一个新对话把它挂上，模型回答就会基于你的文档。这套 RAG 走本地 embedding，数据依旧不出机。注意：用 Docker 部署的话，文档解析和向量功能依赖完整版镜像（:main），slim 精简版不带。

装一个小模型当"后勤"。 Open WebUI 有个 Task Model（任务模型）的概念：让 1.7b 这种小模型专门干自动生成会话标题、打标签的杂活，不占主力模型的资源。在 Settings → Admin Settings 里可以换。

手机也能直接用。 Open WebUI 是一个 PWA 应用，手机浏览器打开后"添加到主屏幕"，就能获得一个全屏的独立 App 体验，局域网内随手问两句很方便。

我踩过的坑

镜像拉不动。 Docker 路线的官方命令指向 ghcr.io，网络条件不友好时干脆走 pip，还能顺便避开 Docker Desktop 的一堆开销。
Python 版本不对。 官方只保证 3.11，用 3.12/3.13 装失败不要怪包。
端口别搞混。 Ollama 是 11434，Open WebUI 是 8080，浏览器访问的是后者。
内存要留够。 8b 模型跑起来常占 6 GB 上下，再加上 WebUI 本身，16 GB 内存的机器比较从容；8 GB 的机器建议先用 4b。
想给局域网同事一起用的话，需要把 Ollama 的监听地址从默认的 127.0.0.1 放开（设置环境变量 OLLAMA_HOST=0.0.0.0），只在自己电脑上用就别动，安全。

总结

Ollama 加 Open WebUI，一个管模型、一个管界面，半小时内就能把"数据不出机"的私有 AI 聊天站搭起来。对资料敏感、又想日常用上 AI 的同行，这条路值得一试。后续我打算把电站常用的规程整理成知识库挂上去，效果好的话再写一篇记录。