怎么在本地跑起一个 AI 助手?Ollama 零基础教程 30 分钟搞定

更新于 2026-08-06。star 数对着 GitHub 仓库核过。

先说结论:没显卡也能跑,没账号也能跑,断网也能跑。你缺的不是硬件,是有人把步骤拆到"下一步该点哪"的程度——这篇就是。我踩过的坑都写在里面了,照着走基本不会翻车。

为什么要在自己电脑上跑模型

三条理由,每条都是我自己的真实感受,说真的,最后一条最打动我:

• 不按字数收费。 在线 AI 聊到一半弹充值框,本地模型没有这个概念,跑多少都那样。
• 数据在自己手里。 你问的东西、贴的文档,不出这台机器。公司资料、合同、不想给别人看的东西,本地跑是唯一答案。
• 断网能用。 这个体验很微妙:当你发现 AI 在离线状态下还在正常工作,你才真正意识到它是工具,不是订阅。

小结: 代价是:模型没有在线旗舰那么聪明,响应也没那么快。但"够用"和"最好"之间,价格差了十万八千里。反正我本地跑了大半年,除了偶尔显存不够要关几个软件,没觉得比在线差多少。

第一步:装 Ollama

结论:目前本地跑大模型的事实标准是 Ollama(★177,000,MIT),一条命令就能装。证据:社区里几乎所有本地模型教程都以它为默认,生态最全。下面三步照做,30 分钟能跑起来。

做法:去 ollama.com 下载对应系统的安装包,双击装完就行。装完 Windows 右下角托盘会有小图标,Mac 是菜单栏,不用管它——它在后台待命。总结:安装本身没有坑,官网下载最稳。

装完打开终端(Windows 是 CMD 或 PowerShell),输:

``` ollama --version ```

验证标准:能看到版本号,就成了。说实话,这一步基本不会出问题,出了也别慌,重启一下终端再来。

小结: 装完这一步,Ollama 已在后台待命,你的电脑拥有了一个本地模型引擎,下一步是给它喂模型。

第二步:拉一个模型

终端里输这条:

``` ollama pull llama3.1:8b ```

说明:它在下载模型文件,几个 GB,时长取决于网速。这时候去泡杯茶,别盯着进度条——它不会更快。总结:等下载完,离线模型就归你了。

结论:8b 这个参数档,是"普通电脑能跑"和"智商够用"的平衡点。怎么选:显卡好的可以试试更大的,老电脑就跑 7b 或更小的,跑得动最重要。讲真,8b 对大多数人就是甜点位,往上加量不如先跑起来。

小结: 模型下载完成,你就拥有一个离线、私密的本地模型文件,随时可调用,不按字数收费。

第三步:开聊

``` ollama run llama3.1:8b ```

做法:打字、回车,它回你,就这么简单。提醒:第一次回复会慢,因为模型在加载,不是死机,等它几秒。总结:到这一步,本地 AI 助手就跑起来了。

实话说,第一次看到笔记本上那个小模型一本正经回答我的问题,我笑出声了。它没有 ChatGPT 快,也没有 ChatGPT 聪明,但它是你的——离线、私密、免费,没人读你的对话,这点在线工具给不了。

小结: 到这一步,本地 AI 助手已经能用了——30 分钟是保守说法,实际可能更快。

第四步(可选):给它换个好看的界面

结论:纯终端聊天够用,但想要 ChatGPT 那种网页聊天框,装个 Open-WebUI 套上去就行。做法:它自动连你本地 Ollama,界面顺手多了——值得一试。

小结: 界面不是必需,但对日常聊天体验提升明显,值得一试。

出问题怎么办

先说结论:报错就三类,按类排查,十分钟内基本能解决,别急着重装系统。

• 下载失败/拉取报错:多半是磁盘空间不够,或者模型名字拼错了。先 ollama list 看看,再查空间。
• 回复特别慢:Windows 上常见原因是 Ollama 没吃上 GPU,去托盘图标看看。没 GPU 的话,慢是正常的,别跟它急。
• 终端像卡住了:不是卡,是它在想,长回复要等。别 Ctrl+C,等了就白等了。

小结: 遇到问题按"下载→速度→卡顿"顺序排查,多数是环境问题而非模型问题。

装完以后能干嘛

本地模型不是摆着看的。几个我实际在用的场景:

• 配合 dify(★149,786)把本地模型接进可视化工作流,搭自己的知识库机器人——文档喂进去,它只从你的资料里找答案
• 用 JARVIS(★142,422)做本地模型全家桶,写代码、处理文件一套搞定
• 纯本地写周报、改文案、翻译,不涉及敏感信息的都丢给它

结论:这三款工具在 AI工具超市都有开箱即用安装包,不用自己配环境、不用翻 GitHub。证据:每个包都附安装说明和常见报错处理,遇到问题照文档排查就行。

说句实话

先说结论:本地模型这条路的入门门槛,已经低到"双击安装包"了。真正劝退人的不是技术,是"感觉很难"这四个字——按这篇的步骤走,半小时内就能跟自己的模型聊上天。聊上了,你自然会知道下一步该学什么。

收个尾:工具好不好用,一半在工具,一半在你肯不肯动手。这篇就到这,评论区见。