小白也能跑本地大模型:Ollama 零基础教程(不要 GPU)

更新于 2026-08-06。star 数对着 GitHub 仓库核过。

先说结论:没显卡也能跑,没账号也能跑,断网也能跑。你缺的不是硬件,是有人把步骤拆到"下一步该点哪"的程度——这篇就是。

为什么要在自己电脑上跑模型

三条理由,每条都是我自己的真实感受:

• 不按字数收费。 在线 AI 聊到一半弹充值框,本地模型没有这个概念,跑多少都那样。
• 数据在自己手里。 你问的东西、贴的文档,不出这台机器。公司资料、合同、不想给别人看的东西,本地跑是唯一答案。
• 断网能用。 这个体验很微妙:当你发现 AI 在离线状态下还在正常工作,你才真正意识到它是工具,不是订阅。

代价是:模型没有在线旗舰那么聪明,响应也没那么快。但"够用"和"最好"之间,价格差了十万八千里。

第一步:装 Ollama

Ollama(★177,000,MIT)是目前本地跑大模型的事实标准,一条命令的事。

去 ollama.com 下载对应系统的安装包,双击装完就行。Windows 装完右下角托盘有个小图标,Mac 是菜单栏,不用管它,它在后台待命。

装完打开终端(Windows 是 CMD 或 PowerShell),输:

``` ollama --version ```

能看到版本号,就成了。

第二步:拉一个模型

终端里输这条:

``` ollama pull llama3.1:8b ```

它在下载模型文件,几个 GB,取决于网速。这时候去泡杯茶,别盯着进度条——它不会更快。

8b 这个参数档是"普通电脑能跑"和"智商够用"的平衡点。显卡好的可以试试更大的,老电脑就跑 7b 或更小的,跑得动最重要。

第三步:开聊

``` ollama run llama3.1:8b ```

然后就是打字,回车,它回你。就这么简单。第一次回复会慢,因为模型在加载,不是死机,等它几秒。

实话说,第一次看到笔记本上那个小模型一本正经回答我的问题,我笑出声了。它没有 ChatGPT 快,也没有 ChatGPT 聪明,但它是你的——离线、私密、免费,没人读你的对话。

第四步(可选):给它换个好看的界面

纯终端聊天够用,但想要 ChatGPT 那种网页聊天框,装个 Open-WebUI 套上去,自动连你本地 Ollama,界面顺手多了。

出问题怎么办

• 下载失败/拉取报错:多半是磁盘空间不够,或者模型名字拼错了。先 ollama list 看看,再查空间。
• 回复特别慢:Windows 上常见原因是 Ollama 没吃上 GPU,去托盘图标看看。没 GPU 的话,慢是正常的,别跟它急。
• 终端像卡住了:不是卡,是它在想,长回复要等。别 Ctrl+C,等了就白等了。

装完以后能干嘛

本地模型不是摆着看的。几个我实际在用的场景:

• 配合 dify(★149,786)把本地模型接进可视化工作流,搭自己的知识库机器人——文档喂进去,它只从你的资料里找答案
• 用 JARVIS(★142,422)做本地模型全家桶,写代码、处理文件一套搞定
• 纯本地写周报、改文案、翻译,不涉及敏感信息的都丢给它

这三款工具在 AI工具超市都有开箱即用安装包,不用自己配环境、不用翻 GitHub,附安装说明和常见报错处理。

说句实话

本地模型这条路,入门门槛已经低到"双击安装包"了。真正劝退人的不是技术,是"感觉很难"这四个字。按这篇的步骤走,半小时内你就能跟自己的模型聊上天。聊上了,你自然会知道下一步该学什么。

工具好不好用,一半在工具,一半在你肯不肯动手。这篇就到这,评论区见。