Ollama 本地大模型实战：笔记本跑出自己的 AI 助手
把大模型跑在自己电脑上，以前是极客的玩具，现在是一行命令的事。这篇教程从零开始，把 Ollama 从安装到接入应用的全流程走一遍，并回答「我的电脑到底能跑多大的模型」这个最高频问题。
为什么是 Ollama
本地跑模型的意义不是省钱（API 其实更便宜），而是：数据不出机器、离线可用、无限调用不心疼。
选 Ollama 的理由：一键安装、自动识别 GPU、OpenAI 兼容 API、模型库丰富。如果你完全不想碰命令行，用 LM Studio（图形界面）也是好选择。
安装与第一个模型
去 ollama.com 下载对应系统的安装包，装完在终端验证：
ollama --version直接拉起一个模型对话：
ollama run qwen2.5:7b首次执行会自动下载模型（几个 GB，耐心等），然后进入对话模式。输入 /bye 退出。
显存对照表：你的机器能跑多大模型
量化后（Q4 级别）大致对应关系：
| 模型参数量 | 显存/内存需求 | 适合机器 |
|---|---|---|
| 1.5B - 3B | 4 GB | 轻薄本也能跑 |
| 7B - 8B | 6-8 GB | 游戏本 / 入门显卡 |
| 14B | 12 GB | RTX 4070 级别 |
| 32B | 24 GB | RTX 4090 / Mac 64GB |
| 70B | 48 GB+ | 服务器 / 多卡 |
两条经验：
- Apple Silicon Mac 是隐藏赢家——统一内存，64GB 的 Mac 能跑 32B 模型且速度可用
- 小模型别瞧不起——7B 级别的模型做摘要、翻译、改写已经够用，还快
用 OpenAI 兼容 API 接入应用
Ollama 的价值在于它是一个标准服务端点。先让它在后台常驻：
ollama serve然后在任何支持 OpenAI SDK 的代码里指向本地：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
model="qwen2.5:7b",
messages=[{"role": "user", "content": "用一句话解释 RAG"}]
)
print(resp.choices[0].message.content)注意 api_key 随便填一个非空字符串即可，本地不校验。
常见问题排查
下载慢：设置环境变量走代理，或先在别的机器 ollama pull 再拷贝 ~/.ollama/models 目录。
报错显存不足：换更小的量化版本（如 qwen2.5:7b-instruct-q4_K_M），或加 num_gpu 0 强制纯 CPU（慢但能跑）。
响应特别慢：大概率在用 CPU。ollama ps 看第 4 列，显示 100% CPU 说明 GPU 没生效，检查显卡驱动版本。
中文输出不稳定：优先选 Qwen / DeepSeek / GLM 等中文占比高的模型，别用纯英文语料训练的小模型硬扛中文。
什么时候该升级到 vLLM
Ollama 面向个人使用，并发能力有限。出现以下信号时换 vLLM：
- 要给一个团队（>10 人）提供服务
- 压测吞吐跟不上请求量
- 需要更精细的批处理与显存控制
一句话总结：个人用 Ollama，服务化用 vLLM，中间态用 LiteLLM 把两者统一管理。
相关资源：本站已收录 Ollama、LM Studio、vLLM、LiteLLM、Self-LLM 教程等条目，均附详细上手步骤。