入门阅读时长 10 分钟·2026-03-16

本地部署开源大模型：Ollama 实战

把大模型跑在自己的机器上，既能保护数据隐私，也方便离线开发与实验。Ollama 让这一切变得像装一个 App 一样简单。

作者：AI Resource Hub

为什么选择本地部署

本地部署意味着数据不出本机，适合处理敏感资料；同时没有 API 费用，方便反复实验和集成到本地工作流。

从官网安装 Ollama 后，一条命令即可拉取并运行模型，首次运行会自动下载权重。

# 拉取并直接对话
ollama run llama3.2

# 或仅下载模型
ollama pull qwen2.5

Ollama 启动后会在本地 11434 端口提供 HTTP 接口，可以像调用云端 API 一样集成到你的应用中。

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{ "role": "user", "content": "你好，请做个自我介绍" }],
  "stream": false
}'

模型越大效果通常越好，但对显存和内存要求也更高。先根据本机配置选择合适的参数规模（如 7B/8B），再权衡速度与质量。

可以在 Ollama 的模型库中找到 Llama、Qwen、Mistral、Gemma 等多种开源模型，按需切换。

Ollama本地部署开源隐私