本文目标:部署 DeepSeek 本地模型,并通过 Ollama 提供 API 支持,Chatbox 提供 UI 界面。

原则:不搞那些高深的玩法,让小白也能理解并真正的上手实践。

image.png

https://www.deepseek.com/

1.下载Ollama并安装运行DeepSeek

从Ollama官方网站下载Ollama:

进入Ollama官方网站后,可以看到Ollama已经支持DeepSeek-R1的部署:

image.png

image.png

点击DeepSeek-R1的链接可以看到有关deepseek-r1的详细介绍:

image.png

目前deepseek-r1模型大小提供了7个选择:1.5b、7b、8b、14b、32b、70b、671b。

模型版本 模型大小 CPU 显卡 内存 磁盘空间
1.5B 1.1GB 普通四核或六核处理器就行 NVIDIA GTX 1650或RTX 2060这种中等性能显卡 16GB RAM 至少50GB空闲空间
7B 4.7GB 6核或8核处理器 NVIDIA RTX 3060或更强的显卡 32GB RAM 至少100GB空闲空间
8B 4.9GB 6核或8核处理器 NVIDIA RTX 3060或更强的显卡 32GB RAM 至少100GB空闲空间
14B 9GB 8核以上处理器,像Intel i9或AMD Ryzen 9 NVIDIA RTX 3080或更强的显卡 64GB RAM 至少200GB空闲空间
32B 20GB 8核以上处理器 NVIDIA RTX 3090、A100或V100显卡 128GB RAM 至少500GB空闲空间
70B 43GB 12核以上处理器,推荐用高端Intel或AMD处理器 NVIDIA A100、V100显卡,可能还得多个显卡一起用 128GB RAM 至少1TB空闲空间
671B 404GB 高性能、多核CPU,建议多台服务器配置 NVIDIA A100或多个V100显卡,甚至需要集群支持 至少512GB RAM 至少2TB空闲空间

这里我选择最小的1.5b模型来做演示:

image.png

我这里选择macOS,点击下载。