Deepseek部署相关依赖包下载
方式一 .Ollama+DeepSeek+AnythingLLM
ollama
1.官网安装
▸ 官网地址：https://ollama.com/download
▸ 直接下载地址：https://ollama.com/download/windows
2. 模型安装命令
根据内存选择对应版本：
Powershell
# 内存≤4GB
ollama run deepseek-r1:1.5b
# 8GB-12GB
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
# ≥12GB
ollama run deepseek-r1:14b
# ≥32GB
ollama run deepseek-r1:32b
# ≥70GB
ollama run deepseek-r1:70b
安装成功后终端显示success提示
3.安装anythingllm
官网下载
方式二. LM Studio+deepseek蒸馏模型
LM Studio
官网下载：https://lmstudio.ai/
deepseek模型 点击直接下载
| 32GB | DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf | |
| 24GB | DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.ggufDeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf | 二选一即可，比较推荐第一个Q5 质量上可能会好一点，但是因为太接近 24G 显存，所以上下文多了之后，速度可能会慢。上面的 Q6 勉强也能跑，但速度会比较慢。 |
| 16GB | DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf | |
| 12GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | |
| 11GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | |
| 8GB | DeepSeek-R1-Distill-Qwen-7B-Q6_K.ggufDeepSeek-R1-Distill-Llama-8B-Q6_K.gguf | 二选一即可 |
| 6GB | DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.ggufDeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf | 二选一即可 |
| 4GB | DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.ggufDeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf | 二选一即可，比较推荐第一个第二个 4G 显存能跑，但可能会比较慢 |
| 3GB、2GB | DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf |
暂无评论...
