如何在自己电脑中部署deepseek

Windows下deepseek部署

  首先是在windows下下载ollama并安装。然后在cmd下运行:

1
ollama run deepseek-r1:7b

其实安装时输入deepseek-r1默认就是7b,大小有4.7G。当然还有其他的版本,自己去搜索并根据自己的GPU大小进行安装。
安装完之后出现了

“>>>”

就可以对话了。下次要调用就在cmd中重新运行命令:

1
ollama run deepseek-r1

Linux下deepseek部署

  在Linux下面则这样安装ollama,命令:

1
curl -fsSL https://ollama.com/install.sh | sh

这个命令是从github下载ollama进行安装。得保证你能连接到github。接下来安装deepseek:

1
ollama run deepseek-r1:7b

deepseek与zotero结合

deepseek可以和zotero结合进行本地的文献阅读。
这个时候就要安装awsome GPT,位置在zotero中文社区。配置可以参考这里。我尝试了一下,没有搞定。有机会再整。

图像生成大模型Janus-Pro-7B本地部署

  另外DeepSeek发布的多模态大模型Janus-Pro-7B支持图像生成,也可以本地部署,超厉害。

安装Git和conda

创建环境:

1
2
conda create -n mp python=3.10 -y
conda activate mp

克隆Janus

1
2
git clone https://github.com/deepseek-ai/Janus.git
cd Janus

安装依赖

1
pip install -e .

安装Graio(UI)

1
2
3
pip install gradio
pip uninstall torch torchvision torchaudio -y
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

运行

1
python demo/app_januspro.py

调用gpu运行

1
python demo/app_januspro.py --device cuda

打开本地链接http://127.0.0.1:7860就可以使用。

理想很丰满,现实很骨感,还是没搞定,有时间再整。