😀

DeepSeek本地部署实践

Created
Feb 12, 2025 05:40 AM
Tags
具体的模型选择要根据实际的硬件配置来选择,我的机器配置是 64C128G 3090 所以用的是 32B的模型,
  1. 安装ollama
    1. 以ubuntu系统为例:
      ollama默认只能支持本地访问,可以通过修改配置文件来开放外部访问,修改文件:/etc/systemd/system/ollama.service, 在Service下面加上:Environment="OLLAMA_HOST=0.0.0.0”
      notion image
      重启ollama
      systemctl stop ollama systemctl daemon-reload systemctl start ollama ollama serve
      如果有外部访问需求,记得要开放端口:11434
      ufw allow 11434
      验证:http://your ip address :11434/ 显示: Ollama is running
  1. 获取deepseek模型
    1. 选择模型:deepseek-r1:32b
      安装模型:
      ollama run deepseek-r1:32b
      根据网速有关,时间可能会比较长,由于支持断点续传,不用担心中断后从头开始。
  1. 安装交互UI: openai ui
    1. 这里选择使用docker形式部署,根据部署特征我选择的:
      notion image
      docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
      由于默认会连接 chat gpt 模块,所以会出现长时间空白的情况,不要刷新页面,等页面加载出来以后进入设置,将open ai的选项关掉,如图:
      notion image