具体的模型选择要根据实际的硬件配置来选择,我的机器配置是 64C128G 3090 所以用的是 32B的模型,
- 安装ollama
以ubuntu系统为例:
ollama默认只能支持本地访问,可以通过修改配置文件来开放外部访问,修改文件:/etc/systemd/system/ollama.service, 在Service下面加上:Environment="OLLAMA_HOST=0.0.0.0”
重启ollama
systemctl stop ollama systemctl daemon-reload systemctl start ollama ollama serve
如果有外部访问需求,记得要开放端口:11434
ufw allow 11434
验证:http://your ip address :11434/ 显示:
Ollama is running
- 获取deepseek模型
选择模型:deepseek-r1:32b
安装模型:
ollama run deepseek-r1:32b
根据网速有关,时间可能会比较长,由于支持断点续传,不用担心中断后从头开始。
- 安装交互UI: openai ui
这里选择使用docker形式部署,根据部署特征我选择的:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
由于默认会连接 chat gpt 模块,所以会出现长时间空白的情况,不要刷新页面,等页面加载出来以后进入设置,将open ai的选项关掉,如图: