首页 > 基础资料 博客日记
大模型之Linux服务器部署大模型
2026-03-30 18:32:36基础资料围观2次
极客资料网推荐大模型之Linux服务器部署大模型这篇文章给大家,欢迎收藏极客资料网享受知识的乐趣
一、离线手动安装Ollama(Linux)
步骤 1:去有网的电脑 下载 Ollama Linux 二进制包
打开网址(任意电脑浏览器):https://ollama.com/install/linux/ollama-linux-amd64
会自动下载一个文件:ollama-linux-amd64
步骤 2:把文件上传到你的 Linux 服务器
用工具:
- Xshell
- FinalShell
- WinSCP
- MobaXterm
上传到服务器目录,例如:/root/data/ollama
步骤 3:给执行权限
命令:chmod +x /root/data/ollama
步骤 4:启动服务
命令:ollama serve
步骤 5:设置开机自启
命令:vi /etc/systemd/system/ollama.service
粘贴下面内容到ollama.service
[Unit] Description=Ollama Service After=network.target [Service] ExecStart=/usr/local/bin/ollama serve User=root Restart=always RestartSec=3 [Install] WantedBy=multi-user.target
保存退出,依次执行命令:
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
步骤 6:验证是否安装成功
命令:ollama --version
出现版本号 = 成功!
二、离线手动安装大模型(Linux)
有网机器下载模型包:ollama pull qwen2.5:7b
导出模型: ollama save qwen2.5:7b qwen2.5-7b.tar.gz
上传到离线服务器:ollama load qwen2.5-7b.tar.gz (怎么上传到服务器参考前面说到的步骤2,在上传后的目录下执行命令)
开始运行你的大模型 命令:ollama run qwen2.5:7b
额外小知识:
执行脚本 命令:sh ollama-setup.sh
#!/bin/bash # 启用全部 GPU echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment # 修改模型存储路径(你可以自己改成你想要的目录) echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment # 重启 ollama 服务 sudo systemctl restart ollama echo "===================================" echo "✅ GPU 已启用" echo "✅ 模型路径已修改为 /data/ollama/models" echo "✅ 配置已生效!" echo "==================================="
文章来源:https://www.cnblogs.com/manwwx129/p/19796971
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!
标签:

