首页 > 基础资料 博客日记

大模型之Linux服务器部署大模型

2026-03-30 18:32:36基础资料围观2

极客资料网推荐大模型之Linux服务器部署大模型这篇文章给大家,欢迎收藏极客资料网享受知识的乐趣

一、离线手动安装Ollama(Linux)

步骤 1:去有网的电脑 下载 Ollama Linux 二进制包

 打开网址(任意电脑浏览器):https://ollama.com/install/linux/ollama-linux-amd64
会自动下载一个文件:ollama-linux-amd64
 

 

步骤 2:把文件上传到你的 Linux 服务器

用工具:
  • Xshell
  • FinalShell
  • WinSCP
  • MobaXterm

 

上传到服务器目录,例如:/root/data/ollama

步骤 3:给执行权限

命令:chmod +x /root/data/ollama

步骤 4:启动服务

命令:ollama serve

步骤 5:设置开机自启

命令:vi /etc/systemd/system/ollama.service

粘贴下面内容到ollama.service

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

 

保存退出,依次执行命令:

systemctl daemon-reload

systemctl enable ollama

systemctl start ollama

步骤 6:验证是否安装成功

命令:ollama --version

出现版本号 = 成功!

二、离线手动安装大模型(Linux)

有网机器下载模型包:ollama pull qwen2.5:7b

导出模型: ollama save qwen2.5:7b qwen2.5-7b.tar.gz

上传到离线服务器:ollama load qwen2.5-7b.tar.gz   (怎么上传到服务器参考前面说到的步骤2,在上传后的目录下执行命令)

 

开始运行你的大模型  命令:ollama run qwen2.5:7b

 

额外小知识:

执行脚本 命令:sh  ollama-setup.sh

#!/bin/bash

# 启用全部 GPU
echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment

# 修改模型存储路径(你可以自己改成你想要的目录)
echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment

# 重启 ollama 服务
sudo systemctl restart ollama

echo "==================================="
echo "✅ GPU 已启用"
echo "✅ 模型路径已修改为 /data/ollama/models"
echo "✅ 配置已生效!"
echo "==================================="

 


文章来源:https://www.cnblogs.com/manwwx129/p/19796971
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!

标签:

相关文章

本站推荐

标签云