ollama配置使用GPU的做法步骤实用指南

平时做技术实践时，很多问题不是概念不会，而是细节没串起来。拿“ollama配置采用GPU的做法步骤”来说，它看着像小点，放到项目里常会牵出环境、配置、兼容性和维护成本。下面按实际采用顺序，把思路、关键写法和容易踩坑的地方讲清楚，便于大家直接对照操作。

第一步：查看自己显卡是否兼容

第二步：查看本机显卡参数

命令：nvidia-smi

第三步：安装cuda toolkit

cuda toolkit下载地址：（链接已移除）
请记住流程安装选local而非network
安装完后验证是否安装成功，命令：nvcc --version

第四步：设置ollama 环境变量

添加以下环境变量：

• 变量名：OLLAMA_GPU_LAYER
• 变量值：cuda

指定特定的 GPU，能够添加以下环境变量：

• 变量名：CUDA_VISIBLE_DEVICES
• 变量值：GPU的UUID（方法如下所示）

GPU的UUID查看命令：nvidia-smi -L

第五步：验证是否采用gpu

运行大模型

随后再起一个命令行 输入 ollama ps 就能够看到 processor里面有cpu与gpu运行百分比

Ollama可设置环境变量

• OLLAMA_DEBUG: 显示额外的调试信息（比如：OLLAMA_DEBUG=1）。
• OLLAMA_HOST: Ollama 服务器的 IP 地址（默认值：127.0.0.1:11434）。
• OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的时长（默认值：“5m”），设置为-1表示常驻内存运行。
• OLLAMA_MAX_LOADED_MODELS: 每个 GPU 上最大加载模型数量。
• OLLAMA_MAX_QUEUE: 请求队列的最大长度。
• OLLAMA_MODELS: 模型目录的路径。
• OLLAMA_NUM_PARALLEL: 最大同时行请求数。
• OLLAMA_NOPRUNE: 启动时不修剪模型 blob。
• OLLAMA_ORIGINS: 允许的源列表，采用逗号分隔。
• OLLAMA_SCHED_SPREAD: 始终跨所有 GPU 调度模型。
• OLLAMA_TMPDIR: 临时文件的位置。
• OLLAMA_FLASH_ATTENTION: 启用 Flash Attention。
• OLLAMA_LLM_LIBRARY: 设置 LLM 库以绕过自动检测。

windows系统上设置直接在环境变量中设置即可。

落到代码里，到此这篇关于ollama设置采用GPU的方法步骤的文章就介绍到这了,更多相关ollama设置GPU内容请搜索脚本之家以前的文章或继续浏览下面的相关文章，希望大家以后多多兼容脚本之家！