本地快速部署Ollama运行大语言模型详细流程(最新推荐)实用指南

平时做技术实践时，很多问题不是概念不会，而是细节没串起来。拿“本地快速部署Ollama运行大语言模型详细流程(最新推荐)”来说，它看着像小点，放到项目里常会牵出环境、配置、兼容性和维护成本。下面按实际采用顺序，把思路、关键写法和容易踩坑的地方讲清楚，便于大家直接对照操作。

前言

理解这一步时，本文重点梳理如何在 Windows 系统更快部署 Ollama 开源大语言模型运行工具，同时安装 Open WebUI 结合 cpolar 内网穿透软件，实现在公网环境也能访问你在本地内网搭建的 llama2、千文 qwen 等大语言模型运行环境。

落到代码里，近些年来随着 ChatGPT 的兴起，大语言模型 LLM（Large Language Model）也成为了人工智能 AI 领域的热门话题，很多大厂也都推出了自己的大语言模型，同时或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地 LLM 的工具 Ollama。

在本地运行大语言模型有诸多优点：

比如能够保护隐私、不会产生费用、能够无视网络问题、能够尝鲜各种开源模型等等。

从实现思路看，Ollama 兼容当前主要的开源大模型， 比如 llama2、千文 qwen、mistral 等，能够在 Windows、Linux、MacOS 系统上进行部署。稳定性和便利性都很不错，下面就来分享一下它在 Windows 系统上的安装与应用。

1. 运行 Ollama

本文安装环境为：Windows10 专业版

下载： Ollama 下载地址：（链接已移除）

在下载页面点击 Windows，然后点击下载按钮。

安装： 下载完成后，双击下载的安装程序。

点击 Install 进行安装。

结合项目来看，安装完成没有提示，我们打开一个终端，本文以 Windows PowerShell 为例，大家也能够采用其他的：

落到代码里，现在 Ollama 已经安装完了，我们需在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也能够采用其他的模型。

ollama run qwen

结合项目来看，能够看到，系统正在下载 qwen 的模型（同时保存在 C 盘，C:Users<username>.ollamamodels 如果想更改默认路径，能够借助设置OLLAMA_MODELS进行修改，然后重启终端，重启 ollama 服务。）

setx OLLAMA_MODELS "D:ollama_model"

模型下载完成后，我们就能够在终端中输入问题进行采用了：

从实现思路看，至此，在 Windows 本地部署 ollama 同时运行 qwen 大语言模型就已经完成了。一键搞定，对新手体验大语言模型真的很友好。

2. 安装 Open WebUI

理解这一步时，不过，我们现在只能在终端中采用，操作界面可能不像 ChatGPT 那样美观，如果能采用 web 页面进行交互，采用体验更好，也能保留之前的聊天记录，翻遍我们翻阅查询。

落到代码里，针对这个情况，我们能够在 Windows 上部署 Open WebUI 这个项目来实现类似 chatgpt 一样的交互界面。

结合项目来看，本教程以 Open WebUI 这个项目为例，它以前的名字就叫 Formerly Ollama WebUI。能够理解为一开始就是专门适配 Ollama 的 WebUI，它的界面也对用惯了 chatgpt 的小伙伴来说更相似一些。当然，大家也能够选择其他的 WebUI，之后有机会也能够分享给大家。

如何在 Windows 系统安装 Open WebUI：

2.1 在 Windows 系统安装 Docker

在这个场景下，首先，如果大家之前未安装过 Docker，需执行下面三个步骤进行安装：

第一步：启动 Hyper-v

打开控制面板，在程序与功能页面选择启用或 Windows 功能

勾选 Hyper-V、虚拟机平台、Linux 子系统同时点击确认

然后，重启计算机。

第二步：安装 WSL

打开 powershell，以管理员的身份启动命令窗口，输入

wsl --update

安装

wsl --install

然后再次重启电脑。

第三步：访问 Docker 官网进行下载

点击下载链接：（链接已移除）

选择 Windows 最新版本：

从实现思路看，下载完成后，双击安装程序进行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的 Docker Desktop 图标：选择先不注册直接登录即可。

结合项目来看，打开 Docker Desktop 后，左下角显示是绿色的 running 就代表我们成功了：

2.2 采用 Docker 部署 Open WebUI

在这个场景下，在 Open WebUI 的 github 页面 （链接已移除） 能够看到，如果你的 Ollama 和 Open WebUI 在同一台主机，那采用下面显示的这一行命令就能够在本地更快进行部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这个场景下，现在我们打开终端，比如 powershell，随后输入 docker，回车

能够看到这个命令成功运行，说明 docker 安装成功。

从实现思路看，随后将上边在 docker 中部署 Open WebUI 的命令复制后粘贴到终端中，回车。

然后等待安装完毕即可：如下所示图所示

结合项目来看，安装完成后，在 Docker Desktop 中能够看到 Open WebUI 的 web 界面地址为：（链接已移除）

点击后，会在浏览器打开登录界面：

落到代码里，点击 sign up 注册，账号，邮箱，密码记好，下次登录时需用到邮箱和密码登录：

随后点击 create account 新建账号即可：然后就能在浏览器中采用类似 chatgpt 界面的 Open WebUI 了！

点击右上角的设置，能够修改当前界面的语言为简体中文：随后点击保存即可。

结合项目来看，点击上方选择一个模型旁边的加号+能够增加大模型，点击下拉按钮能够选择当前采用哪一个已安装的模型，下面就能够愉快的跟 ai 聊天了！

3. 安装内网穿透工具

从实现思路看，至此，我们已经成功完成在本地 Windows 系统采用 Docker 部署 Open WebUI 与 Ollama 大模型工具进行交互了！但如果想实现出门在外，也能随时随地采用 Ollama Open WebUI，那就需借助 cpolar 内网穿透工具来实现公网访问了！下面介绍一下如何安装 cpolar 内网穿透同时实现公网访问！

下面是安装 cpolar 步骤：

cpolar 官网地址: （链接已移除）

理解这一步时，点击进入 cpolar 官网，点击免费采用注册一个账号，同时下载最新版本的 cpolar

从实现思路看，登录成功后，点击下载 cpolar 到本地同时安装（一路默认安装即可）本教程选择下载 Windows 版本。

落到代码里，cpolar 安装成功后，在浏览器上访问 （链接已移除），采用 cpolar 账号登录,登录后即可看到 cpolar web 设置界面,结下来在 web 管理界面设置即可。

下面设置一下 Open WebUI 的公网地址，

登录后，点击左侧仪表盘的隧道管理——新建隧道，

新建一个 ollama1 的公网 http 地址隧道：

• 隧道名称：ollama1（可自定义命名，注意不要与已有的隧道名称重复）
• 协议：选择 http
• 本地地址：3000 (本地访问的地址)
• 域名类型：免费选择随机域名
• 地区：选择 China Top

理解这一步时，隧道新建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是 http 和 https：

采用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且能够远程访问就新建好了,采用了 cpolar 的公网域名,无需自己购买云服务器,即可到公网访问 Open WebUI 了！

小结

结合项目来看，若我们需长期异地远程访问 Open WebUI，由于刚才新建的是随机的地址，24 小时会发生变化。另外它的网址是由随机字符生成，不容易记忆。如果想把域名变成固定的二级子域名，同时且不想每次都重新新建隧道来访问 Open WebUI，我们能够选择新建一个固定的公网地址来解决这个问题。

4. 新建固定公网地址

落到代码里，我们下面为其设置固定的 HTTP 端口地址，该地址不会变化，便于分享给别人长期查看你部署的项目，而无需每天重复修改服务器地址。

落到代码里，设置固定 http 端口地址需将 cpolar 升级到专业版套餐或以上。

结合项目来看，登录 cpolar 官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称

结合项目来看，保留成功后复制保留成功的二级子域名的名称：myollama，大家也能够设置自己喜欢的名称。

从实现思路看，得到登录 Cpolar web UI 管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要设置的隧道：ollama1，点击右侧的编辑：

修改隧道信息，将保留成功的二级子域名设置到隧道中

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名：myollama

点击更新(注意,点击一次更新即可,不需重复提交)

更新完成后,打开在线隧道列表,此时能够看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名：

理解这一步时，最后,我们采用固定的公网 https 地址访问,能够看到访问成功,这样一个固定且永久不变的公网地址就设置好了，能够随时随地在公网环境异地访问本地部署的 Open WebUI 了！

落到代码里，以上就是如何在 Windows 系统本地安装 Ollama 大模型工具同时采用 docker 部署 Open WebUI，结合 cpolar 内网穿透工具实现公网访问本地 LLM，并设置固定不变的二级子域名公网地址实现远程访问的全部流程，感谢您的观看，有任何问题欢迎留言交流。

理解这一步时，到此这篇关于本地更快部署Ollama运行大语言模型详细流程(最新建议)的文章就介绍到这了,更多相关Ollama运行大语言模型内容请搜索脚本之家以前的文章或继续浏览下面的相关文章，希望大家以后多多兼容脚本之家！