Gemma3 27B开源视觉模型本地部署与远程访问实测

前言

如今在AI领域的竞争逐渐进入了白热化,各家大模型的性能较量真是一天一个变化。今天和大家分享的是由谷歌带来的Gemma3开源大模型,它有10亿、40亿、120亿和270亿参数等多种规模版本,我们可以按需选择。

在多项基准测试中,Gemma 3全家桶相较于上一代实现了全面提升,仅以27B参数击败了o1-preview、o3-mini high、DeepSeek V3,属于仅次于DeepSeek R1的开源模型。而且可以理解140+语言,中文支持也很好,更棒的是支持视觉输入和文本输出的多模态能力。

下面就来具体演示一下如何在家用级的Windows系统电脑上,使用ollama来安装部署Gemma3:27B大模型,并给他搭配一个WebUI界面,让我们在与AI互动时获得更美观的界面与更多的辅助功能。

1744091869943

1. 安装Ollama

本例中使用的是Windows11系统专业版,通过Ollama运行Gemma3:27B大模型,之前曾经发布过如何在Windows安装Ollama的教程,有需要的同学可以看看这篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面远程交互

简单来说,就是访问Ollama的官网:Download Ollama on Windows

image-20250408144901346

下载对应版本的ollama安装程序并安装:

image-20250408144936715

2.Gemma3模型安装与运行

然后在Ollama的官网点击Models,可以看到排在最上边的就是Gemma3模型全家桶:

image-20250408145138702

点进去之后,在左侧的下拉选项中能看到目前有4个量级的模型,分别是1b/4b/12b/27b和对应所需的储存空间:

image-20250408145434595

本例使用gemma3:27b模型进行演示,支持多模态(视觉)27B 参数模型(128k 上下文窗口),需要准备20G以上硬盘空间,右边是运行命令:

image-20250408145622588

Ollama安装完成之后,打开cmd或者powershell等终端工具,执行命令就可以下载模型了:

ollama run gemma3:27b

PS:默认会下载模型到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以自定义:

set OLLAMA_MODELS=d:\ollama

如果你之前安装过ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级ollama到最新版本。

image-20250408153616855

更新后,即可正常下载:

image-20250408154135178

模型下载完成之后,安装成功后会提示success:

image-20250408161835787

自动进入对话状态,直接输入内容就能提问了:

image-20250408150619788

3. 安装Open WebUI图形化界面

现在我们已经能够在本地Windows电脑上使用Gemma3 27B模型解答问题了,但在命令行中对话可能不是很美观,在复制回答时也不太方便,我们可以通过安装一个图形化界面来解决这个问题。

不过在此之前,我们需要配置Ollama的环境变量,在终端中分别执行下方命令以便后续远程调用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的ollama图标退出并重启服务。

本例以Open WebUI这个图形化界面为例,使用Docker进行安装,它的界面和平时在网页中和其他大模型聊天非常相似。当然,大家也可以选择其他的方式,比如使用page assist浏览器插件lobechatcherry studio等。

如果大家之前未安装过Docker,可以参考下方教程进行Docker安装Docker安装——Linux、Windows、MacOS

3.1 Open WebUI安装运行

访问Open WebUI的github页面: https://github.com/open-webui/open-webui

如果你的Ollama和Open WebUI在同一台主机,执行这行命令在cmd终端中就可以在本地快速进行部署:

image-20240412140749937

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

将上边在Docker中部署Open WebUI的命令复制后粘贴到终端中,回车:

image-20240412144132799

安装完成后,打开Docker Desktop,可以看到Open WebUI的web界面地址为:https://localhost:3000

image-20240412144401182

点击后会在浏览器打开登录界面:

image-20240412144744192

使用自己的邮箱注册账号,密码要记好,下次登录时需要用到:

image-20240412144927140

添加模型后就能在浏览器中使用web界面来和Gemma3 27B模型聊天了!

image-20250408162703645

3.2 添加模型

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240412145306289

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,这里选择刚才安装的gemma3:27b,接下来就可以愉快的跟大模型在网页中聊天了!

image-20250408162829645

image-20250408164042496

到这里就成功在Windows电脑本地部署了gemma3:27b模型并使用Open WebUI在网页中与AI交互啦。

3.3 多模态测试

现在我们上传一张图片测试一下效果:(点击对话框左侧加号即可上传图片)

image-20250408165103486

确实有点东西,识别物品的效果还是不错的,还给出了一个结论。

再来测试上传一张人物照片给它,让它分析一下拍摄效果并给出优化建议:

image-20250408170901214

1744103447878

感觉似乎分析的也还行,大家感兴趣的话也可以稍后自己部署一下进行测试。

4. 安装内网穿透工具

但如果想实现不在同一网络环境下,也能随时随地在浏览器中使用Open WebUI与本地部署的gemma3:27b大模型在网页中聊天,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

image-20250307152003085登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

接下来配置一下 Open WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:gem27(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:选择随机域名
  • 地区:选择China Top

1744103682229

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250408171521306

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问Open WebUI来在网页中使用本地部署的gemma3:27b大模型了!

image-20250408171805771

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问Open WebUI使用gemma3:27b模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为Open WebUI配置一个公网地址。

5. 配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250408171952309

保留成功后复制保留成功的二级子域名的名称:mygem27,大家也可以设置自己喜欢的名称。

image-20250408172009637

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:gem27,点击右侧的编辑:

image-20250408172111336

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mygem27

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250408172153785

更新完成后,打开在线隧道列表,可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250408172230906

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的Open WebUI来使用gemma3:27b大模型了!

image-20250408172435086

总结

通过以上步骤,我们实现了在Windows系统电脑本地安装Ollama与谷歌gemma3:27b大模型,并使用docker部署Open WebUI,结合cpolar内网穿透工具轻松实现在公网环境中使用浏览器远程访问本地部署的大模型,并配置固定不变的二级子域名公网地址的全部流程,经过简单测试,这款大模型的多模态功能确实效果很惊艳,而且还支持在家用级硬件配置上进行本地部署,降低了使用门槛,非常期待它后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

Share:

发表回复

目录

On Key

推荐文章