刚刚:智谱开源千亿参数视觉大模型:能区分麦当劳肯德基炸鸡:看图猜地点击败99%人类

模型开源地址：

https://github.com/zai-org/GLM-V

https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102

https://modelscope.cn/collections/GLM-45V-8b471c8f97154e

桌面助手开源地址：

https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

01.实测看图报地点略有翻车，网页复现相似度较高

智东西在搭载GLM-4.5V的桌面助手应用中体验了模型的部分功能。这一应用中提供了思考开关等设置，用户还可自定义提示词、模型设置等，提供了较大的自由度。

要使用模型，用户需要提供GLM-4.5V的API密钥，可在智谱的开放平台获得。

测试中，智东西首先使用了官方提供的一张照片，模型能够准确猜出地点，并按照要求精确到经纬度。

随后，我们上传了自己的测试图，选用了一张“灵隐寺一角”的照片，这张图难度不小——画面中虽有黄色墙体、深色屋顶的古建筑、高大树木与游客，但没有明显的地标性信息。右下角的路灯上虽印有“灵隐寺”字样，但因使用的并非简体字，未被系统识别出来。

系统在分析中误将路灯上的“灵隐寺”识别为“宝原青”，并将图片上的“感恩”识别成“威胜”，同时捕捉到另一处“包容”字样。结合这些文字与环境特征，系统最终将结果推断为四川都江堰的青城山。虽然未能准确匹配真实地点，但推理过程细节丰富，结果具备一定参考价值。

这一模型具备一定的GUI（图形用户界面）能力，这对理解、操作网页或App等Agent场景至关重要。

官方Demo中，GLM-4.5V可以帮助用户在眼花缭乱的购物网站截图中，计算出折扣信息，还对生成结果进行反思和确认。智谱的思考与执行智能体AutoGLM最新版，就将使用GLM-4.5V。

生产力方面，GLM-4.5V现在可以根据网页录屏、截图等复现前端代码，分析画面中内容、样式、布局等元素，推测背后的代码，然后对交互逻辑进行建模与实现。

智东西体验了App端提供的“网页录屏/截图，复现特定功能”能力。用户可在页面上直接点击截屏或局部录屏按钮，将录制的视频上传至系统，由系统进行压缩处理后，推理分析生成对应的HTML代码，渲染可交互的前端。

在实际测试中，因访问量可能过大，系统在近50分钟内未返回结果。随后，我们将相同任务提交至智谱官方平台，并以截图形式交给GLM-4.5V，不到10分钟便生成了网页复刻版本。

智东西实测结果（结果链接：https://chat.z.ai/space/f00sx6s4jgp1-art）

生成的页面在信息呈现上比小红书网页端更丰富——除点赞数外，还额外显示评论数据，并增加了下方功能栏和右上角的通知按钮。

但在瀑布流对齐效果上未能还原，缺少小红书“精髓”的布局感。此外，该版本并未实现交互功能，可能是截图内容无法体现动态操作所致，上传视频或许可以改善。

智谱官方Demo展示的案例中，工作人员上传了一小段知乎网页版的操作录像，最终GLM-4.5V交付了一个相对完整的网页，点击、跳转、输入等功能都正常运行。

如果对网页局部位置不满意，又不知道该如何在代码中定位问题，用户可以直接在网页截图中圈出不满意的位置，模型能直接对背后代码进行修改。

在PPT、PDF场景，GLM-4.5V可阅读含有大量图表的复杂长文本，能够对文本进行总结、翻译、图表提取等操作。

模型并不是通过OCR实现图像信息提取的，而是直接用视觉方式读取图片，能在一定程度上避免了信息提取过程中的错误传递，对于图表、表格等视觉化、结构化信息的保留和解读准确性得到提升。

博客介绍，GLM-4.5V在视觉定位这种传统CV领域表现不错，可以根据用户提问，精准识别、分析、定位目标物体并输出其坐标框。

这一能力可运用于安全与质量检查、高空遥感监测分析。相较于传统的基于视觉模型的物体识别，GLM-4.5V 凭借更丰富的世界知识与更强大的语义理解能力，能够通过推理理解更复杂的定位指令。

02.支持64K多模态上下文，STEM、多模态定位、Agent获针对性提升

GLM-4.5V由视觉编码器、MLP适配器和语言解码器三部分组成，支持64K多模态长上下文，支持图像与视频输入，并通过三维卷积提升视频处理效率。

模型采用双三次插值机制，有效增强了模型对高分辨率及极端宽高比图像的处理能力与稳健性；同时，引入三维旋转位置编码（3D-RoPE），显著强化了模型对多模态信息的三维空间关系的感知与推理能力。

GLM-4.5V 采用三阶段策略：预训练、监督微调（SFT）和强化学习（RL）。

其中，在预训练阶段，智谱结合大规模图文交错多模态语料和长上下文内容，强化了模型对复杂图文及视频的处理能力。

在SFT阶段，智谱引入了显式“思维链”格式训练样本，增强了GLM-4.5V的因果推理与多模态理解能力。

最后，RL阶段，模型经历了全领域多模态课程强化学习，通过构建多领域奖励系统（Reward System），结合可验证奖励强化学习（RLVR）与基于人类反馈的强化学习（RLHF），优化了其在STEM问题、多模态定位、Agent任务等方面的能力。

03.结语：视觉理解已成Agent关键能力

视觉理解一直被认为是Agent与电脑、现实世界等交互的重要能力之一，在纯文本模态之外，Agent还需要理解图像、视频等信息，才能补齐它与人类认知方式之间的差距。

智谱本次开源的GLM-4.5V拥有一定视觉理解能力，并在GUI等场景展现出了应用价值，其后续与Agent应用的结合，值得期待。