arXiv 上出现的《AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions》论文提出了首个专门评估计算机代理在环境干扰下鲁棒性的基准测试。这个由多模态大语言模型驱动的自主代理,在真实执行环境中会遭遇弹窗、分辨率变化以及竞品应用等干扰,而 AgentHijack 正是用来衡量它们在此类“常见干扰”下还能否稳定执行任务的工具。
真实环境比想象中更“脏”

理想状况下,计算机代理应该像人类一样自动完成订票、填表等复杂数字工作流。但现实是,当你刚点开支付页面,系统通知就弹出来了,分辨率突然变掉,或者后台的其他软件在疯狂抢夺焦点。这些环境干扰会直接切断代理的感知与控制流程。研究团队指出,现有模型在面对这些不确定性时,执行流畅度大打折扣,而这正是 AgentHijack 要测量的东西。
干扰类型其实挺常见的
想想看,咱们每天用电脑时被弹窗打断是不是家常便饭?论文里定义的干扰就包括这类弹出窗口,还有屏幕错位、内存耗尽导致卡顿等场景。代理以为自己还在正常运行,其实视野已经被污染了。AgentHijack 通过注入这些模拟干扰,观察代理还能不能正确完成点击、输入和导航——这跟人类在嘈杂环境中办公是一个道理,凭什么机器就能躲过干扰?
鲁棒性到底有多重要?
如果一个代理在干净的测试集上表现完美,一到实际应用就频频出错,那它显然还不成熟。AgentHijack 的价值就在于把鲁棒性作为考核指标,强迫开发者正视动态环境带来的不确定打断。目前测试显示,主流 MLLM 驱动的代理在面对多重干扰时,成功率会出现断崖式下跌。这确实点出了行业中一个被忽视的短板。
AgentHijack 的出现让计算机代理的评估体系补上了一块关键拼图。未来这类代理若要大规模落地,光是“能做”还不够,还得“在各种情况下都能做”。跳脱出实验室的理想环境,去直面弹窗打架、分辨率错位这些小麻烦,才是走向真正自主操作的第一步。