AICompanionBench：首个基于Replika真实对话的AI伴侣安全基准

AICompanionBench：首个基于Replika真实对话的AI伴侣安全基准

日前，一个名为AICompanionBench的全新安全基准正式发布。它聚焦AI伴侣平台（像Replika这样的聊天软件），专门用来检测人机互动中的安全风险。说实话，随着AI伴侣用户激增，这类平台到底安不安全，确实成了大伙儿心里的疑问。

数据集怎么来的？研究人员从Reddit上收集了2,123条真实的Replika对话，再通过人机协作的方式打上细粒度的安全标签。这些标签覆盖了九种风险类型，包括性行为、反社会行为、人身攻击等。可以说，这是首个公开的、基于真实人机伴侣对话的安全评估数据集。

测出来什么结果？基准利用大型语言模型（LLM）充当裁判，去评判AI伴侣的回复是否越界。结果显示，不同模型对安全边界的判断差异挺大的。有的模型对潜在的姓暗示反应过度，动不动就拒绝正常对话；有的模型又太“宽容”，把明显的越界行为放过去了。凭什么一个聊天机器人能决定人类情感的边界？这个问题本身就值得深思。

为什么需要AI伴侣安全基准？AICompanionBench的出现，正是为了给行业立一把尺。就像咱们开车需要交规，AI伴侣和用户互动也需要明确的红线。没有统一标准，开发者只能拍脑袋做判断，用户面对AI的回复也无从分辨——这真的有点危险。

未来影响这个基准不仅针对Replika，还可以推广到Character.AI等其他平台。随着AI伴侣越来越拟人化，安全评估必须跟上。AICompanionBench的发布，至少让开发者有了一个可量化的工具箱。说到底，AI伴侣应该是陪伴者，而不是潜在隐患。你怎么分辨什么是安全、什么是越界？这份基准给出了第一份参考答案。