跑分被提出:评估多模态模型的安全
生活
2024年07月02日 10:50 522
admin
IT之家6月25日消息,最新发表在arXiv的研究论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,跑分被提出:评估多模态模型的安全处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。
这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等9个安全领域。
研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。
在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT-4o(50.9%)和Gemini1.5(52.1%)的得分高于50%。
研究人员表示为了解决这个问题,需要开发LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。
研究人员还指出,LVLMs需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。
IT之家附上参考地址
标签: 跑分被提出评估多模态模型的安全
相关文章