中山大学发布无偏视觉问答数据集

拟合数据集内的这些偏差达到很好的效果，而不需要理解对应的文字和图像信息。相关论文发表在国际知名顶级期刊 TNNLS 上。

在自然语言处理和计算机视觉领域，已经有工作开始探索基于常识的阅读理解和视觉问答问题。这类问题要求算法需要额外的常识才能给出答案。但现有的常识视觉问答数据集大多是人工标注的，并没有基于合适的知识或情感表达进行构建。这不仅导致常识的分布相当稀疏，容易产生解释的二义性，同时还容易引入标注者偏差，使得相关算法仍在关注于增加神经网络的表达能力以拟合问题和答案之间的表面联系。

针对此问题，研究者提出了新的基于知识路由的视觉推理数据集 (Knowledge-Routed Visual Question Reasoning，KRVQA)，该数据集基于现有的多个公开知识 / 常识图谱中与现有图像场景图 (scene graph) 相关的部分，通过预先定义的规则搜索图谱中的推理路径，并生成大规模无偏差的问答和推理标注。如图 1 所示，该数据集避免现有数据驱动的深度模型通过过拟合得到高准确率，推动视觉问答模型正确感知图像中的视觉对象，理解问题并整合对象之间的关系和相应常识回答问题。

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!