多模态情感检测方法、装置、计算机设备以及存储介质

专利简介

专利名称： 多模态情感检测方法、装置、计算机设备以及存储介质
专利号： ZL202411139349.3
专利权人： 悦居帮手科技（四川）有限公司（注：该专利原始申请人为华南师范大学）
发明人： 薛云、陈一帆、李坤桃
授权公告号： CN118656791B
授权日期： 2024年12月03日

一、技术背景

随着互联网和社交媒体的普及，人们越来越倾向于在平台上发布图文结合的多模态信息来分享观点和表达情感。与单模态数据相比，多模态数据蕴含着更丰富的情感信息，能够更全面地揭示用户的真实情感状态。多模态情感检测在产品评论分析、政治观点挖掘等领域具有重要的应用价值。

然而，现有方法多采用静态网络进行样本处理，其固定结构导致缺乏适应不同多模态输入的灵活性，难以充分捕获文本和图像中复杂、多样的情感信息，影响了情感检测的准确性。如何实现模态间和模态内的高效信息交互，成为亟待解决的技术难题。

二、技术方案

本发明涉及自然语言处理技术领域，提供了一种多模态情感检测方法、装置、计算机设备以及存储介质。

其核心方案包括以下步骤：

1. 获取数据：获得待测文档数据（包含待测文本和待测图像）以及多模态情感检测模型。该模型包括编码模块、双分支模态交互模块（含文本至图像模态交互网络和图像至文本模态交互网络）、特征融合模块以及情感检测模块。

2. 编码处理：将待测文本和待测图像输入编码模块，获得文档编码表示（包括文本编码表示和视觉编码表示）。

3. 双向模态交互：

• 将文本编码表示和视觉编码表示分别输入文本至图像模态交互网络，获得文本至图像模态交互特征表示；

• 将视觉编码表示和文本编码表示分别输入图像至文本模态交互网络，获得图像至文本模态交互特征表示。

4. 特征融合与检测：将两个交互特征表示进行融合，再输入情感检测模块，最终获得情感检测结果。

此外，本发明还提供了实现上述方法的多模态情感检测装置（包括数据获取模块、文档编码模块、第一/第二模态交互模块、融合模块等），以及相应的计算机设备和存储介质。

三、技术优势

• 双向交互机制：通过文本至图像和图像至文本两个方向的交互网络，实现模态间和模态内的双重情感信息交互，更全面地挖掘跨模态情感关联；

• 多层模态交互层：在交互网络中设置多层结构进行特征提取，有效捕获文本和图像模态中复杂、多样的情感信息；

• 精准性与效率兼顾：克服了传统静态网络灵活性不足的缺陷，显著提高多模态情感检测的精准性以及效率。

四、应用前景

该专利技术可广泛应用于社交媒体舆情分析、产品评论挖掘、人机交互、智能客服等场景。随着多模态数据在互联网中的持续爆发式增长，该技术为高效、精准地理解用户情感提供了有力的技术支撑，在商业智能、公共舆情监测和人工智能交互等领域具有广阔的应用前景。