近日,医学部生物医学工程学院教授梁臻在情感计算顶级期刊IEEE Transactions on Affective Computing(影响因子9.6)上发表题为“Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition”的学术论文。永利集团3044官网欢迎您研究生叶炜珊同学和哈尔滨工业大学(深圳)张治国教授为共同第一作者,永利集团3044官网欢迎您副教授梁臻和电子科技大学教授徐鹏为共同通讯作者。永利集团3044官网欢迎您为第一作者单位和通讯单位。
脑电(EEG)是一种用于情感识别的客观工具,因其提供的高时间分辨率和非侵入性检测特性,在情感计算领域具有广阔的前景。然而,尽管EEG具有巨大的潜力,其广泛应用却面临着一个主要挑战,即标签数据的稀缺。这种数据稀缺性限制了现有模型在情感识别任务中的性能表现。为了解决这一问题,本研究提出了一种新颖的半监督双流自注意对抗图对比学习框架,简称DS-AGC,用于基于EEG信号的跨被试情感识别。DS-AGC框架设计了一种智能的双流结构,通过这种结构,能够有效地提取并融合EEG信号中的非结构化和结构化信息。双流结构包含两个并行的子网络:一个用于处理原始的非结构化EEG数据,另一个则用于处理基于图结构提取的EEG特征。随后,这两个子网络的输出通过自注意机制进一步融合,以提升模型对情感状态的识别能力。
为了验证DS-AGC框架的有效性,研究者在多个benchmark数据库上进行了全面的实验。这些实验结果显示,DS-AGC框架不仅能够有效利用有标签的数据,还能充分挖掘无标签数据的信息,显著提升情感识别的准确性和鲁棒性。尤其在有标签数据稀缺或获取成本高昂的情况下,成为一种有前景的解决方案。
该研究获得国家自然科学基金等项目资助。
原文链接:https://doi.org/10.1109/TAFFC.2024.3433470