点击蓝字 关注我们
欢迎各位专家学者在公众号平台报道最新研究工作，荐稿请联系小编Robert（微信ID：BrainX007）； 或将稿件发送至lgl010@vip.163.com。
英文标题：A GPT Assisted Multi Modal Emotion Intelligence Framework for Mental Health Predictive Analytics using Physiological Signals.
成果简介
当AI试图读懂人的情绪时，单靠一种生理信号往往不够；脑电反映神经活动，心电体现自主神经变化，皮肤电则与唤醒和应激相关，三者各有侧重。该研究提出一个GPT辅助的多模态情绪智能框架，融合EEG、ECG和GSR三种生理信号，通过同步、去噪、特征提取与融合，构建完整的情绪识别流程，并引入GPT对分类结果进行解释，帮助临床医生快速理解情绪变化的可能原因。在心理健康预测任务中，该框架的效价与唤醒分类准确率分别达到96.93%和99.05%，优于SVM、k-NN、XGBoost及标准KELM等基线方法，为情感感知诊断、心理健康监测与个性化医疗提供了新的技术思路。
主要贡献
提出一套完整的多模态生理信号预处理流程：针对EEG、ECG、GSR三种信号采样率不同、噪声干扰强的问题，设计了“互相关同步—DWT去噪—固定长度分段—事件对齐”的预处理管线，确保多模态信号在时间上严格对齐，为后续特征提取和分类提供高质量数据基础。
引入WST与统计特征相结合的特征提取方案：采用小波散射变换（WTS）提取信号的时频域特征，同时计算均值、方差、偏度、峰度、能量等统计特征，两者互补，兼顾局部与全局信息，提升特征集的判别能力。
设计2D-BPCP降维与CCA特征融合策略：通过二维双向主成分协同投影（2D-BPCP）降低特征维度，再利用典型相关分析（CCA）将EEG、ECG、GSR特征投影到公共子空间，最大化模态间相关性，实现有效融合。
提出WOA优化的KELM分类模型：提出鲸鱼优化算法（WOA）自动搜索KELM的核参数σ和正则化因子α，避免人工调参的盲目性，显著提升了分类性能。效价和唤醒分类准确率分别达到96.93%和99.05%，优于SVM、k-NN、XGBoost及标准KELM等基线方法。
方法
该框架的流程如图1所示，从信号采集到最终分类与解释，共经历信号同步、去噪、分割对齐、特征提取、降维、特征融合、分类和解释八个环节：
图1.框架的工作流程图
1）对齐三种信号：EEG、ECG、GSR的采样率不同，直接融合会带来时间错位。该研究先用互相关找出信号之间的最佳时间延迟，完成同步；再用离散小波变换（DWT）去除噪声和伪迹；最后以情绪刺激事件为标记，将三种信号按固定时间窗口分段对齐，确保后续分析基于同一时间基准。
2）小波散射变换 + 统计特征： 研究采用小波散射变换（WST）提取信号的时频域特征，它能有效处理非平稳信号，且对时间偏移不敏感。同时补充均值、方差、偏度、峰度、能量等统计特征，兼顾局部与全局信息，形成更完整的特征集。
3）2D-BPCP + CCA： 高维特征容易导致计算低效和过拟合。研究先用二维双向主成分协同投影（2D-BPCP）进行降维，保留95%以上的累积方差；再通过典型相关分析（CCA）将EEG、ECG、GSR特征投影到公共子空间，最大化模态间相关性，实现有效融合。
4）WOA优化的KELM： 分类器采用核极限学习机（KELM），它通过核函数处理非线性数据，训练效率高。研究进一步用鲸鱼优化算法（WOA）自动搜索KELM的核参数和正则化因子，避免人工调参的盲目性，从而提升分类准确率与鲁棒性。
5）GPT解释模块（分类之后）： GPT在本框架中不参与情绪分类，而是在分类完成后，将文本输入（如自我报告、临床记录）与生理特征结合，生成简短的描述性解释，帮助临床医生快速理解情绪变化的可能原因。这一设计计算开销低，不干扰实时信号分析，主要作用是增强结果的可读性与临床可用性。
研究结果
图2.不同特征集下的分类准确率对比
图3.不同规模下WOA-KELM的收敛曲线
表1.机器学习模型的回归性能对比
图4.分类模型的误差分布
研究结论
本研究通过融合EEG、ECG和GSR三种生理信号，构建了一套从信号同步、去噪、特征提取到分类的完整情绪识别流程，并采用鲸鱼优化算法自动调优核极限学习机的关键参数，使效价与唤醒分类准确率分别达到96.93%和99.05%，优于SVM、k-NN、XGBoost及标准KELM等基线方法。同时，GPT模块在不参与分类决策的前提下，为识别结果生成简短的描述性解释，提升了框架在心理健康场景中的可读性与实用性。研究表明，将多模态生理信号与优化分类器、语言解释模块相结合，能够为情感感知诊断、心理健康监测和个性化医疗提供一条可行的技术路径。
免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。
公众号丨智能传感与脑机接口
