全书系统性地阐述了情感计算赋能智慧学习这一前沿交叉领域。全书内容循序渐进，从人工情感、机器学习与心理学中关于人格的基础理论出发，逐步拓展到面向学习场景的单模态情绪分析、多模态情感识别及自动人格识别技术，完整呈现了从理论模型到关键技术，再到系统集成与场景应用（如情感辅导代理）的体系化知识。本书特色在于其知识的系统性、案例的实用性以及关于情感计算方向多模态融合技术的前沿性。
本书主要面向人工智能、人工心理学及智慧教育技术领域的研究人员、工程师及研究生，同时也为致力于研发新一代智慧教育产品的开发者提供了关键的理论支撑与实践指南。

国内第一本多模态情感计算题材图书。
作者国外多位院士，联袂编写。
本书研讨内容国内尚处于技术萌芽期，具有很大前沿性。
本书译者为国内多模态情感领域专家，权威度高，影响力大。

在情感计算、社会信号处理和计算机视觉的视角下，对人类行为的自动分析成为重要研究课题。近年来，在情感、情绪和人格识别领域均已取得显著进展。然而，尽管取得了这些进步，目前仍然缺少一部能够
系统阐述这些主题的汇编作品，尤其在教育应用领域。这种缺失使得研究人员和学生难以全面掌握基础知识、现有方法、传统评估协议以及最新进展。
本书共分为四个部分，涵盖了多模态情感计算领域互补且相关的主题。第1部分为基础内容，以教程章节的形式呈现，涉及情感计算、机器学习以及学习环境背景下的情感计算等方面的内容。这些章节对理解各项任务解决方案所需的一般性主题进行了详细阐述。第2~4部分则分别详细阐述了情感分析、情绪多模态识别、自动人格识别以及各自在学习环境中产生的影响。这些章节探讨了设计流程、语料库生成、数据预处理、模型学习以及评估等方面的内容，且都着重强调了多模态学习。据我们所知，本书是首批论述这一特定主题的汇编作品之一，希望读者能够从中受益。
本书的成稿离不开众多参与撰写与审校工作人士的鼎力支持。在此，我们特别感谢玛丽亚·卢西亚·巴隆·埃斯特拉达（María Lucía Barrón Estrada）教授和维克多·曼努埃尔·巴蒂兹·贝尔特兰（Víctor Manuel Batiz Beltrán）教授提供的深刻见解和对本书内容的系统审阅。
拉蒙·扎塔拉因·卡巴达，墨西哥 库利亚坎
赫克托·曼努埃尔·卡迪纳斯·洛佩斯，墨西哥 库利亚坎
雨果·雅伊尔·埃斯卡兰特，墨西哥 普埃布拉

拉蒙扎塔拉因卡巴达(Ramón Zatarain Cabada)
墨西哥Tecnológico de Culiacán研究所教授兼研究员、墨西哥计算学院院士、墨西哥人工智能学会以及墨西哥一级研究人员系统的正式成员，研究方向为智能学习环境、情感计算和人工智能在教育中的应用。

赫克托曼努埃尔卡迪纳斯洛佩斯(Héctor Manuel Cárdenas López)
墨西哥Tecnológico de Culiacán研究所助理研究员，研究方向为多模态深度学习技术、面向情感识别和人格识别的人类行为分类、情感辅导系统和认知导向情感。

雨果雅伊尔埃斯卡兰特 (Hugo Jair Escalante)
墨西哥国家天体物理、光学和电子学研究所高级研究员，美国ChaLearn董事会成员，国际模式识别学会第12技术委员会主席，墨西哥科学院院士，墨西哥计算学院院士以及墨西哥二级研究人员系统的正式成员，研究方向为机器学习及其在语言和视觉上的应用。

孙强，西安电子科技大学本硕博，西安理工大学副教授，陕西省公民科学素质与科技创新研究中心特聘研究员，英国伦敦玛丽女王大学访问学者。中国指挥与控制学会城市大脑专委会常委兼副总干事，中国自动化学会模式识别与机器智能专委会委员，中国人工智能学会情感智能专委会委员，中国图象图形学学会机器视觉专委会、人机交互专委会和学习型视觉系统专委会委员，陕西省电子学会图象图形工程专委会副主任委员。全国普通高等学校本科教育教学评估专家、全国研究生教育评估监测专家，江苏省科技副总、《电子与信息学报》编委。 主要研究领域为计算机视觉与模式识别、情感计算和智慧气象。负责完成国家级科研项目2项、省部级项目3项、厅局级项目8项、企业委托横向课题3项。出版著作3部，发表学术论文近60篇(SCI检索20多篇，EI检索30多篇)。申请和授权国家发明专利20余件。主持完成省部级教育教学改革研究项目2项和校级教育教学改革研究重点项目1项，在教育学权威期刊发表CSSCI论文1篇，获得陕西省高校教学成果奖特等奖1项。 中国科普作家协会会员。科普中国专家、中国自动化学会自动化与人工智能科普百人专家团专家、《科普研究》特邀审稿专家，中国自动化学会普及工作委员会委员。出版《自我、科技与未来》、《感受与认知》和《重拾科学的光辉》等三部高端科普图书，其中两部荣获陕西省优秀科普作品奖。

序
前言
致谢
第1部分基 础 知 识
第1章情感计算
1.1引言
1.2情绪、情感与情感体验理论
1.3人格与学习理论
1.3.1主要的人格理论
1.3.2人格对学习的影响
1.4认知加工与面向学习的情感
1.5情绪、情感、人格与机器
1.6讨论
参考文献
第2章机器学习与模式识别在情感计算中的应用
2.1引言
2.2情感计算中的输入数据
2.3机器学习的分支与模型
2.3.1监督学习
2.3.2无监督学习
2.3.3其他学习变体
2.4降维
2.5深度学习
2.5.1神经网络
2.5.2卷积神经网络
2.5.3序列模型
2.5.4其他基于深度学习的模型
2.6讨论
参考文献
第3章情感学习环境
3.1引言
3.2教与学的动态过程
3.3有关情感在学习中作用的理论模型
3.4情感学习环境的设计
3.5讨论
参考文献
第2部分面向学习环境的情感分析
第4章构建情感检测资源
4.1引言
4.2实验设置的设计
4.3数据挖掘系统设计与实现
4.4数据挖掘面临的挑战
4.5讨论
参考文献
第5章数据表示方法
5.1引言
5.2词语切分
5.3句法分析
5.4词干提取和词形还原
5.5词嵌入
5.6讨论
参考文献
第6章分类模型的设计与测试
6.1引言
6.2基于词典的情感分析
6.3多层感知机
6.4卷积神经网络
6.5长短期记忆神经网络
6.6评估协议
6.7讨论
参考文献
第7章学习系统中的模型集成
7.1引言
7.2资源构建
7.3聚焦于编程语言领域的数据库
7.4创建以学习为重点的情绪词典
7.5模型选择过程
7.6评价指标
7.7模型训练及验证
7.8情感学习环境
7.8.1模型实现
7.8.2情感辅导智能体
7.9讨论
参考文献
第3部分面向学习场景的情绪多模态识别
第8章构建情绪检测资源
8.1引言
8.2实验设置设计
8.2.1选择数据模态
8.2.2标注过程
8.2.3工作环境
8.2.4情绪诱发
8.3讨论
参考文献
第9章数据表示方法
9.1引言
9.2基于图像的面部表情数据表示
9.3基于频谱图的语音数据表示
9.4生理数据基于信号的数据表示
9.5选择数据表示方法的实际考虑因素
9.6讨论
参考文献
第10章多模态识别系统
10.1引言
10.2数据融合技术
10.3多模态情绪识别中的卷积神经网络
10.4多模态情绪识别中的长短期记忆网络
10.5评估协议
10.6讨论
参考文献
第11章学习环境中的多模态情绪识别
11.1引言
11.2增强学生的动机、参与度和认知加工能力
11.3创建数据集
11.3.1标注过程
11.3.2融合不同数据集
11.4定义深度学习架构
11.4.1卷积神经网络
11.4.2长短期记忆网络
11.5评估协议
11.6模型部署
11.6.1数据管道
11.6.2模型解释
11.7情绪辅导智能体
11.8讨论
参考文献
第4部分自动人格识别
第12章构建用于人格识别的资源
12.1引言
12.2数据结构设计
12.3人格数据标注
12.4数据收集应用程序
12.5讨论
参考文献
第13章数据表示方法
13.1引言
13.2语音数据表示
13.3文本数据表示
13.4面部表情数据表示
13.5生理信号数据表示
13.6情绪与人格数据表示的差异
13.7讨论
参考文献
第14章人格识别模型
14.1引言
14.2单模态架构
14.3多模态架构
14.4讨论
参考文献
第15章情感计算中的多模态人格识别
15.1引言
15.2数据结构设计
15.2.1APP数据集的收集
15.2.2APR数据集的创建
15.2.3表观人格感知与自动人格识别
15.3用于数据收集的应用程序
15.4数据重新收集过程
15.5使数据集适应工作环境
15.5.1图像预处理
15.5.2声音预处理
15.6人格识别模型设计
15.6.1基于图像的模型
15.6.2基于声音的模型
15.6.3多模态模型
15.7实验室测试
15.8模型即服务
15.9教育领域的人格识别
15.10讨论
参考文献
术语表