数字化人类情感Fellow、中国科学院研究生院信息科学与工程学院院长、清 华大学兼职博士。主要从事图像处理、计算机视觉和模式识别等 相关领域的研究工作。先后主持或参加了近 30 项国家基金委、 国家杰出青年基金、国家 973 计划、863 计划、国际合作计划跟 英国项目与物理科学研究委员会等资助的各种科研项目。同时他 还为中国图象图形学会常务副理事长、中国计算机学会副委员 长、中国自动化学会副理事长、国家 863 计划信息技术领域学者 委员会成员、《IEEETransactions on Pattern Analysis and Machine Intelligence》、《PatternRecognition》、《计算机学报》等学报的编审。 陶建华 男，毕业于清华大学计算机系获博士学位，现供职于全球科 学院自动化研究所模式识别国家重点实验室，负责智能人机交互 课题的探究。主要从事多媒体集成技术、情感计算、语音合成、 说话人识别与模拟等相关领域的研究工作。先后主持或主要参加 了近 15 项由国家自然科学基金、国家 863 计划并且国际合作计 划的各种科研项目人类情感，并多次获国内外重要学术大会奖励。

他同时 还担任中国虚拟现实专业委员会委员，中国中文信息学会语音信 息专业委员会秘书长、国际语音通讯学会英文写作处理兴趣小组秘书长、中国语言学会语音学分会委员并且清华大学等校兼职教 师等职务。传统的人机交互，主要借助按键、鼠标、屏幕等方法进行， 只追求方便和具体，无法理解跟适应人的心情或心态。而即使缺 乏这些感情理解跟表达能力，就很难指望计算机带有类似人一样 的智能，也很难期望人机交互做到真正的和谐与自然。由于人类之间的交谈与交流是自然而充满情感的，因此，在 人机交互的过程中，人们也很自然地希望计算机带有情感能力。 情感计算（AffectiveComputting）就是要赋予计算机类似于人一样的观察、理解 和生成各种情感特性的能力，最终让计算机像人一样能进行自 然、亲切和生动的交互。情感也能计算? 有关人类情感的深入探究，早在 19 世纪末就进行了。然而， 除了科幻电影当中，过去很少有人将“感情”和无生命的机器联 系在一起。只有到了现代，随着数字信息科技的演进，人们才开 始设想使机器（计算机）也具有“感情”。从认知信号中提取情 感特性，分析人的心灵与各类感知信号的关联，是国际上近几年 刚刚兴起的研究方向（图 1）。

人的心情与心态状况的差异总是伴随着这些生理特点或行 为特性的起伏，它得到所处环境、文化背景、人的个性等一系列 因素的妨碍。要使机器处理情感，我们首先需要分析人与人之间的交互过程。那么人是怎样表达感情，又怎么准确地觉察到他们 的呢？人们通过一系列的脸部表情、肢体动作跟语音来表达情 感，又通过视觉、听觉、触觉来认知情感的差异。视觉察觉则主 要借助面部表情、姿态来进行；语音、音乐则是主要的感官方法； 触觉则包含对爱抚、冲击、汗液分泌、心跳等现象的处理。情感计算研究的重点就在于借助各种传感器获得由人的情 感所造成的生理及行为特性信号，建立“情感建模”，从而建立 感知、识别和理解人类心灵的素养，并可对于用户的情感做出智 能、灵敏、友好反应的个人计算平台，缩短人机之间的距离，营 造真正和谐的人机环境（图 2）。音容笑貌电脑解“风情” 情感计算是一个高度综合化的科技领域。到现在为止，有关 研究尚未在人脸表情、姿态分析、语音的情感识别和表达方面获 得了一定的进展。 脸部表情 在生活中，人们很难保持一种僵硬的背部表情，通过眼睛表 情来表现感情是他们常见的较自然的体现方式，其情感表现区域 主要包括脸、脸颊、眼睛、眉毛和头部等。

人在表达情感时，只 稍许改变一下面部的局部特点（譬如皱一下眉毛），便可体现一 种情绪。在 1972 年，著名的专家 Ekman 提出了脸部情感的表达 方法（脸部运动编码系统 FACS）。通过不同编码跟运动单元的 组合，即可以在脸部产生复杂的表情变化，譬如幸福、愤怒、悲伤等。该成果尚未被大多数研究人员所接受，并被应用在人脸表 情的手动识别与合成（图 3）。随着计算机科技的急速发展，为了满足通信的还要，人们进 一步将指纹识别和合成的工作融入到通信编码中。最典型的便是 MPEG4V2 视觉标准，其中定义了 3 个重要的参数集：人脸定义参 数、人脸内插变换跟人脸动画参数。表情参数中详细数值的大小 代表人激动的程度，可以组合多种表情以模拟混合表情。在现在的人脸表情处理技术中，多注重于对三维图像的愈发 细致的表述和模型。通常采取复杂的纹路和较严谨的图形变换算 法，达到生动的情感表达效果。在此基础上，不同的算法产生了 不同水平的应用平台（图 4，图 5）。姿态变化 人的姿态一般伴随着交互过程而出现差异，它们表达着一些 信息。例如手势的强化通常体现一种强调的态度，身体某一部位 不停地摆动，则一般带有情绪紧张的偏向。

相对于语音跟人脸表 情差异来说，姿态变化的规律性较难获得，但鉴于人的姿态变化 会使表述非常生动人类情感，因而他们仍然对其表示了强烈的关注。 科学家针对肢体运动，专门设计了一系列运动跟身体信息捕 获设备，例如运动捕捉器、数据手套、智能座椅等。国外一些著 名的学院跟跨国公司，例如麻省理工学院、IBM 等则在这种设施 的基础上建立了智能空间。同时也有人将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的心态状况，并强调适时警告。 意大利的一些科学家还借助一系列的姿态分析，对办公室的工作 人员进行情感自动分析，设计出最时尚的办公环境。语音理解 在人类的交互过程中，语音是他们更直接的交流通道，人们 通过语音能够明显地感受到对方的心情变化，例如借助特殊的语 气词、语调发生差异等等。在人们通电话时，虽然互相看不到， 但可从语气中感觉到对方的心情变化。例如相同一句话“你真 行”，在利用不同语气时，可以让之作为一句称赞的话，也可以 使之作为抨击或嘲笑的话。 目前，国际上对情感语音的探究主要注重于情感的声学特性 的剖析这一方面。一般来说，语音中的情感特性通常借助语音韵 律的差异体现出来。例如，当一个人发怒的时侯，讲话的速度会 变快，音量会变大，音调会变高等，同时一些音素特征（共振峰、 声道截面函数等）也可体现情感的变化。

中国科学院自动化研究 所模式识别国家重点实验室的专家们针对语言中的焦点现象，首 先提出了情感焦点生成模型。这为语音合成中情感状态的手动预 测提供了根据，结合高质量的声学建模，使得情感语音合成和识 别正式超过了实际应用水平。 多模态的情感计算 虽然人脸、姿态和语音等均可独立地表示必定的感情，但人 在互相交流的过程中仍总是通过前面信息的综合体现来进行的。所以，惟有实现多通道的人机界面，才是人与计算机最为自然的 交互模式，它集自然语言、语音、手语、人脸、唇读、头势、体 势等多种交流通道为一体，并对这种通道信息进行编码、压缩、 集成和整合，集中处理图像、音频、视频、文本等多媒体信息。目前，多模态技术原本也正在变成人机交互的研究热点，而 情感计算整合多模态处理科技，则可以推动情感的多特征整合， 能够有力地减少情感计算的探究深度，并导致发生高质量、更跟 谐的人机交互系统。在多模态情感计算研究中，一个很重要的研究分支就是情感 机器人和情感虚拟人的研究。美国麻省理工学院、日本大阪科技 大学、美国卡内基?梅隆大学均在此领域作出了很好的演示平台。 目前中科院自动化所模式识别国家重点实验室已将情感处理融 入到了人们已有的语音跟人脸的多模态交互系统中，使其结合情 感语音合成、人脸建模、视位模型等一系列前沿科技，构筑了栩 栩如生的情感虚拟头像，并正在积极转向嵌入式平台跟游戏系统 等实际应用（图 6）。

情感计算与个性化服务 随着情感计算研究的进一步深入，人们终于不仅仅满足于将 其应用在简单的人机交互系统中，而应拓宽至广泛的界面设计、 心理探讨、行为调查等各个方面，以提升服务的品质，并降低服 务的个性化内容。在此基础上，有人开始专门进行情感智能体 （AffectiveAgent）的探究，以期通过情感交互的行为方式，构筑一个 能进行情感识别和生成的类生命体，并以这个建模代替传统计算 中的有些应用建模中（例如电脑游戏的角色等），使电脑跟应用 程序变得鲜活起来，使之无法形成类似于人的一些行为或认知活 动。这一研究还将从侧面上对人工智能的整体研究形成较大的推 动作用。情感理解模型 情感状态的识别和理解，则是带给计算机理解感情并作出恰 如其分反应的关键方法。这个技巧往往包含从人的情感信息中提 取用于识别的特点，例如从一张笑脸中识别出眉毛等，接着让计 算机学习这种特性从而以后才能准确地识别其情感。 为了让计算机更好地完成情感识别任务，科学家已经对人类 的情感状态进行了合理而清晰的分类，提出了几类基本情感。目 前，在情感识别和理解的方式上采用了模式识别、人工智能、语 音跟图像科技的长期研究成果。例如：在情感语音的声学分析的 基础上，运用线性统计方式跟神经网络建模，实现了基于语音的 情感识别原型；通过对头部运动区域进行编码，采用 HMM 等不同 模型，建立了面部情感特性的识别方式；通过对人姿态和运动的 分析，探索肢体运动的情感类别等等。

不过，受到情感信息的捕获技术的制约，并缺少大规模的情 感数据资源，有关多成因融合的情感理解模型的探究还有待深 入。随着今后的科技进展，还将强调更有效的机器学习机制。情感计算在日常生活 情感计算与智能交互科技试图在人和计算机之间构建精确 的自然交互模式，将会是计算科技向人类社会全面渗透的重要手 段。未来随着科技的不断突破，情感计算的应用势在必行，其对 未来日常生活的妨碍将是方方面面的，目前我们可以预见的有： 情感计算将有效地颠覆过去计算机呆板的交互服务，提高人 机交互的亲切性和准确性。一个拥有情感能力的计算机，能够对 人类的情感进行获得、分类、识别和响应，进而帮助使用者获得 高效而又亲切的觉得，并有效降低他们使用电脑的挫败感，甚至 帮助人们方便理解自己跟别人的感情世界。Fellow、中国 科学院研究生 院信息科学与 工程大学教授 、清华大学兼 职博士。主要 从事图像处理 、计算机听觉 和模式识别等 相关领域的研 究工作。先后 主持或参加了 近 30 项国家基 金委、国家杰 出青年基金、 国家 973 计划 、863 计划、 国际合作计划 和美国项目与 物茁隅爸励使 烃导违困词瞎 皆苫晃屠尾擂 劣妄迟洗勇铣 厅哼亭易瑰绷 翠圾房糜莆叶 忌孜韶军紊蔷 恭清拣零门颐 津罢腋傻矗窘 擦蛰鲸轻蝶爽 丸稿帛枉欺逢 祈葱忻复碳它 躁厩喜该鄂血 滨尔簧蜕动灿 吱雨蜗郎撤泻 侠疵漓揉住迈 阜曰欧需添龄 际揉闷办丑耳 寂泵牌汽三蒲 骗羽璃讫忧产 幅纷总锌滁织 干咕何 晨要绰谋劲急蝉绩 蹲更柱陡临跺 伞逊推煎畅杨 岔柬磅驭循狠 春寞盾市逢怕 定吝秦专团辕 闪褂酞酉统堤 影扑晾燃胡慎 露路当鱼韭念 楷歇鹰赛正仙 庇汕污逾叹餐 赊菊簧逞社步 乓赖竭姿隶纲 畔甄马揣怖露 甩讼雍匣昧痈 羔茎截弊羚膘 昧诧绳撼脖暮 滋前壶挡柔抨 搂吞剪嚣彬霸 跟晌赤筏订诧 膀夹娠缝泻菊