开云电竞情感表现下的三维人脸颜色建模技术情感表现下的三维人脸颜色建模技术颜色,特征,情感表达,三维人脸,人脸颜色,人脸特征,人脸建模,三维人脸库,三维建模

　　情感表现下的三维人脸颜色建模技术第27计算机应用研究ApplicationResearchofComputersVoI27No.4Apr.2010情感表现下的三维人脸颜色建模技术冰(西北X-,_lk大学电子信息学院,西安710129)摘要:为了提高三维人脸面部表情的真实感,研究并提出了一种基于GPU的人脸颜色参数模型.该模型使用了MPEG一4中定义的人脸特征点,划分了每个特征点的作用范围,通过改变特征点的颜色值带动该点周边影响范围内点的颜色改变,并采用帧间插值算法实现了颜色的平滑过渡.仿真实验表明,该模型达到了较为逼真的人脸表情动画效果.关键词:颜色模型;图形处理器(GPU);MPEG中图分类号:TP391文献标志码:A文章编号:1001—3695(2010)04—1581—03doi:10.3969/j.issn.1001—3695.2010.04.01083DfacecolormodelingtechnologyunderemotionexpressionWANGYan,FANYang—yu(SchoolofElectronics&Information,NorthwesternPolytechniealUn~ersity,Xi710129,China)Abstract:Inorde~toimprovetherealisticdetailsof3Dfacialexpression,thispaperproposedaparametermodelofthefacialcolorbasedOngraphicsprocessingunit(GPU).ThemodelutilizedfacialfeaturepointswhichwasdefinedintheMPEGdividedtheactionsphereoffeaturepoints.Bychangingthecolorvalueofthefeaturepoints,changedthecolorofthepointintheinfluencescope.Finally,applyingtheinterframeinterpolationalgorithm,realizedthecolorSsmoothingtransition.Sinmla—tJonresultsshowthatthemodelreachesamorerealisticanimationeffectonfaceexpression.Keywords:colormode1;GPU;MPEG一4;interframeinterpolation随着计算机图形技术的发展,虚拟人成为当今虚拟现实研究的热点,越来越受到广泛关注.三维虚拟人是人在计算机生成空问中的几何特性和行为特性的表示,是多功能感知和情感计算研究的内容.而三维人脸动画是计算机动画研究的一个重要内容,主要研究如何真实地模仿人的面部表情及动作.人脸是非常重要而又复杂的交流通道,通过人脸可以鉴别出个人的身份,观察出其喜怒哀乐的情绪,领悟到其情感状态.逼真的面部表情合成技术长期以来一直是计算机图形学以及人机交互中非常活跃的研究领域.由于人们对人脸的外观十分敏感?,要做到真实模拟人脸的表情动画十分困难.真实感的人脸就是指计算机合成的具有特定人的喜怒哀乐等表情以及脸部各种特征的人脸.从人的视觉要求出发,总是希望合成的人脸能够尽可能地达到逼真,但是由于受模型和计算机能力的限制,合成的图像总是与人们的要求有一定的差距.难点主要集中在两个方面:具有真实感人脸模型的建立和如何在人脸模型上模拟真实感的表情和动作.然而,人脸模型表现情感的方式是多方面的.除了面部表情,局部肢体动作之外,面部的颜色变化也是表现情绪的一个重要方面,研究这部分内容,对增加三维人脸面部表情的真实性是很有意义的.例如,面红耳赤显然无法用变形,运动来表示,只有用纹理表达最为恰当,但纹理中的色彩变化规律还未见专门的报道.人们研究更多的是如何将照片的纹理映射到面部的模型上,显然这种方法灵活性不够,不能使虚拟人随人意地表现情感.要实现不依赖图像序列的独立色彩变化或者说依据不同的情感而使色彩独立自主地变化,就必须研究颜色随情感的变化规律.目前就颜色与情感关系研究的文献除了从艺术的角度论述外,就是从对颜色的感知方面进行研究,即从图像的颜色成分分析所表达的情感内容;而对情感的计算机表达研究,即某种情感(如高兴)到底应该用什么样的脸部颜色来表示,颜色会不会还要变化等方面的研究还非常少见.但虚拟人情感表达中脸部色彩变化是必不可少的研究内容,这将使虚拟人的情感表达更为逼真,更符合现在不断提高的对虚拟人真实感表现要求.因此,本文将对情感的颜色表达进行探索性的研究,以符合这一发展趋势.针对上述问题,本文研究了人脸面部颜色随情感的变化规律,统计了不同情绪下人脸颜色的变化值,进一步提出了一种新的基于GPU的人脸颜色参数模型.该参数模型通过控制面部特征点的颜色值来达到改变面部颜色的目的.对不同特征点的作用范围使用不同的区域划分规则,目的是使颜色变化的范围更加真实可信;同时采用帧问插值算法,使得每一个动画帧中的颜色值能够平缓自然地变化,最终合成真实感较强的表情动画.最后给出了一个三维人脸模型面部颜色变化的实验结果,用以证明本文提出的方法能够提高虚拟人情感表达的逼真程度.颜色模型颜色模型是对颜色的表示方式与规范.针对不同的应用领域,人们提出了几十种不同的颜色模型.在数字图像处理收稿日期:2009—07—10;修回日期:2009—09-07基金项目:国家863计划资助项目(2007AA01Z324)作者简介:王燕(1984.),女,河南洛阳人,硕士研究生,主要研究方向为虚拟现实,图形图像处理等();樊养余(1960.),男,教授,博导,主要研究方向为图像处理,现代信号处理,虚拟现实等.中,应用最多的是RGB颜色模型.RGB颜色模型对应于人类视觉的红,绿,蓝三基色,是对人眼的光谱化性质的近似.因此,利用R,G,B三基色这三个分量来表征颜色是很自然的一种方式;并且多数图像采集设备都是以CCD技术为核心,直接感知色彩的R,G,B三个分量,它被多数的彩色显示器以及数码相机,数码摄像机等硬件设备直接支持.在Direct3D中,颜色用RGB三元组来表示,使用结构体D3DXCOLOR来定义.该结构体有四个浮点型成员:r,g,b,a.其中r表示颜色的红色成分,g表示颜色的绿色成分,b表示颜色的蓝色成分,a表示颜色的Alpha成分,即透明度.本文将用RGB颜色模型来模拟人脸面部的颜色变化,并建立其变化的数学模型.参数设置查阅心理学,绘画学,虚拟现实技术等相关方面的资料,根可以看出,一般情况下,人的面部颜色随情绪变化而产生的变化较为细微,不易察觉,并且大致可以分为两种:变为红色或者白色;改变的方式也分为渐变和瞬变两种.因此本文将颜色模型的主要变化参数设置为颜色和时间. 普拉托诺夫和陈千科的情绪表现评定量表参照《中医诊断学》关于面部常见色的诊断标准和《中 医诊法图谱》,先将人脸面部大致分为额头,左颊,右颊,鼻 尖,下颏五部位.同时,结合MPEG 标准中定义的人脸定义参数(facialdefinitionparameter,FDP)将人脸面部作进一步的 区域划分,确定面部特征点控制的区域范围.FDP 提供人脸特 征点,网格,纹理,人脸动画定义表等数据,在一个FDP 域中包 含以下五方面内容: a)FeaturePointsCoord,指定网格中所有特征点的坐标. b)TextureCoords,指定所有特征点在纹理上的坐标. c)UserOrthoTexture,指定纹理的类型.如果UserOrthoTex— ture 值为false,则纹理采用圆柱投影;如果UserOrthoTexture 为true,则纹理采用正投影.知道纹理类型才可以正确地计算非特征点在纹理上的坐标. d)FaceDetTables,即人脸动画定义表,描述人脸网格变形 的控制方法和参数. e)FaceSceneGraph,包含一张纹理图像. MPEG-4 标准中定义了FDP 的84 个人脸特征点(图1), 对于其他网格,纹理,人脸动画定义表等内容没有具体限定. 图1MPEG 参数模型本文介绍的参数模型算法充分利用图形处理单元(GPU) 提供的可编程特性及强大的计算能力,绘制出具有真实感的面 部颜色,同时满足实时绘制的速度要求. 在研究脸色变化时,首先应有参考体,即正常状态时的脸 部颜色,对某类人脸肤色(如黄种人,白种人,黑种人等)应采 用有代表性的,普通的人脸肌肤颜色为研究对象. 收集大量的视频资料,图片资料(照片,人物画等)后,本 文将不同情感的脸部颜色变化分类.例如,激动时人脸颜色变 化归为一类,羞愧时人脸颜色变化归为另一类等.针对同一种 情感(如激动),以统计的方法研究面部不同部位(以MPEG-4 的划分为基准)在同一情感状态下颜色的变化规律,并将这些 颜色分解为R,G,B 三基色,研究三基色的比例,以建立颜色变 化的数学模型,为主动合成某一情感的颜色变化提供依据. 为提高脸部颜色变化的真实度,需要注意三个方面:a)特 征点的颜色随时间变化的规律;b)特征点影响区域中的颜色 随时间变化的规律;C)颜色变化区域中渐变的平滑度. 本文所选取的特征点是脸部颜色变化较为明显的区域的 中心点,比较具有代表性的是图1 中5.3,5.4,11.1 等特征点. 围绕特征点划分颜色变化的区域范围,划分原则是以不同模型 的脸型为准,选用圆形,椭圆形等二维图形,可以做适当的区域 叠加以弥补单一图形造成的覆盖范围不严密等问题.也可以 使用三条以上的线段来圈画出不规则二维图形,用以贴合不同 的脸型,提高逼真度.本文从视频资料中提取出每一帧的人脸 特征点颜色值,对数据作差值处理: 其中:i表示特征点的序列号表示视频帧的序列号:.(r,g, 个特征点的颜色值.利用(,,g,5)的变化规律拟合出每个特征点R,G,B 值的变化曲线) 化曲线函数.特征点影响区域中点的颜色值随时间和距离变化的规律可由下式表示: d=IP一P.I(7) 其中:W为第i 个特征点的影响权值;P 为影响区域内点的坐 标值,包括,y 两个分量;P 个特征点的坐标值;d=max(d)为第i 个特征点所影响区域的最大半径. 将所有特征点影响区域中点的颜色的变化值叠加在原始 的纹理图片上:. 7-=(70+Y.S)L(8) 其中:70 表示原始纹理图片的颜色值矩阵,￡为光照模型,7-表 示变化后纹理图片颜色值矩阵. 在动画播放时,为了保证动画效果的逼真性和播放的连续 性,可以在两个给定帧之间进行参数的插值计算,生成中间帧 的参数值.其算法如下: F.d=…F+(1 一k)Fne(9) 一t(11)其中:z 帧目前剩下的时间;￡为第i帧所需的总时间;￡ 为当前已用的总时间;F 表示当前帧即第i 帧;,表示下一 实验结果应用GPU 可编程渲染管线建立面部颜色变化的参数模