人脸识别主要分为人脸检测、图像预处理、特征提取和匹配识别4个过程(如图1所示)。
1.人脸检测
人脸检测在实际应用中主要用于人脸识别的预处理，即从输入图像中检测并提取人脸图像，标定出人脸的位置和大小。目前常用的人脸图像模式特征有：直方图特征、颜色特征、结构特征及haar特征等。基于以上特征采用Adaboost算法挑选出zui能代表人脸的矩形特征，按照加权投票方式，按级构造成级联分类器。检测时，级联分类器对图像中的每一块进行分类并将zui终通过级联分类器的图像判定为人脸图像。
图1 人脸识别过程
2.图像预处理
人脸检测获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，需要在人脸图像预处理部分对图像进行包括光线补偿、灰度变换、直方图均衡化、归一化、滤波及锐化等处理。
3.特征提取
特征提取是人脸识别中zui关键的一步，简单说它是指通过一些数字来表征人脸信息，这些数字就是要提取的特征。
目前主流的特征提取算法主要分为线性特征提取算法和非线性特征提取算法。线性特征提取算法的代表是主分量分析(PCA)与线性鉴别分析(LDA)。
主分量分析是一种基本的多维数据描述方法，其基本思想是：利用一组为数不多的特征去尽可能地表示样本的特征。主分量分析通常采用样本总体协方差矩阵的特征向量系作为展开基(即K-L坐标轴)，而那些对应若干个zui大特征值的特征向量则被称为主分量或者主成分(principal component)。模式样本在这些主分量上线性投影后，所得的系数即称为主分量特征。主分量分析具有：消除了模式样本之间的相关性和实现了模式样本的维数压缩两大优点，即主分量分析给出了原始高维样本的一种简约表示。可以证明，这种表示在zui小协方差意义下是*的。由于这些优点，主分量分析被成功应用于人脸图像表示。但是由于这种表示是以所有样本的*重建为目的，因此对于描述不同类样本之间的差异而言，它不一定是*的描述。从这个意义上说，用它描述的特征来进行人脸识别不是*的。
线性鉴别分析是众多模式识别方法中zui经典的方法之一。LDA算法的目的是确定一组*鉴别矢量(投影轴)，使得原始数据在该鉴别矢量集上投影后类间离散度和类内离散度的行列式之比达到zui大，称该方向对应的矢量为Fisher*鉴别矢量。LDA的物理意义是，样本在这些*鉴别矢量上投影后，同类的样本尽可能靠近，而不同类样本尽可能地分离，类间散布程度与类内散布程度之比达到zui大。如果说PCA获得的是样本的*表示特征集，那么LDA获得的则是样本的*鉴别特征集，该特征集应该更适于模式的分类。
但对于人脸识别而言，由于表情、光照、姿态等变化而引起的人脸图像之间的差异造成人脸图像在高维空间的分布是非线性的，而线性特征提取方法是对这些非线性特征进行了线性简化，所以无法获得更好的识别效果。于是，非线性特征提取方法引起了研究者们广泛的关注，并取得极大的发展。非线性特征提取方法大致可分为两个分支，即基于核的特征提取方法和以流形学习为主导的特征提取方法。
4.匹配识别
将提取到的待识别人脸特征与数据库中的人脸特征进行对比，根据相似度对人脸的身份信息进行判断。而这一过程又可以分为两个大类：一类是一对一验证，一类是一对多辨认。
一对一验证是指将待识别人的特征信息与历史采集特征信息进行两两比对，若两者的相似度不低于设定的阈值，则验证通过，否则失败。在这种模式下通常采用错误拒绝率(FNMR，FalseNon-Match Rate)和错误接受率(FMR，False Match Rate)两个指标衡量生物特征识别技术性能，具体定义如(1)和(2)所示。
一对多的辨认是利用未知身份生物特征在大量的已知身份的生物特征数据库中查询，设置相似度阈值，并返回列表长度，识别未知生物特征拥有者的身份。一般用错误匹配率(FPIR，False Positive Identification Rate)和正确识别率(TPIR，True Positive Identification Rate)两个指标衡量识别性能。具体定义如(3)和(4)所示。
在人脸识别性能测试中为了衡量人工查看的工作强度，还定义了SEL(Selectivity)指标衡量一对多识别性能，SEL具体定义如(5)所示。
当光照条件和人脸姿态发生变化后(例如人脸在深度方向发生偏转)，人脸识别系统的识别率会出现严重的下降。鉴于以上技术缺陷，在人脸识别技术领域，各大高校、科研机构都在进行更加深入的研究，各种各样的新技术、新算法不断涌现。例如，基于多线索的人脸识别技术通过在认知判别中引入多种有效的特征信息和多种理论推理方法，全面、准确地认识和区分对象；基于线性表示的鲁棒人脸识别算法，该算法首先检测出图像中存在的噪声点，然后在去除噪声的基础上求得准确的表示系数，做出更加准确的识别；基于流形学习的局部zui大间距鉴别嵌入(LMMDE)特征提取方法。该方法在保持样本局部结构的同时，考虑位于同*形上不同类样本的差异性，有效解决了因近邻关系扭曲而引起的不同类样本相互重叠的问题。
