以图搜车技术是以计算机视觉、图像处理、图像识别技术为基础，包括图像预处理、图像特征提取、建立图像特征索引和图像特征匹配4个大的步骤。
图像预处理
复杂背景中的图像通常存在噪声多样、分辨率不高、光照不均等现象，为了使图像具有统一的属性，需要先对图像进行预处理，以达到位置校准和灰度归一的目的。首先对图像背景差分和滤波去噪，然后进行缩小和放大变换，获得固定大小的图像样本，使后续算法能针对固定的样本进行统一的处理识别；然后进行图像的灰度化，并通过中值滤波和形态学方法增强图像，使车辆特征的主要纹理(如车牌号码、车身颜色、车辆局部特征等)清晰可辨，干扰纹理模糊弱化，为基于纹理的车辆特征定位优化图像；zui后采用直方图均衡化技术使图像具有统一的均值和方差，得到标准图像。
图像特征提取
与当前流行的其他检测方法(Harris detector)相比，SIFT特征向量的优势在于不仅对尺度缩放、平移、旋转、亮度变化等具有良好的不变性，对目标部分遮挡和图像背景噪声等问题也具有很好的检索性能；而且其信息量丰富、*性好，适合海量的特征数据库；另外通过少量的几个目标也可得到大量的SIFT特征向量。因此，本文采用基于SIFT的算法完成对数据库中的图像进行特征向量表示。该算法提取出的特征向量具有128维，避免维数灾难的出现同时降低图像特征向量匹配时的计算复杂度，采用既能够保持SIFT算子良好特性又可有效降低特征向量维数的PCA-SIFT算法进行图像局部特征提取。首先从图像中均匀提取SIFT特征，然后对其进行主成分分析(Principal Component Analysis, PCA )，然后根据特征向量矩阵对图像进行变换，将多个实测变量转换为少数不相关的综合指标。图像特征提取的具体实现步骤为：
① 输入原始的车辆图片库
车辆区域定义为车辆正面的一个矩形区域，上边缘到驾驶室车窗顶部，下边缘到车牌底部，左边缘到车辆驾驶室车窗左边界，右边缘到驾驶室车窗右边界。
② 从图片库中提取SIFT特征集
提取SIFT特征点首先需要建立图像的高斯金字塔。其目的是对图像作分块处理，使其呈现出一种层次金字塔的结构，然后再分别统计每一个子块的特征，zui后将所有的子块的特征拼接起来，形成完整的特征。
③ 用PCA算法进行降维
首先针对己有的数据集P = {P1, PZ, ... , Pn}，计算平均值，并用原数据减去均值得到Pi′= Pi - M。然后计算协方差矩阵。接着计算协方差矩阵的特征值E1, E2,...,Em和特征向量EV1, EV2,...,EVm。zui后把特征值按照从大到小的顺序排列，得到E1′, E2′,..., Em′，对应的特征向量为EV1′, EV2′,..., EVm′。特征向量代表着原始数据的分布方向，特征向量对应的特征值越大，说明该特征向量越重要，即为主元，也叫做主成分。
完成以上步骤后根据特征值的大小选取前32个，就可以将原数据由原来的128维降低到新的32维，完成了针对原始数据的降维处理操作。
④ 利用K均值聚类(K-means)方法对SIFT特征集离散化
从图库中可以提取大量的SIFT特征集，利用K均值聚类对其作离散化，聚标记即是图像索引值。K均值聚类通过迭代的方式，把每一个SIFT特征划分到距离其zui近的聚类中，zui终SIFT特征集被划分成K个离散的聚类，认为同一个聚类的SIFT特征是一样的，则可以使用类编号表示SIFT特征，即离散SIFT特征。其中类间距离度量上采用单连接法，对任意两个聚类ci,cj，单连接法的计算公式为：
本文的优选实例中取K值为100000。
⑤ 生成邻域特征
为了弥补SIFT特征缺少特征相对位置关系的缺陷，要把离散化的SIFT进一步转换成邻域特征。假设SIFT聚类个数为K，选择N*N的邻域，则邻域特征可以表示为一个整数序列，其元素的值不超过K*N*N。给定一个SIFT特征点，以其为中心定义一个N*N的邻域。按照如下规则生成一个矩阵： 同一个子区域内，同一个离散SIFT特征出现多次只记录一次; 如果第k个离散SIFT特征出现在第n个区域内，则矩阵第n行的第k个值置为1，否则置为0。zui终的整数序列按照下面的步骤生成: 初始序列为空，自左向右，自上而下扫码矩阵，如果第n行第k个值为1，则在序列中增加一个整数，值为(n-1)* K + k，忽略值为0的元素，由此得到一个整数序列，这个序列就是邻域特征。图1是当K=10,N=3时的邻域特征生成示意图。本文的优选实例中K取100000，N取3。
图1
建立图像特征索引
图像检索中所使用的倒排索引(inverted index)技术源于文档检索领域，用于大规模文档数据的索引和匹配。倒排索引被广泛应用于相似性搜索领域。在大规模的图像数据集中，图像的低层特征向量通过训练好的特征向量码本量化为视觉单词(visual word)，得到的每个视觉单词对应于倒排索引中的索引项。在图像检索中实现快速检索。
图像特征匹配
给定一个待检索特征，在量化之后，对应于待检索特征在倒排索引中的索引项Wi就被确定下来。于是，索引项Wi所对应的一列相关的索引特征作为候选匹配结果。两个图像特征向量x和y之间的匹配函数定义形式如下：
fq(x,y)=δq(x),q(y)
其中q(.)为量化函数，将特征向量映射为码本中离其zui近的簇中心，即码字。
经过上述过程，用户输入的模板图像和图像库中的所有图像的相似度计算问题就转变为了这些由二进制串组成的局部特征之间的匹配问题，本文中二进制串的相似度度量采用Hamming距离，计算效率较高。zui后根据匹配相似度由高到低输出图像库中对应的图像即可。
