- 相关推荐
基于典型相关分析方法的尺度不变特征变换误匹配剔除
摘要：针对尺度不变特征变换(SIFT)描述子仅利用特征点的局部邻域灰度信息而对图像内具有相似灰度分布的特征点易产生误匹配的问题，提出一种基于典型相关分析(CCA)的SIFT误匹配剔除方法。该方法首先利用SIFT算法进行匹配，得到初始匹配对; 然后根据典型相关成分的线性关系拟合直线，利用点到直线的距离剔除大部分误匹配点对; 对剩余的匹配点对，逐一分析其对典型相关成分的共线性的影响，剔除影响程度大的特征点对。实验结果表明，该方法能够在剔除误匹配的同时保留更多的正确匹配，提高了图像配准的精度。
关键词：误匹配;尺度不变特征变换;随机采样一致性算法;典型相关分析;图像配准
引言
图像配准是图像处理和计算机视觉中的一个基本问题，是诸如图像融合、变化检测等许多应用中的重要技术环节。基于特征的图像配准方法需要从待配准图像中提取一些共同的特征，然后建立这些特征之间的对应关系，求解变换模型参数来完成配准。所以，特征匹配是基于特征的图像配准方法中的关键步骤，匹配效果直接影响变换模型的求解。
现有的特征匹配方法主要包括图匹配方法[1-2]、谱方法[3-4]和基于局部描述子的方法[5-8]等。近年来，大量基于局部描述子的特征匹配算法被提出，此类方法首先对每个特征点进行描述，然后通过计算特征描述之间的相似性来判断特征点是否匹配。在现有的局部描述子中，尺度不变特征变换(Scale Invariant Feature Transform， SIFT)方法[5]应用最为广泛。大多数情况下，SIFT 方法都可以得到满意的匹配结果，然而对具有相似灰度分布的图像进行匹配时会产生大量的误匹配点。为了消除误匹配，提高匹配精度，常用的方法是对最近描述子和次近描述子之间的欧氏距离比设定阈值剔除误匹配。此外，随机采样一致性(RANdom Sample Consensus， RANSAC)方法[9]在剔除误匹配问题上得到了广泛应用[10]。近来，Kupfer等[11]提出了模式寻求(Mode Seeking， MS)方法，利用SIFT特征点中的尺度、方向和位置属性建立尺度比、方向差和位移差直方图，通过对位移差设定阈值剔除误匹配。为了降低RANSAC算法的随机性，Moisan等[12]提出了最优化的RANSAC(Optimized RANSAC， ORSA)算法，该方法具有较低的随机性且能保留更多正确的匹配关系。文献[13]通过比较对应k最近邻图的邻接矩阵消除误匹配，该方法需要在每次剔除误匹配后重新建立k最近邻图，计算较复杂。文献[14]利用偏最小二乘成分之间的共线关系拟合直线，根据点到直线的距离剔除误匹配。但这些方法在剔除误匹配的同时易丢失正确匹配，不利于图像配准。
因此，在误匹配剔除过程中需要解决两个问题：1) 剔除尽可能多的错误匹配;2) 保留尽可能多的正确匹配。针对这两个问题，本文在文献[14]的基础上利用典型相关分析(Canonical Correlation Analysis， CCA)的仿射不变性提出一种由粗到细的误匹配剔除方法，首先利用典型相关成分之间的共线关系拟合直线并对点到直线的距离设定阈值剔除大部分误匹配，改进了文献[14]中的直线拟合方法;其次，利用一种共线度量确定剩余的匹配中有无误匹配，并通过分析每一对匹配对共线度的影响进一步剔除误匹配。
一、误匹配剔除的CCA方法
1.1误匹配剔除的典型相关成分直线拟合方法
假设经过SIFT匹配后的特征点坐标分别为X=[x1，x2，…，xn]∈R2×n和Y=[y1，y2，…，yn]∈R2×n， μx和μy分别为它们的均值向量，CCA算法的目标是找到两个投影方向u、v∈R2，使得si=uT(xi-μx)和ti=vT(yi-μy)(1≤i≤n)的相关系数达到最大，其中si和ti分别表示特征点xi和yi对应于投影方向u和v的典型相关成分。u和v可通过式(1)和式(2)的特征值问题求解：
C-1xCxyC-1yCTxyu=r2u(1
v=(1/r)C-1yCTxyu(2)
其中：Cxy是X和Y之间的协方差矩阵，Cx和Cy分别是X和Y各自的协方差矩阵，r为典型相关系数。
根据文献[14]，利用CCA算法求得所有匹配的第一典型相关成分{(si，ti)，i=1，2，…，n}后，则可利用点集{(si，ti)，i=1，2，…，n}拟合直线t=ks+b，其中k和b分别为直线的斜率和截距。然后计算每个点(si，ti)到直线t=ks+b的距离di，若di大于给定的阈值T1，则(xi，yi)为一对误匹配。
为增强直线拟合的稳健性，本文采用直方图的方法求解斜率k和截距b。首先计算点集{(si，ti)，i=1，2，…，n}中每对点确定的直线的倾斜角：
θij=arctan tj-tisj-si; 1≤i， j≤n
根据倾斜角直方图的峰值确定最优倾斜角θ0，从而得到斜率k0=tan θ0。然后构造截距bi=ti-k0si(1≤i≤n)的直方图，根据直方图的峰值确定最优截距b0。
1.2基于典型相关成分共线程度的误匹配剔除
设经过1.1节误匹配剔除后剩余m对匹配仍记为X和Y，其均值向量仍记为μx和μy。计算这些匹配的典型相关成分{(si，ti)，i=1，2，…，m}，由于直线拟合方法不能剔除所有的误匹配，后续将通过分析每一对匹配对典型相关成分共线率的影响逐个剔除误匹配。共线率描述了点集{(si，ti)，i=1，2，…，m}在其两个主要方向上的分布。
定义1 共线率。设点集{(si，ti)，i=1，2，…，m}的协方差矩阵为Cst，其特征值为λ1≥λ2，则共线率定义为：
τ=1-λ2/λ1(3
当点集{(si，ti)，i=1，2，…，m}构成直线时，τ=1。若点集{(si，ti)，i=1，2，…，m}当前的共线率τc小于给定的阈值T2，则说明当前的匹配关系中仍然存在误匹配，可通过分析每对匹配对典型相关成分共线率的影响剔除误匹配。
令i和i分别表示从X和Y中删除第i对匹配关系(xi，yi)之后的点集，它们之间的协方差更新为：
Cixy=mm-1Cxy-m(m-1)2(xi-μx)(yi-μy)T (4
i和i各自的协方差矩阵Cix和Ciy具有相似的更新格式：
Cix=mm-1Cx-m(m-1)2(xi-μx)(xi-μx)T(5
Ciy=mm-1Cy-m(m-1)2(yi-μy)(yi-μy)T(6)
得到协方差矩阵Cixy，Cix和Ciy后，将其代入式(1)和式(2)计算删除第i对匹配关系之后的投影方向u，v和相关系数r。为得到当前的共线率，只需利用当前的相关系数r。这是因为当前典型相关成分的协方差矩阵Cist可按式(7)计算：
Cist=uTCixuuTCixyv
uTCixyvvTCiyv(7)
其中uTCixyv=ruTCixu=rvTCiyv， 所以其特征值分别为1+r和1-r。根据式(3)得删除第i对匹配关系之后的共线率τi=2r/(1+r)。当考虑点集i和i的两对典型相关成分时，共线率为第一典型相关成分共线率和第二典型相关成分共线率的平均值，即：
τi=r11+r1+r21+r2(8)
其中r1和r2分别为点集i和i的第一和第二典型相关系数。
检验所有的匹配对1≤i≤m，选出共线率最大的序号i0，则(xi0，yi0)是一对误匹配，将其从原点集中删除，此时协方差矩阵Cxy，Cx和Cy更新为Ci0xy，Ci0x和Ci0y，均值向量更新为：
μx=mm-1 μx-1m-1 xi0(9
μy=mm-1 μy-1m-1 yi0(10
重复上述过程直到当前的共线率超过阈值T2。
二、由粗到细的误匹配剔除算法
给定参考图像和待配准图像，首先用SIFT算法提取特征点并建立匹配关系。CCA误匹配剔除算法如下：
1) 利用式(1)和式(2)计算点集X和Y的典型相关成分{(si，ti)，i=1，2，…，n}，并按1.1节的方法拟合直线并对点到直线的距离与平均距离的比值设定阈值T1剔除部分误匹配;
2) 对剩余的m对匹配关系，初始化均值向量μx，μy和协方差矩阵Cx，Cy和Cxy，利用式(1)、(2)和(8)计算当前的共线率τc;
3) 若τc≥T2，则返回当前的匹配关系，否则按式(4)、(5)、(6)、(1)和(2)计算删除每对匹配关系后的共线率τi(1≤i≤m);
4) 若i0=arg maxi∈{1，2，…，m}τi，则删除第i0对匹配关系(xi0，yi0)，令τc=τi0，更新Cxy、Cx和Cy为Ci0xy、Ci0x和Ci0y，并按式(9)和(10)更新均值向量μx和μy。令m=m-1，返回第3)步。
三、实验结果与分析
实验分为两部分：首先通过模拟数据对算法的有效性进行检验;然后将算法应用到实际光学图像和合成孔径雷达(Synthetic Aperture Radar， SAR)图像SIFT特征点的误匹配剔除中，对算法的应用性进行检验。
3.1算法的有效性检验
为检验算法的有效性，在200×200的范围内产生100个均匀分布的点作为待配准点集，然后构造仿射变换由待配准点集得到参考点集，如图1(a)所示。将这100对点进行随机匹配，使得其中分别有10， 20， …， 90对正确匹配，然后将这9组数据作为误匹配剔除算法RANSAC[10]、ORSA[12]和CCA的输入。RANSAC算法阈值参数设置为0.004，最大迭代次数为1000。CCA算法的阈值T1设为所有距离的均值，可以保留更多的正确匹配，倾斜角和斜率直方图的窗宽为各自取值范围的0.01倍。阈值T2决定了最后匹配对的精度，T2越大，匹配对越少，精度越高;反之，匹配对越多，精度越低。本次实验中在已知正确匹配数目的条件下，以最大迭代次数取代阈值T2。
图1给出了正确匹配对数为10时CCA算法剔除误匹配的过程，其中(b)和(c)为倾斜角和截距直方图，(d)中实线是由(b)和(c)中的峰值确定的直线，虚线是由稳健最小二乘方法拟合的直线[14]。通过(d)中的直线及点到直线的距离剔除误匹配后，剩余53对匹配。图1(e)给出了剩余43对错误匹配的迭代消除过程。
实验以匹配对数和均方根误差(Root Mean Square Error， RMSE)作为评价标准，分别衡量最后匹配的数量和质量。由于RANSAC和ORSA均具有随机性，对每组数据进行10次实验，并统计匹配对数与RMSE的均值和标准差。当正确匹配对数为30～90时，RANSAC和ORSA都能得到正确的匹配结果，3种算法无差别。当正确匹配对数为10和20时，ORSA算法优于RANSAC算法，CCA算法均能得到与真实对应关系一致的结果，如表1所示。
图片
图1CCA误匹配剔除模拟结果
表格(有表名)
表13种方法不同正确匹配对数时的对比
方法
10对正确匹配
匹配对数RMSE/像素
20对正确匹配 匹配对数RMSE/像素
RANSAC5.9±1.52164.9±339.412.6±7.8027.78±43.36
ORSA32.6±30.4034.51±39.22200
CCA100200
3.2算法的应用性检验
本节分别针对光学图像和SAR图像进行匹配实验，并将CCA方法实验结果与ORSA[12]及MS[11]方法进行比较。匹配过程如下：首先用SIFT方法提取特征点并用阈值为0.9的距离比方法得到初始匹配，然后分别用3种方法进行误匹配剔除。实验中，光学图像采用的是具有仿射变换的城堡图像，大小分别为492×486和613×523。图2为两幅光学图像的CCA误匹配剔除结果，其中SIFT算法给出502对匹配，如图2(c)。图2(d)给出了CCA方法找到的263对匹配，其对应的均方根误差为RMSE=2.2716。最后的配准结果如图2(e)。
SAR图像使用的是“5・12”汶川地震前后绵阳市狮儿河水库的ALOSPALSAR图像，震前图像拍摄于2008年2月17日，震后图像拍摄于2008年5月19日。震前震后图像的大小分别为500×400和450×350。图3为狮儿河水库图像的CCA误匹配剔除结果，其中图3(c)中SIFT算法给出331对匹配。CCA方法找到85对匹配，如图3(d)所示，对应的均方根误差为RMSE=2.0071。为进行对比，图2和图3对应的阈值T2分别设置为1-6.8×10-5和1-6×10-5。增大这两个阈值会减小RMSE，同时也会减少匹配对数。将由ORSA和MS方法的结果列于表2，从表2中可以看出，CCA方法找到的匹配对在数量和质量上优于ORSA和MS。
图片
图2光学图像误匹配剔除结果
表格(有表名)
表2不同方法在SIFT误匹配剔除上的对比
图像对
ORSA方法
匹配对数RMSE/像素
MS方法
匹配对数RMSE/像素
CCA方法
匹配对数RMSE/像素
图22162.36012592.28252632.2716
图3832.2003443.0080852.0071
图片
图3SAR图像误匹配剔除结果
四、结语
本文针对SIFT描述子对具有相似灰度分布区域的图像易产生误匹配的缺点，提出了一种基于典型相关分析的误匹配剔除方法。该方法首先通过典型相关分析对SIFT匹配后的特征点对的位置关系进行重新描述，利用典型相关成分拟合直线剔除大部分误匹配; 然后通过分析每对匹配对典型相关成分共线率的影响迭代剔除误匹配，克服了过度剔除正确匹配的缺点; 最后，模拟和真实实验的结果验证了方法的有效性和可行性。阈值T2与匹配精度之间的定量关系有待进一步研究。
参考文献：
[1] LIU Z， QIAO H， YANG X， et al.Graph matching by simplified convexconcave relaxation procedure[J]. International Journal of Computer Vision， 2014， 109(3)： 1-18.
[2] FENG W， LIU Z， WAN L， et al.A spectralmultiplicitytolerant approach to robust graph matching[J]. Pattern Recognition， 2013， 46(10)： 2819-2829.
[3] KANG U， HEBERT M， PARK S. Fast and scalable approximate spectral graph matching for correspondence problems[J]. Information Sciences， 2013， 220(20)： 306-318.
[4] WANG H， HANCOCK E R. A kernel view of spectral point pattern matching[J]. Structural， Syntactic， and Statistical Pattern Recognition， 2004， 3138： 361-369.
[5] LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision， 2004， 60(2)： 91-110.
[6] BAY H， ESS A， TUYTELAARS T， et al.SpeededUp Robust Features (SURF)[J]. Computer Vision and Image Understanding， 2008， 110(3)： 346-359.
[7] TEKE M， VURAL M F， TEMIZEL A， et al.Highresolution multispectral satellite image matching using scale invariant feature transform and speeded up robust features[J]. Journal of Applied Remote Sensing， 2011， 5(1)： 53553.
[8] YANG L， TIAN Z， ZHAO W. A new affine invariant feature extraction method for SAR image registration[J]. International Journal of Remote Sensing， 2014， 35(20)： 7219-7229.
[9] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM， 1981， 24(6)： 381-395.
[10] KIM T， IM Y. Automatic satellite image registration by combination of matching and random sample consensus[J]. IEEE Transactions on Geoscience and Remote Sensing， 2003， 41(5)： 1111-1117.
[11] KUPFER B， NETANYAHU N S， SHIMSHONI I. An efficient SIFTbased modeseeking algorithm for subpixel registration of remotely sensed images[J]. IEEE Geoscience and Remote Sensing Letters， 2015， 12(2)： 379-383.
[12] MOISAN L， MOULON P， MONASSE P. Automatic homographic registration of a pair of images， with a contrario elimination of outliers[J]. Image Processing On Line， 2012， 2： 56-73.
[13] AGUILAR W， FRAUEL Y， ESCOLANO F， et al.A robust graph transformation matching for nonrigid registration[J]. Image and Vision Computing， 2009， 27(7)： 897-910.
[14] YAN W， TIAN Z， WEN J， et al.SIFT mismatching correction based on partial least squares[J]. Journal of Computer Applications， 2012， 32(5)： 1255-1268.(延伟东， 田铮， 温金环， 等. 基于偏最小二乘的SIFT误匹配校正方法[J]. 计算机应用， 2012， 32(5)： 1255-1268.)
【基于典型相关分析方法的尺度不变特征变换误匹配剔除】相关文章：
傣族舞蹈的基本特征分析02-24
外贸合同语言特征分析05-18
数字媒体艺术的新美学特征分析05-03
基于顾客价值的需求，流动网挖掘策略分析06-04
舒曼钢琴音乐风格特征分析05-01
分析英汉被动句的语用特征及翻译策略04-27
影响粮食产量的相关因素分析04-18
基于组织行为学分析沃尔玛企业文化05-01
浅谈数字媒体艺术的美学特征的表达分析论文04-18