- 相关推荐
基于融合细分的纹理图像重构模型
摘要：针对分段迭代曲线拟合存在的重建区域轮廓不连续、重建区域尺寸有误差等问题，提出了一种基于融合细分的纹理图像重构模型。首先提取原始图像的分割区域，经过轮廓跟踪与下采样得到区域形状的特征向量;然后利用三重逼近与三重插值统一的融合细分方法，重建区域轮廓曲线;最后合成区域纹理，得到纹理图像重构结果。在多幅自然场景图像上进行实验验证，并给出相应的实验结果和分析。实验结果表明，所提模型正确有效，具有和人类视觉特性相符合的重构结果; 所提算法能够减少图像重建时的处理时间，并在图像质量主观评价指标上明显优于多区域图像重建算法。
关键词：纹理图像重构;融合细分;纹理合成;图像分割
一、引言
随着数字多媒体技术的发展，人们对高效的图像信息处理提出了更高的要求。现有的基于像素/块的图像处理技术忽略了图像的层级结构，无法直接用于内容分析;而基于对象的又难以满足图像处理在通用性方面的需求[1]。因此，如何找到一种更加有效的图像表征方法一直是图像处理领域的研究热点与难点问题。
纹理是表达图像内容的一个非常重要的属性，它广泛存在于各类图像中。纹理图像通常构成图像或视频的静止背景。图像中的纹理分为两大类：不重要主观细节纹理和重要主观细节纹理[2]。由于人类视觉系统固有的缺陷，人眼对平滑区域的敏感性远高于纹理密集区域，图像中的纹理通常是人眼不关注的那部分内容，因此纹理细节的变化不会影响对原始纹理的主观理解[3]。
近年来，基于样图的纹理合成在图像修复、压缩编码、纹理传输等方面有着广泛的应用[4-6]。Efros等[7]提出一种计算较简单的Image Quilting算法，通过计算纹理重叠区域的累积误差和最小误差路径进行纹理拼接。而旋转的Wang Tiles 纹理合成算法[8]能够克服Wang Tiles 存在的样图利用不完全、切割路径非最优、中心和拐角区域不匹配等缺点。
图像中的线结构是指用来定义目标形状的轮廓或划分区域的边界，是图像的形状特征表达[9-10]。早期的形状描述方法使用二进制图像，基于二进制边缘的方法有很多，例如多边形近似、曲率的频域表示等。Zhang等[11]系统阐述了两类图像形状的表示算法：一类是基于轮廓，另一类是基于区域。每一类形状表示算法可分为结构方法和全局方法，并适用于空域和变换域。
利用图像的线结构与纹理特性，文献[12]提出了一种基于分段迭代曲线拟合的多区域图像重建算法。包含了大量纹理的多区域重建结果用于构建图像或视频的静止背景，而图像的前景是骏马、苍鹰或美女等，视频的前景是飞驰的猎豹、飞翔的苍鹰或游泳的美女等。由人类视觉系统的感知特性可知，人眼的视觉注意力主要集中于上述前景，而静止背景的视觉关注度是低的，尤其是纹理静止背景[12]。基于线结构和纹理特性的图像重建方法适用于构建图像与视频的静止背景图像。
但是，利用分段迭代曲线拟合重建的区域轮廓曲线是不连续的，需使用膨胀算法进行修复，从而造成重建区域的尺寸存在误差，因此会引起重建质量差的问题。针对上述问题，提出利用三重逼近与三重插值统一的融合细分方法，重建区域轮廓曲线;将合成的区域纹理填充到重建的区域轮廓曲线中，从而得到纹理图像重构结果。实验结果表明本文算法重构的图像质量良好，图像质量的主观评价指标明显优于多区域图像重建算法。
图1是本文提出的基于融合细分的纹理图像重构模型结构流程，主要包括预处理、融合细分和重构纹理图像3个阶段。
预处理阶段首先利用图像分割与区域融合方法获得原始纹理图像的多个区域及其索引号;然后通过轮廓跟踪与下采样，获得代表区域轮廓结构特征的有序序列。
融合细分阶段利用三重逼近与三重插值统一的融合细分方法，重建区域轮廓曲线。
重构纹理图像阶段首先，得到包含区域纹理局部与全局特征的区域纹理样本;然后，利用基于样图的纹理合成算法合成区域纹理;最后，将合成的区域纹理填充到重建的区域轮廓曲线中，实现纹理图像重构。
1.1预处理
首先，原始图像被分割为许多包含同质颜色与纹理特征的小分割区域[13-14]，同时考虑到纹理样本选择对分割结果是敏感的，空间紧邻的小分割区域必须合并成较大的区域，每个区域获得一个唯一的索引号。
然后，利用轮廓跟踪算法[10-11]得到一个由区域边界曲线上的像素点组成的有序序列，按照随机间隔进行有序抽样即下采样提取，得到代表区域轮廓形状的特征向量(xs，ys)，其中s是向量元素在区域轮廓曲线上的位置序号。
1.2融合细分
为了得到插值与逼近统一的融合细分方法，本文用新的角度观察三重逼近细分。
首先设定初始控制顶点P0i(i=1，2，…，n);其次在P0i和P0i+1之间的1/3和2/3处分别插入两个新的顶点P03i+1和P03i+2：
P03i+1=23P0i+13P0i+1
P03i+2=13P0i+23P0i+1(1
然后定义位移Δi如下所示：
Δi=-127P0i-1+227P0i-127P0i+1(2
将P03i+1和P03i+2分别移到新位置P13i+1和P13i+2，位移分别是Δi和Δi+1;同时将P03i移到新位置P13i，其位移恰好是4Δi。根据上述步骤，经过k次修改后，可得到一组新的控制顶点Pk+1。因此，三重逼近细分的递推公式可归纳为：
Pk+13i=Pki-4Δki
Pk+13i+1=23Pki+13Pki+1-Δki
Pk+13i+2=13Pki+23Pki+1-Δki+1 (3
基于上述三重逼近细分的推导方法，可推出新的三重插值细分。首先，保持控制网格中P0i固定不动;然后，将新插入的顶点P03i+1和P03i+2移到新位置P13i+1和P13i+2，位移分别为Δ′3i+1和Δ′3i+2，其位移方向恰好与三重逼近细分的顶点位移方向相反。Δ′3i+1和Δ′3i+2通过线性加权组合得到，并且满足细分曲线的收敛性和光滑性[15-16]，定义如下：
Δ′3i+d=ωΔi+d-1+υΔi+2-d; d=1，2 (4)
其中：ω=32(1+μ)，υ=32(1-μ)， μ是自由参数。
根据式(4)定义的位移算子，得到三重插值细分新的表示：
P′k+13i=Pki
P′k+13i+1=23Pki+13Pki+1+ωΔki+υΔki+1
P′k+13i+2=13Pki+23Pki+1+υΔki+ωΔki+1 (5
然后，利用权值参数α(0≤α≤1)得到三重逼近与三重插值统一的融合细分。三重逼近细分规则和三重插值细分规则统一的表示：
Pk+13i=Pki-4αΔki
Pk+13i+1=23Pki+13Pki+1-αΔki+(1-α)(ωΔki+υΔki+1)
Pk+13i+2=13Pki+23Pki+1-αΔki+1+(1-α)(υΔki+ωΔki+1) (6
显然，式(3)和式(5)均为式(6)的特殊情况。当α=1时，式(6)代表三重逼近细分;当α=0时，式(6)代表三重插值细分;当0<α<1时，式(6)可生成介于三重逼近细分和三重插值细分之间的细分曲线。
图2 给出了一簇由融合细分生成的从逼近到插值的细分曲线，权值参数α从里到外依次为1.0，0.8，0.6，0.4，0.2，0。最里层的实线为逼近细分曲线，最外层的实线为插值细分曲线，中间4条虚线是介于逼近细分和插值细分之间的细分曲线。实验证明，融合细分中的权值参数α能调节细分曲线的插值特性与逼近特性。
最后，进一步整理式(6)，得到三重融合细分方法新的表示：
Pk+13i=a0Pki-1+a1Pki+a0Pki+1
Pk+13i+1=b0Pki-1+b1Pki+b2Pki+1+b3Pki+2
Pk+13i+2=b3Pki-1+b2Pki+b1Pki+1+b0Pki+2 (7)
其中： a0=427α， a1=1-827α， b0=127-127(1-α)(ω+1)， b1=1627+127(1-α)(2+2ω-υ)， b2=1027+127(1-α)(-1-ω+2υ)， b3=-127(1-α)υ， 0≤α≤1，ω=32(1+μ)，υ=32(1-μ)，μ是自由参数。实验证明，当1/5<μ<1/3时，三重逼近与三重插值统一的融合细分生成的细分极限曲线可达到C2连续[17]。
1.3重构纹理图像
首先，利用自回归统计分析模型对区域内部纹理进行分析;然后，选择包含区域纹理局部与全局特征信息的区域纹理样本，合成区域纹理[7-8];最后，把合成的区域纹理填充到重建的区域轮廓曲线中，得到纹理图像重构结果。具体的过程示例如图3所示。
二、实验结果与分析
为验证本文给出的基于融合细分的纹理图像重构模型的正确性与有效性，选取包含大量纹理的自然场景图像进行实验，并分别使用文献[12]算法和本文算法进行纹理图像重建。基于C++语言实现算法。实验环境为3.3GHz，Intel Core i3处理器，内存2GB。融合细分中的自由参数μ=3/10，α=0.27。
由实验结果(图4～8)可知，本文的纹理图像重构质量优于对比算法。影响纹理图像重构质量的因素主要有两个：
1) 区域轮廓曲线重建结果。如果重建的轮廓曲线不正确，则重建的区域形状就不正确。文献[12]使用分段迭代曲线拟合重建的区域轮廓不能正确反映区域形状特征;而本文利用融合细分重建的区域轮廓曲线更合理。
2) 重建区域尺寸。为了使重建的区域轮廓曲线是连续、封闭的，文献[12]使用了膨胀算法，造成重建区域的尺寸误差;原始区域尺寸越小，这种误差就越明显;本文中重建区域的尺寸是正确的。
本文提出的基于融合细分的纹理图像重构模型的目的并不是为了使重构纹理图像与原始纹理图像完全一致，而是使人眼尽可能看起来自然、不令人讨厌。本文采用主观质量评价方法――双刺激失真衡量阶梯(Double Stimulus Impairment Scale， DSIS)。挑选25名非图像专业的一年级学生作为观测者。表1是ITUR五分制评分等级。平均意见分(Mean Opinion Score，MOS)代表观测者评分的平均水平;标准差用于计算主观质量评分结果的可信范围即95%置信区间[18]。
表2是文献[12]算法与本文算法重构结果的视觉质量评价参数值比较。由表2可知，本文算法的实验结果与文献[12]算法相比，MOS值分别提高了0.84，0.8，0.76，0.8，0.48。比较其他实验的MOS值，实验5的MOS值仅提高了0.48，这是由于该幅图像的区域轮廓曲线基本是平滑的，分段迭代曲线拟合重建的轮廓曲线与融合细分重建的轮廓曲线基本相同，文献[12]只是造成重建区域的尺寸误差。实验1的MOS值提高了0.84，这是由于该幅图像的区域轮廓曲线包含很多类似毛刺的形状特征，而文献[12]中分段迭代曲线拟合重建的轮廓曲线是平滑的，对区域轮廓形状造成明显的视觉损伤。
表3是文献[12]算法与本文算法的纹理图像重构所需数据量比较。测试结果表明，与文献[12]算法相比，本文算法的纹理图像重构所需数据量略有增加。表4是本文算法与文献[12]算法运行时间的比较。测试结果表明，与文献[12]算法相比，本文算法的轮廓重建计算复杂度有所降低。
三、结语
本文提出一种基于融合细分的纹理图像重构模型。该模型首先得到原始图像的分割区域，进而提取代表轮廓形状的特征向量;然后利用融合细分重建区域轮廓，最后将合成的区域纹理填充到重建的区域轮廓曲线中，实现纹理图像重建。
与其他基于区域形状与纹理信息的图像重建算法相比，用本文给出的三重逼近与三重插值统一的融合细分方法重建的区域轮廓，能更准确有效地表征区域轮廓形状。对于包含大量纹理的原始图像，本文算法能得到好的重建结果，但对于含有非纹理细节信息的原始图像，重建质量不理想。因此，如何能够依据图像自身特点，设计出更合理的重建方法，适用于更复杂的图像是今后进一步努力的方向。
参考文献：
[1]SIKORA T. Trends and perspectives in image and video coding[J]. Proceedings of the IEEE， 2005， 93(1)： 6-17.
[2]NDJIKINYA P， BULL D， WIEGAND T. Perceptionoriented video coding based on texture analysis and synthesis[C]// Proceedings of the 16th IEEE International Conference on Image Processing. Piscataway： IEEE， 2009： 2273-2276.
[3]SUN K， YE L， YANG Y， et al. Image restoration using piecewise iterative curve fitting and texture synthesis[C]// Proceedings of the 4th International Conference on Intelligent Computing. Piscataway： IEEE， 2008： 1056-1063.
[4]ZUJOVIC J， PAPPAS T N， NEUHOFF D L. Structural texture similarity metrics for image analysis and retrieval[J]. IEEE Transactions on Image Processing， 2013， 22(7)： 2545-2558.
[5]BALLE J， STOJANOVIC A， OHM J R. Models for static and dynamic texture synthesis in image and video compression[J]. Journal of Selected Topics in Signal Processing， 2011， 5(7)： 1353-1365.
[6]ZHANG X， KIM Y J. Efficient texture synthesis using strict Wang Tiles[J]. Graphical Models， 2008， 70(3)： 43-56.
[7]EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer[C]// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2001： 341-346.
[8]WANG J， PANG M， ZHAO R. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics， 2013， 18 (1)： 49-54. (王继东， 庞明勇， 赵瑞斌. 旋转的Wang Tiles纹理合成算法[J]. 中国图象图形学报， 2013， 18(1)： 49-54.)
[9]GAO C， ZHOU J， HU J， et al. Edge detection of colour image based on quaternion fractional differential[J]. IET Image Processing， 2011， 5(3)： 261-272.
[10]ADAMEK T， O’CONNOR N. Efficient contourbased shape representation and matching[C]// Proceedings of the 5th ACM SIGMM International Workshop on Multimedia Information Retrieval. New York： ACM， 2003： 138-143.
[11]ZHANG D， LU G. Review of shape representation and description techniques [J]. Pattern Recognition， 2004， 37(1)： 1-19.
[12]WAN J， YE L. Multiregion image reconstruction algorithm[J]. Journal of Computer Applications， 2013， 33(12)： 3544-3547. (万金梁， 叶龙. 多区域图像重建算法[J]. 计算机应用， 2013， 33(12)： 3544-3547.)
[13]DENG Y， MANJUNATH B S. Unsupervised segmentation of colortexture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23(8)： 800-810.
【基于融合细分的纹理图像重构模型】相关文章：
基于视觉注意力模型的图像检索的研究11-22
图像纹理特征的分析方法研究03-07
劳瑞模型的重构03-07
图像标注的迭代关联模型03-07
现行审计风险模型的缺陷与重构03-21
基于内容的图像检索研究11-20
基于图像的OMR技术的实现03-07