图像拼接 综述与算法综述

图像拼接的综述、各种算法描述，算是对自己学习的一个交代
均值滤波的方法是,对将处理的当前像素,选择一个模板,该模板为其邻近 的若干像素组成,用模板中像素的均值来替代原像素的值。 ②中值滤波——中值滤波是基于排序统计理论的—种能有效抑制噪声的非线性 信号处理技术。它的核心算法是将模板中的数据进行排序,这样,如果一个 亮点(暗点)的噪声,就会在排序过程中被排在数据序列的最右侧或者最左 侧,因此,最终选择的数据序列中见位置上的值一般不是噪声点值,由此便 可以达到抑制噪声的目的 这部分的算法很成熟,在FPGA上的实现也很多,也可以比较方便地找到参考算法的 实现。 12图像配准 其实是四个要素的组合,即: 1.选定特征空间——特征空间是由参与匹配的图像特征构成。特征可以为图像的灰 度特征,也可以是边界、轮廓、显著特征(如角点、线交叉点、高曲率点)、统计 特征(如矩不变量、中心)、高层结构描述与句法描述等;这儿其实是定义了配准 的空间范围; 2.相似性度量——评估待匹配特征之间的相似性,它通常定义为某种代价函数或者 是距离函数;这儿是定义需要选定的某种算法 3.搜索空间——待估计参数组成的空间就称为搜索空间。也就是说,搜索空间是指 所有可能的变换组成的空间,这儿其实是定义了搜索算法的空间复杂度 4.搜索策略—搜索策略是指用合适的方法在搜索空间中找出平移、旋转等变换参 数的最优估计,使得相似性度量达到最大值,这儿其实是定义了搜索算法的时间 复杂度; 121基于区域的配准方法 基于区域的配准方法——不检测图像中的特征,直接使用窗口或者整幅图像来进行配 准 从待拼接图像的灰度值出发,对待配准图像中一块区域与参考图像中的相同尺寸的区 域使用最小二乘法或者其它数学方法计算其灰度值的差异,对此差异比较后来判断待拼接 图像重叠区域的相似程度,由此得到待拼接图像重叠区域的范围和位置,从而实现图像拼 接。也可以通过FFT变换将图像由时域变换到频域,然后再进行配准。对位移量比较大的 图像,可以先校正图像的旋转,然后建立两幅图像之间的映射关系。 总而言之,有很多不定,已经不是现在主流的研究方向。 评价: 基于区域的方法实现简单,应用范围较窄,它的局限性来源于它的基本思想。 ◇首先,它使用的矩形窗口只适用于配准平移变换的图像,如果图像有更复杂的变 形,矩形奁口就不能覆盖参考图像和待匹配图像中的同一场景区域; ◇另外,它依赖于窗口中的图像内容,当窗口中图像內容平滑而没有显著细节时, 很容易引起与其他平滑区域的错误匹配。 ◇再次,在最优变换的搜索过程中往往需要巨大的运算量,且对噪声的影响和对比 度的差异很敏感,鲁棒性不强。 22基于特征的配准方法 基于特征的图像配准方法有很多基本形式及其改进,其总体特点是:不直接利用图像 像素值,而是通过像素值导出图像内容最抽象的描述和符号特征,并用此特征为匹配模板, 查找几幅待配准图像的灰度局部最大值点、边界边缘轮廓、边缘点、边缘线段、组织(纹理) 结构、角、顶点、拐点、交叉点、线段、封闭曲线等低级对应特征点及利用特征图像关系 图等高级特征,构造方程组,通过数值计算得到变换数来进行图像对齐,进而确定两者的 匹配位置,实现特征点、特征线段等的拼接,并且可以提高计算速度。 基于特征的配准方法,一般分为四个步骤 1.特征检测——从图像中检测出显著且独特的图像特征,包括闭合区域、直线段 边缘、轮廓、点。 2.特征匹配——相似性度量,确定图像之间特征的对应关系,又分为如下几小类 )使用空域关系的方法 ②使用不变描述符的方法、 ③松弛方法、 ④金字塔和小波的方法 3.变换模型的估计——变换函数选择和函数参数估计 4.图像变换和重采样——可以通过前向或后向的方式来实现,插值的方法有最近邻 插值、双线性插值、双三次函数插值、二次样条插值、三次B样条插值、高阶B 样条插值 评价 基于特征的方法普遍适用于局部结构信息比灰度信息更显著的情况,能够处理图像之 间复杂变形的情况,不足之处是特征检测困难且不稳定,最关键的一点是需要有一种判别 力很强的、鲁棒的且对图像之间变化保持不变的特征匹配算法。 13图像再投影 基本方法:需要选择一个合成面,如果仅仅是只有几张图像进行拼接,一个普遍的方 法是选择其中的一幅图像作为参考图像,然后把所有其他的图像都进行扭曲变形到参考图 像的坐标系上去,这样合成的结果称为平面全景图,这是一个透视投影变换。 为了减少投影失真,平面投影→圆柱面投影→球面投影→立方体投影 13.1平面再投影 选其中某一张图像为参考图像,然后把所有其它的图像进行扭曲变形,从而变换到参 考图像的坐标系中去。由于这种模型本质上还足透视投影,因此图像在扭曲变形之后直线 仍然还是直线。对丁大视场的图像拼接,平面投影方法会使得最终拼接图像在边缘出现扭 曲过大的情况。在实际,当视场接近或超过90时,平面投影的拼接图像会有很大的失真。 132柱面再投影 圆柱面再投影非常适合于相机绕单一轴线旋转所得到的图像序列拼接,在这种情形 下.在不同旋转角度得到的图像由完全的水平位移相关联。这一点很有意义,因为它避免 了复杂的单应变换的计算,而且输出得到的图像没有平面再投影存在的扭曲。相反,场景 中的直线被映射为正弦曲线。但是,这种方法需要对相机进行预先的标定,计算出相机的 焦距和光心的偏移半标。 133球面再投影 球面再投影的优点是可以实现任意角度的旋转,但缺点是由于每个球面图像有多个相 邻图像,因此在球面再投影中图像求交定位比较困难,而且很难找到一个与球面相对应且 易于存取的数据结构。 14图像融合技术 在完成了两幅图像的配准之后,得到了两幅图像之间的变换矩阵,就可以确定它们之 间的重叠区域,图像融合的任务就是把配准后的两帽图像根据配准的位置合并为一帼拼接 图像。这一步主要包括了如何选择再投影合成面以及如何对两幅图像重叠区域的像素进行 混合而得到一幅无缝且清晰的图像。 所谓无缝,是指在图像拼接结果中,不应该看到两幅图像在拼接过程中留下的痕迹, 即不能出现图像拼接缝隙。然而,由于待拼接的两咡图像分别是由不同的相机在同一时刻 采集的,受相机固有因素的影响,采集得到图像的曝光率不可能完全一致,如果在图像的 融合中,仅仅将两幅图像重叠区域简单地叠加起来,在它们的过渡区域必然会有明显的拼 接缝隙。另一方面,在图像配准阶段所得到的图像之间的变换模型只是针对整个图像区域, 对一些存在局部非规则形变的图像而言,全局变换模型在图像的局部区域可能不适用,而 使得拼接图像的局部没有对齐,因此在拼接图像中会岀现局部模糊。如何处理图像融合过 程中岀现的拼缝和模糊问题,实现真正意义上的无缝且清晰的图像,正是图像融合过程所 要解决的问题。 融合策略的选择应当满足两方面的要求 拼合边界过渡应平滑,消除拼合接缝实现无缝拼接; 2.尽量保证不因拼合处理而损失原始图像的信息 图像融合可分为三类:像素级融合、特征级融合和决策级融合 1.像素级(数据级)融合是在图像严格配准的条件下,直接进行像素关联融合处理; 像素级融合是最基本的处理手段,也是硏究最多的—种,目前主要有以下几种方 法 平均值法 ②加权平均法 ③中值滤波法 ④多分辨率技术 2.特征级融合是在像素级融合的基础上,使用模式相关、统计分析的方法进行目标 识别、特征提取,并得到融合结果; 3.決策级融合主要是基于认知模型的方法,采用大型数据库和专家决策系统,模拟 人的分析、推理过程,以增加判决的智能化和可靠性。 2参考资料 1.硕士论文《門」001_图像拼接技术研究》 2.硕士论文《門」_002_基于 Levenberg-Marquardt算法图像拼接硏究》 3.硕土论文《門003_图像拼接技术研究》 4.网 页 http://xgli0910.blog.163.com/blog/static/46962168200962583143227 5.科技论文《P」200基于角点特征的KLT跟踪全景图像拼接算法》 6.本科论文《門』100图像边缘检测与提取算法的比较》 7.http://www.cnblogs.com/xrwang/archive/2010/03/03/imagefeaturedete ction html 8.http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html 9.http://blog.163.com/pz124578@126/blog/static/2352269420122271004 7109 10.http://blog.csdnnet/xuyuhua1985/article/details/6371751 11.http://www.openhw.org/project/index.php?act=view&id=1851 12.硕士论文《門」015多图像拼接算法研究》 13.硕士论文《門010基于特征点图像拼接的配准算法硏究》 14.http://blog.csdnnet/abcjennifer?viewmode=contents 3图像拼接中的算法 31图像预处理 通过几何变形校正方法对采集到的图像进行校正后,可以使得相同景物在图像重叠区 域所成的像有相同的形状和一致的空间相对位置。 3.2图像特征检测 图像特征检测包括如下几种类型的特征检测 闭合区域 2.轮廓和边绿区域 3.角点 4.线条 321闭合区域 闭合区域特征是通过图像分割的方法来检测到的,分割的精度会大大地影响配准的结 果。近年来,选择尺度不变区域特征引起了关注,虚拟圆的思想来计算图像之间平移和尺 度的变化,虚拟圆是一个半径最大的圆,这个圆所涵括的背景区域不包含边缘点,一对虚 拟圆就足够求出平移和尺度的变化量,它相对于图像边缘特征来说鲁棒性更强,但缺点是 易受局部变化的影响 322边缘和轮廓 边缘和轮廓——所谓边绿轮廓是指甚周围像素灰度有阶越变化或屋顶变化的那些像