您好、欢迎来到现金彩票网!
当前位置:双彩网 > 相似性测度 >

三维激光扫描技术中纹理图像与点云的配准_图文

发布时间:2019-06-04 03:02 来源:未知 编辑:admin

  南京理工大学 硕士学位论文 三维激光扫描技术中纹理图像与点云的配准 姓名:胡戬 申请学位级别:硕士 专业:控制理论与控制工程 指导教师:郭玲 20090608

  利用三维激光扫描技术进行场景的三维重建在文物保护、考古研究、虚拟现实等多 个领域有着广阔的应用前景。近年来,随着数据采集设备成本的降低,该领域受到了越

  来越多的学者的关注。然而现阶段研究热点大多集中在三维表面重建方面,却较少考虑

  重建模型的纹理特征,无法满足真实感三维重建要求。纹理映射工作是体现三维重建结 果真实感的必要步骤,而实现该步骤的首要条件是解决纹理图像与三维模型(点云)之间 的配准问题。 本文对该问题进行了研究,主要工作包括以下几方面: (1)从本实验室现有设备出发,分析了利用三维激光扫描仪进行三维模型重建的相 关原理和技术,并总结了目前用于纹理图像与点云配准的基本理论; (2)在室内环境下,通过在数据获取过程中引入反射片作为标记物,设计了一种基 于反射片配准的方法:分别提取反射片在纹理图像和点云中的形心坐标作为配准基元, 计算出图像与点云两个坐标系之间的变换,从而实现配准; (3)在室外环境下,根据建筑物场景中往往含有大量直线和平面这一特点,给出了 一种基于直线和平面特征的配准方法。首先分别提取纹理图像和点云上的直线,利用灭

  点的几何属性从二维图像计算场景三维特征,然后分别计算两个坐标系的旋转变换和平

  上述算法均在VC++平台下结合OpenGL进行了实现,并以本实验室的三维激光扫

  used widely in by 3D laser scanning technology has been

  many fields,such as Cultural Relic Protection,Archaeological Research,and Virtual Reality.

  the reduced cost of data acquisition equipment,there has been

  attention to this field.However,most of the researches

  3D neglecting texture features of the reconstruction model,SO the need of photo—realistic reconstruction hasn’t been

  photo.realistic results of the 3D reconstruction,which of texture and 3D surface

  The above.mentioned problem is studied in this follows:

  theory and technology of 3D reconstruction is analyzed,taking the 3D laser

  mapping of indoor environmental data,all algorithrn is presented based on

  reflectors as tiepoints,which extracts centroid coordinates in texture images respectively

  takes them as registration elements to compute the transformation

  the two coordinate systems,SO as to achieve the registration of textures and pointclouds.

  mapping of outdoor environmental data,especially those

  number of lines and planes,a registration method based designed.Firstly,the lines in the

  are computed by 2D image according to the properties of vanishing

  transformation between the two coordinate

  Laser Scanning,Texture,Registration,Vanishing Point,Reflector

  本学位论文是我在导师的指导下取得的研究成果,尽我所知,在本学 位论文中,除了加以标注和致谢的部分外,不包含其他人已经发表或公布 过的研究成果,也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。

  南京理工大学有权保存本学位论文的电子和纸质文档,可以借阅或上 网公布本学位论文的部分或全部内容,可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文, 按保密的有关规定和程序处理。

  1.1.1选题背景 对客观世界在计算机中进行三维重建一直以来都是计算机视觉、机器人学以及计算

  机图形学等研究的热门领域之一。长久以来,由于受到设备及技术水平的限制,我们所

  能够得到并能对之进行有效处理及分析的绝大部分是二维图像,如目前应用最广的照相 机、录像机、图像采集卡以及平面扫描仪等。然而,在当今以计算机技术为依托的信息

  获取三维空间信息的常用手段有以下几种:基于测距测角的传统工程测量方法,该

  类方法在理论、设备和应用等诸多方面都已相当成熟,新型的全站仪可以完成工业目标

  的高精度测量,GPS可以全天候、一天24,J,时精确定位全球任何位置的三维坐标,但它 们多用于稀疏目标点的高精度测量;基于计算机视觉理论获取物体表面三维信息,该方 法是摄影测量与遥感技术的结合,但在由三维世界转换为二维影像的过程中,不可避免

  地会丧失部分几何信息,因此从二维影像出发理解三维世界存在自身局限性;基于主动 测量原理的三维激光扫描技术,该方法为快速、精确、非接触地获取物体或场景的空间

  三维信息提供了全新的技术手段。 三维激光扫描技术又称“实景复制技术’’,它能够快速获取物体表面每个采样点的

  空间位置坐标,得到一个表示实体的点集合,我们称之为“点云’’。它可以深入到任何

  复杂的现场环境及空间中进行扫描操作,并直接将各种大型的、复杂的、不规则、标准 或非标准等实体或实景的三维数据完整的采集到电脑中。利用三维激光扫描仪得到的数

  据可以重建出具有准确几何信息的三维模型。如果扫描精度足够的话可以达到很高的重

  构精度。 自从三维激光扫描技术发展以来,人们的研究热点多集中在三维几何信息的提取与

  建模方面。由于点云数据不能实现空间上的无缝,这是由点云数据获取的原理决定的(单

  束激光每次偏转固定角度,在物体表面形成的离散采样点),因此必须基于点云进行表 面重建,目前研究较多的是表面的三角网重建。但仅有表面模型仍不能完全满足需要, 很多领域需要模型带有真实的表面属性和特征,即除了几何尺寸真实外,视觉效果也要

  具有强烈的真实感。这就是纹理映射的重要作用:获取真实物体或场景的二维图像,根

  据某种映射算法将其无偏差地赋予三维空间中模型。本文的研究内容与AutoCAD、3DS

  Max等众多三维建模工具所提供的纹理映射功能有两点区别:(1)后者通过人工指定对应

  点来确定映射关系,无法保证映度;而本文从物体成像的角度出发,建立物体与像

  在空间上转换关系,能够实现精确的、自动化程度较高的映射;(2)后者受人工干预的限 制,很难对顶点较多的模型映射纹理,而且若纹理图像拍摄角度与正射相差较大,纹理 效果会严重失真;从本文原理出发,则可避免这种结果。 可见,纹理映射是基于三维激光扫描进行三维重建中的一个关键技术。因此,本课 题通过分析纹理图像和点云的特点,针对室内或无明显特征物体和有明显直线特征的物 体两种情况,分别设计算法来实现纹理图像和点云之间的配准关系精确计算,以便生成 具有高度线研究意义 研究人员在基于激光扫描数据的三维场景重建领域已经进行了大量的研究。现阶段 三维重建软件算法的研究多集中在如何根据大规模无组织的点云数据进行表面建模,此 研究偏重于实体模型的快速、精确重建,较少考虑纹理特征。表面建模已有多个商用软 件可以完成,然而表面重建仅仅完成了建模的第一步。由于激光扫描数据获取时通常可 以获取相应的纹理照片,而点云数据和纹理照片对目标的描述有诸多的互补性,因此还 需要使用纹理映射技术,把具有表面纹理的图像映射到模型的表面,以此体现模型表面 的特征及属性。配准是纹理映射需要解决的~个关键问题,通过配准操作将不同类型的 数据纳入到统一的坐标系统中,并使得各个元素在几何上对准,为纹理映射奠定基础。 目前的商用软件不提供或仅提供非常有限的相关功能,因此有进一步研究的必要。 随着三维激光扫描技术的快速发展,该技术以其独有的优势正广泛地应用于文物保 护、考古研究、数字娱乐、数字城市以及地形漫游等诸多领域中。这些领域均需要预先 将纹理图像和点云精确配准,从而获得真实感的三维模型,例如: (1)在文物保护领域,当发生不可抗拒因素而使得文物遭到破损时,真实感三维模 型作为真实文物的副本,可成为重建的可靠依据;通过真实感三维模型搭建起来的虚拟 博物馆和虚拟展览能为文物研究者及游览者提供更自由的观察视点,甚至能让他们从实 际中不可能的角度和距离去观察他们感兴趣的展品,而不至于损坏文物。 (2)在考古研究领域,研究者需要精确的几何测定,构建遗迹或遗物的形态。而且, 表面纹理所富含的细微特征对遗迹或遗物的鉴定有着极其重要的意义,通过这些特征, 研究者能判断出遗迹或遗物产生的年代以及环境等信息。但是这需要长期的观察、测量 和分析,在这个过程中,很可能会对遗迹或遗物造成不可修复的损害。构建真实感的三 维模型,将数字化模型作为研究、分析的对象,此问题便迎刃而解。 (3)在数字娱乐领域的应用更加广泛,包括电影、计算机动画、游戏等领域,它能 够很好地满足人们对视觉效果的追求。在影视制作中用三维技术不仅可以实现以假乱真 的视觉效果,还能达到真实场景拍摄达不到的特效。而越来越多的三维游戏也因为有了 逼真的三维场景而更具吸引力。

  此外,在虚拟现实、数字城市、城市规划等诸多领域对模型也有同样的要求。如此 广阔的应用前景和价值,也预示了真实再现三维场景模型的重建技术将受到越来越多的 关注。鉴于纹理图像与点云配准在真实感三维重建中的重要作用,本文对此进行了研究, 以便为基于三维激光扫描的场景重建技术在上述领域中的应用奠定基础。

  1.2.1国外研究现状 国外在这方面的研究起步比较早,到目前为止,已有美国、加拿大、日本等国的几 十家高科技公司开展了对三维扫描技术的研究,已形成了一定规模的新兴产业。 1965年,L.Robert在其论文“二维物体的机器感知”中指出了利用计算机视觉技术 获取物体三维信息的可能性,这标志着三维扫描技术新纪元的到来。到了80年代, Cyberware公司研制出了可用于人的头部扫描的三维扫描仪,并将其成功地投入到计算

  Lcvoyll】等人将三维重建运用于大型雕塑,在纹理图像与点云的配准方面,他们将

  相机固定在激光扫描仪上,并且事先在实验室环境下通过预设的点标定了相机与激光扫 描仪的相对位置关系。这种方法避免了再次使用时的复杂操作,然而在某些情况下并不 适用,比如光线不好或存在死角则需要重拍照。

  Stamos I和Allen P K12J在真实感三维重建中,首先分别提取图像和点云中的直线,

  然后以相机坐标系原点与图像上的直线构成平面,最后通过使点云中的同名直线端点投 影到该平面的距离最小化来求解刚体变换矩阵,从而实现纹理图像与点云的配准。该方 法主要适用于含有大量直线的场景,但在求解矩阵时采用点坐标会引入较大误差。

  R.Kll阳zI瑚e13J等人利用场景各点反射回的激光强度形成的反射图与点云之间的自 然对应关系,以及反射图和纹理图像之间的相似性,从模型表面抽取了一系列三维边缘 特征,并且同图像上所抽取的二维特征进行了初步对应。在完成特征抽取和初始对应后, 使用M一估计方法对相机参数进行估计。但由于数据的特殊性限制了该方法的应用范围。 Habibl4J利用直线特征配准方法对点云和影像数据的配准进行了研究。首先在点云和

  影像数据中分别提取相关直线特征,利用这些相关直线特征上的点的坐标代入变换函

  数,根据最小二乘法解算出外方位参数。但配准过程中直线特征的提取、相关特征的定

  M[51利用纹理图像中的平面特征和点云数据中的点作为配准基元,然后将与平

  面的距离大于某阈值的激光点视为异常点,利用随机抽样一致性(RANSAC)算法估算异 常点的比率作为相似性测度,这样可避免对每个激光点进行求距离的运算,提高算法效 率;最后通过单纯形算法作为匹配策略求解出点云和纹理图像之间的变换,解决配准问

  题。但是,由于该算法依赖城市中大量的平面特征,而且相似性测度方程对于某些类型的 变换(如垂直方向移动和绕水平轴旋转)不能很好地收敛,因此该算法有较大的局限性。 Galland.F和Tupin.F[61等人在对城市建筑进行三维重建时,分析了不同特征对求解 配准参数的影响,最后通过提取建筑图像和点云的边缘轮廓信息,采用透视投影学的方

  法,将图像和点云配准,但同样需要找对应点,计算量大。 1.2.2国内研究现状

  国内相对来说起步较晚一些,但已取得一些令人欣慰的成果。我国在高技术研究发 展计划(863计划)中也明确提出了研制三维扫描仪的计划,主要研制用于近景目标的三 维扫描系统,用于城市地面测量及其它工程测量,这是信息领域中以信息获取与处理技

  术为主题的重点项目。清华大学、西北工业大学和山东大学承担了这一863计划,这必

  将推动我国三维扫描技术快速发展。 首都师范大学的张爱武【7】等人重点突破基于激光与可见光数据室外场景三维重建的 关键技术,解决了激光与可见光数据配准问题,即点云与纹理图像的配准问题。该方法

  通过寻找对应点求解其配准关系,但是该实验设备将摄像机与扫描仪固定在一起,限制

  武汉大学的邓非【8】等人,提出一种利用激光扫描和数码相机相结合的古建筑三维重

  建方案,利用像方直线(从图像上获得)和物方直线(从点云上获得)共面的条件,采用半 自动算法将各张照片与点云进行配准,但该方法计算量大。之后其又提出了一种激光扫 描数据和数字图像配准的方法【9J。该方法是基于立体像对匹配的点集与三维扫描点云的 最近邻迭代配准。配准中,采用M.估计的选择权迭代在最邻近点搜索算法中逐步消除 立体像对误匹配粗差点的影响。由于该方法首先基于影像间的同名点匹配,因此会造成 累积误差,并且采用点的计算量大。 北京大学的赵彬Il o】做了面向真实感三维建模的纹理贴图技术研究,把用于多站点点 云数据配准的ICP方法引入到纹理与点云配准之中,其次,在特征点选取上,没有依赖

  缺乏稳定性的角点检测,而是使用了物体的轮廓线。但是该算法是采用手动方法直接选 取三维特征点,显然会引入一定的误差。

  本文针对三维激光扫描系统中如何实现纹理图像与点云配准的问题进行了研究。对 于室内或无明显特征的场景,设计了一种基于反射片的配准算法;对于室外大型场景, 设计了一种基于特征的配准算法。最后,利用本课题组的三维激光扫描设备实地采集实 验数据,对算法的有效性进行了验证。

  1.3.1论文完成的主要工作 本论文完成的主要工作有: (1)探讨了纹理映射过程中存在的纹理图像与点云配准问题,并总结了其相应的解 决思路;

  (2)针对室内或无明显特征物体,通过在数据获取过程中引入反射片作为标记物,

  设计了一种基于反射片的配准算法,分别提取了反射片在纹理图像和点云中的形心来实 现配准;

  (3)在室外环境下,根据建筑物场景中往往含有大量直线和平面这一特点,设计了

  一种基于直线和平面特征的配准方法,分别提取了纹理图像和点云的直线特征,并结合 灭点几何属性来实现配准;

  (4)在VC++6.0平台下结合OpenGL,实现了论文中的所有算法,并完成了配准系

  统的集成。 1.3.2论文的组织结构 第1章阐明了本课题研究工作的背景、意义、国内外研究现状,并且对本论文的 主要工作及论文结构做了简要介绍;

  第2章介绍了本课题使用的LMS.Z210i型地面三维激光扫描仪技术参数和工作流

  程,分析了纹理图像与点云配准中用到的数码相机成像技术,并总结了解决思路; 第3章针对室内或无明显特征物体,通过在数据获取过程中引入反射片作为标记 物,设计了一种基于反射片的配准算法,并结合实验数据分析算法结果; 第4章根据城市建筑包含大量直线和平面的特点以及灭点的几何属性,设计了一 种基于特征的配准算法,并结合实验数据分析算法结果;

  本章从本课题组具有的实验设备出发,首先探讨了三维激光扫描设备获取数据的相 关知识,并分析了数码相机的成像原理,为后续算法的提出奠定理论基础。然后提出了 现有条件下进行模型纹理映射尚存在的配准问题,并给出了解决思路。

  2.1.1三维激光扫描仪工作原理 三维激光扫描仪是一种通过激光测距原理,瞬时测得物体的空间三维坐标值的测量 仪器,主要由激光扫描系统及其附带的CCD数字摄像系统、内部校正系统和配套的软 件构成。三维测量设备根据测量距离和测量速度的不同,采用了不同的测量技术,常见

  (1)脉冲测距法:由扫描仪向被测物体发射激光脉冲并由探测器接受返回脉冲,测 量脉冲的飞行时间,计算脉冲的飞行距离,从而得到被测物体的空间位置信息。最长扫 描距离能达到30000m以上,采样速率1000点/秒以上。 (2)相位干涉法:根据发射光和反射光之间的干涉获得等距线,对等距线进行梯度 运算,从而计算出距离。适合近距离扫描,采样点速率可达500k点/秒。 (3)结构光法:利用相机和结构化光源,获得两条光线信息,利用光源的几何信息 获得扫描物体的几何信息。适用于短距离测量,扫描范围在20米以内,采样点速率100 点|砂4 目前,大多数中长距激光扫描仪,如加拿大的Optech、美国的Cyrax2500、法国的 GSl00和GS200及本课题组采用的奥地利的LMS.Z210i,采用的扫描技术都是脉冲测距 法,通过下面的原理可以获取扫描模型的空间三维坐标: ①扫描仪扫描时采用的是局部坐标系,以激光发射点为坐标原点,XOY平面为水 平面,Y轴为扫描转向方向,Z轴为垂直方向,如图2.1所示; ②扫描仪在发射激光脉冲时,自身可以得到所发激光的水平方向角度口和垂直方

  本课题基于的硬件平台是奥地利尉e出公司开发的LMS—Z210i型三维激光扫描仪系 统,如图2.2fal所示。该系统是flj_---维激光扫描仪、数码相机、旋转平台以及其它附件 构成,并可以与GPS定位装置相连.将采集的数据统一归算到地球坐标系统(GLCS,

  其结构如图2.2彻所示‘“1。其中,结构①是一个电子测距仪,接收反射回来的激光

  脉冲并计算激光发射中心到扫描点的距离,满足了仪器高速扫描的需要;结构@是一个 含有若干个反射表面的多棱镜,用来控制发射激光的垂直偏转角0.通过改变棱镜的旋

  转速度即可改变仪器的扫描速度,当扫描速度很低和(或)扫描角度很小时,棱镜只需上 下线性摆动即可满足要求;结构④是扫描仪的旋转光学镜头,可以控制扫描仪进行水平

  需要注意的是,在扫描仪工作之前,要将其与装有配套软件RiSCAN PRO的笔记 本电脑⑥通过TCP/IP接。1:3⑤连接起来,只有这样才能实现对扫描仪的控制,也只有这 样扫描仪所得的数据才能传输给电脑以供进~步操作,数码相机⑦通过USB接口⑧把 所拍摄的纹理图片传输给电脑。

  视场覆盖范围包括扫描仪的测量范围和扫描范围。测量范围指的是激光束垂直入 射,且待扫描物体的平面尺寸大于激光束直径时,所能达到的射程。对于LMS—Z210i 来说,当目标实体的反射率P≥80%时,测量范围可达400米。扫描范围指的是在垂直 方向上和水平方向上扫描的方向角的范围,LMS.Z210i的垂直方向扫描范围是00~80。, 水平方向的扫描范围是00~3600。 视场覆盖范围是一个非常重要的综合参数,在对物体扫描过程中,它常常会影响到 视点的位置及个数,是决定扫描效果和工作效率的重要指标之一。 (2)扫描精度 扫描精度指的扫描仪的测量精度和角度分辨率。测量精度指的是扫描物体所得坐标 的精确程度,主要受扫描扫描频率高低、扫描距离远近,激光点大小等因素的制约。 LMS.Z210i型扫描仪的分辨率达到了5mm,单点精度达到了25mm,平均精度达到了 15mm,是一种测量精度高的扫描仪。角度分辨率指的是激光在垂直和水平方向上发射 的密度,即扫描物体表面单位面积的激光点数量,高角度分辨率的扫描仪会获得更精确 的模型,LMS.Z210i的垂直角度分辨率和水平角度分辨率都达到了0.005。,满足了构 建真实感模型的需要。 扫描精度也是一个重要的参数,是衡量模型的精确程度和真实程度的重要参数之

  (3)测量速度 测量速度指的是每秒可测得多少个点的坐标,测量速度越大,对同一物体扫描的时

  间也就越少,效率也就越高,LMS.Z210i型三维激光扫描仪在多棱镜旋转的情况下,测

  量速度可达8000点/秒,在多棱镜震荡时可达12000点/秒,具有很高的效率。

  本课题所采用的软件是RiSCAN PRO,它是由Riegl公司为配合LMS-Z210i型及其 系列三维激光扫描仪的使用所开发的应用软件,该软件能实现控制扫描仪工作、数据采 集、数据可视化、点云配准、数据导出等功能。通过设置扫描范围、扫描精度等参数对

  感兴趣的目标进行点云数据获取,并将模型导出成几种比较通用的文件格式,如ASCII, ASC、OBJ等,这为点云数据运用外在工具或算法进行后期处理提供了方便。该软件也 具备一定的表面建模和纹理映射等数据处理功能,但这些功能并不完备或应用起来有一

  2.1.3基于三维激光扫描仪的数据采集 本文中的扫描仪采取定点扫描方式,由于激光是直线传播,所以在有障碍物或者扫 描对像自身遮挡的情况下,每次扫描只能获取扫描对像某一部分点云数据,造成获取的 被扫描物体的表面点云数据残缺。因此,在实际的扫描过程中,常常需要布设多个扫描 站点对物体进行扫描,以获得目标完整的点云信息。如何布设、布设多少个扫描站点依 据实际环境的规模和复杂性而定,原则是在保证数据获取完全、满足数据处理对点云重 叠度要求的前提下,选择尽量少的站点,以提高数据获取效率、减少工作量。图2.3显 示了本文的实验数据之一,其中包含了五个扫描站点的数据。从图2.4中窗口可以看出, 每个点在文件中都有其对应的空间坐标。

  若考虑到点云与点云或点云与图像配准时需要反射片(反射体),则要注意:为将不 周站点采集的数据拼台在同一坐标系下,在选择站点、或放置反射片(反射体)的时候, 应确保相邻两个站点间能看到至少三个以E不在同一直线上的反射片(反射体).以便为 后处理提供匹配点点云配准。采集点云数据后,还需利用数码相机对待重建的物体拍摄 纹理图像,以便为激光点赋予颜色信息、或为模型提供表面特征,如图2.5和图2.6所 示分别为第一站的点云和纹理图像。

  数码相机的成像是以针孔模型为基础的【1“,在二维纹理图像中,图像中的每一点的 亮度反映了三维物体表面某点反射光的强度,而该点在图像上的位置则是由三维物体表 面相应点的几何位置决定的,相机对三维物体拍摄成像的过程也就是将空间中的三维物 体投影到二维平面的过程。数码相机成像坐标系变换如图2 7所示.可通过四个坐标系 的三次转换来表达,这四个坐标系分别为:

  (1)世界坐标系(x。,L,z。卜也称为全局坐标系,是客观世界的绝对坐标,一般来

  说三维物体都用世界坐标系来表达。 (2)相机坐标系(x。,k,zc>一以相机的光一L,o。为原点,x。轴、Yc轴分别平行于 CCD平面的睡条垂直边,且采取前投影模型,乙轴为相机的光轴。 (3)图像坐标系(x,y卜—坐标原点0,为相机光轴与成像平面的交点,X轴、Y轴平行 于相机坐标系的x,轴、K轴,单位是毫米。

  (4)像素坐标系(屿v卜坐标原点仉在图像平面的左上角,u轴、V轴分别平行于图

  像坐标系的x轴、Y轴,单位是像素,对于数字图像,U轴代表图像的行方向,v轴代表

  (3)图像坐标系到像素坐标系的转换。 2.2.2成像模型的数学描述 数码相机成像的理论模型是针孔模型,如图2.8所示,根据这个模型,空间任一点

  P在图像坐标系中的投影P为光心C与P点的连线与图像坐标系平面的交点。理想针孔

  现在假设场景中有一点M,在相机坐标系下的坐标为(Xc,Yc,Zc),其投影m的图像 坐标为(x,y),若C到焦平面的距离(CO)记为焦距f,则利用侧视图(图2.9)可以计算出点 M在图像平面Zc=一f上成像位置的Y坐标为[10l

  由于场景在图像平面上所成的像均为倒立的像,为了方便以后的数学推导,假想~

  个在相机前方与图像平面相互对称的平面,称之为虚拟图像平面,如图2.10所示,则场 景在此平面上所成的像为正立的,且效果与前者等价。因此下文所提及的图像平面均指 虚拟图像平面。

  在计算机中对图像的操作都是以像素为单位的,因此设立一个像素坐标系,其两坐 标轴用u、v表示,且分别平行于图像坐标系的X轴和Y轴。设每一像素在x轴和Y轴 方向上物理尺寸分别为d】【,dy,如图2.11所示,像素坐标系原点位于图像平面的左上

  其中R、t分别为3x3的旋转矩阵和一个平移向量。将式2。12代入式2.1l中,可得:

  式2.14中,q=f/dx,ay=厂/咖。可见,相机待标定的参数有10个。其中4个

  为内部参数,即“。,%,q,口,;6个为外部参数,即R和t的各3个参数。这就是针

  cos7sinasinfl—sin7sinfl cosysinacosfl—sinrsinfl

  N称之为内参数矩阵,H称之为外参数矩阵,即刚体变换矩阵,M为综合矩阵。从 数码相机的成像模型公式中可知,可将数码相机的内外参数分离,建立各自的模型,分 别确定。而相机内参数是由其自身属性决定的,只与相机及镜头有关。

  2.3.1配准问题的提出 在利用三维激光扫描仪进行三维场景重建时,为了使模型看起来更逼真,达到栩栩 如生的效果,还需要给三维几何模型(点云)贴纹理,即纹理映射【13J【14J。纹理映射是提高 模型视觉真实感的重要手段,是三维场景重建中一个重要技术环节。与面向三维激光扫

  数据获取厂_叫多站点点云配准H表面模型重建H 【..,.,.-l 1..................。。...J【.。 1_I..........。.。............J

  (1)数据的获取:为了获取场景的空间三维信息,需要用三维檄光扫描仪柬完成, 扫描得到的数据称为点云。为了较好地获取一个大型场景的完整的三维数据,还有许多 值得关注的问题,比如扫描仪选择、扫描分辨率设置、扫描站点的规划、扫描数据的格

  (2)点云数据的配准:由于每欢扫描只能获得部分数据,需要从不同的站点去扫描 谈场景,但每次扫描得到的数据都是处在以当前站点为原点的坐标系下。因此需要将所 有的扫描数据放在一个公共的坐标系下。目前较经典的算法有Ic叫5Ⅱ】o算法。 (3)表面模型重建:直接对离散的、大数据量的、存在冗余的点云进行表面重建不

  能达到预期的效果,常见的解决方法是首先对点云进行三角剖分㈣,再对得到的三角网

  模型进行表面重建,可以得到更逼近实物的模型。 (4)纹理映射:经过以上过程实现了三维真实场景的数字化,并重建了精确的几何 模型。但是为了描述具有真实感的物体,增强物体表面细节的表现力,需要将实拍到实 体的一系列彩色照片准确映射到实体的几何模型上,实现模型的无变形纹理映射。 纹理来源于相机拍摄的照片,由于相机和激光扫描仪在获取数据时的位置和姿态的 不一致,在没有确定出照片与三维模型之间的映射关系之前直接进行纹理映射的结果如

  图2 13所示,可以看出为错误的纹理映射,不能满足真实感三维重建要求。因此,在使

  用相机拍摄的照片作为纹理信息时.就必须定量地确定出各幅照片与三维模型之间的一 一映射关系,即要解决纹理图像与点云的配准问题,如图2 14所示为经过配准后的纹理 映射,能满足真实感三维重建要求。

  放因子,R(a,∥,y)是两坐标系之间的正交旋转矩阵,(,l,,2,岛)r是纹理图像与点云坐标系

  种是基于反射片的配准,采用反射片作为配准基元,以数码相机的成像模型式作为变换 函数,共线方程作为相似性测度,牛顿迭代法作为匹配策略来实现配准。第二种是基于

  特征的配准,采用直线和平面作为配准基元,以数码相机的成像模型式作为变换函数,

  对应平面法向量的旋转关系作为相似性测度,最小二乘法作为匹配策略来实现配准。

  本章首先对点云数据获取设备——三维激光扫描仪的工作原理、本文的软硬件平台 以及数据采集方式做了简单介绍;其次分析了数码相机的成像过程;最后探讨了三维重 建中存在的配准问题,并总结了其解决思路。 数码相机成像过程是纹理图像与点云配准的基础,在第三章和第四章中的配准算法 都会涉及到。本章为后续算法的设计及实现奠定了理论基础。

  反射片,或反射体丌:文中统称反射片),是一种几何尺寸己知、表面覆盖高反射率 材料的标定物,其目的是为多个点云或点云与图像的配准提供公共点.以便完成坐标系 变换。虽然本章的算法需要获取反射片数据作为输入,但下述原因使该算法的研究仍有 实用价值:(1)有些点云数据在采集时己包含了反射片,以便于点云配准。这时.基于 反射片进行图像与点云的配准则是理所当然的;(2)对于表面特征不明显的物体,仅依 靠算法很难得到精确且稳定的配准结果,必须利用标定物。因此,考虑到反射片与点云 处理的密切关系,本章对基于反射片的图像与点云配准算法进行了研究。

  基于反射片的配准算法实际上是采用基于特征点配准的思想,即利用纹理图像和点 云中对应点的坐标,计算纹理图像与点云的配准关系。具有映射关系的点云与纹理图像 如图3 1所示,相机光心、模型点及其在图像中的像点是共线的。由于激光扫描数据和

  纹理图像对目标的表现形式和数据特点有很大差异,因此直接在点云中人工精确抬取与

  纹理图像的对应点较困难,且工作量较大。而反射片为该问题的解决提供了一种途径。

  根据2.3.2节所述配准问题的解决思路.将基于反射片的配准算法设计如下: (1)配准基元:由于引进反射片作为标定物,因此在数据采集过程中,反射片会同 时出现在纹理图像和点云中,它在纹理图像和点云中的形心可作为配准基元。在纹理图 像上用Canny边缘检测和Hou曲变换来提取反射片并计算其形心坐标,在点云上用网

  格划分法提取反射片并计算其形心坐标; (2)变换函数:本章算法是以数码相机的成像过程作为理论基础,两个坐标系之间 的变换满足数码相机的成像模型式2 13。相机内参数是由其自身属性决定的,只与相机 及镜头有关,相机外参数为刚体变换矩阵: (3)相似性测度:经过配准后的点云与纹理图像中的对应点满足共线。园 此本章算法以共线方程式作为相似性测度来表达配准基元之问的关系,以量化配准效

  (4)匹配策略:在得到了反射片形心坐标后,需要求解变换函数中的所有参数。本 章算法采用3对毗上对应点来优化参数,则问题转化为非线性方程组的求解过程,为此 采用牛顿迭代法求解方程组。 从上述思路可以看出,本章算法中包含的两个关键问题是:图像与点云中反射片形 心检测和形心坐标匹配问题,下文分别予以解决。

  对贴有反射片的场景拍摄的纹理图像如图3.2所示,由于在拍摄过程中场景与像平 面不能保证平行,因此反射片在像平面上的成像可能为圆形或椭圆。本章首先通过Canny 算子对图像进行边缘检测,然后在其边缘图上通过Hough变换检测圆形或椭圆来提取纹 理图像上的反射片,并计算其形心坐标。

  Cinny边缘检测 在数字图像中,边缘是指图像局部强度变化最显著的部分,通常可利用求导数方便

  地检测到。图像的边缘主要存在于目标与目标、目标与背景、区域与区域(包括不同色 彩)之问。在一幅图像中,边缘有方向和幅度两个特性㈣。沿边缘走向的灰度变化平缓,

  而垂直于边缘走向的灰度变化剧烈。 Cannyt21】推导了最优边缘检测算子,其考核边缘检测算子的三个标准是:(1)不丢 失重要的边缘,不应有虚假的边缘;(2)实际边缘与检测到的边缘之间的偏差最小;(3) 抑制虚假边缘将多个响应降低为单个边缘响应。算子的方向性使得它的边缘检测和定位 优于其它算子,具有更好的边缘强度估计,能产生梯度方向和强度两个信息。 Canny边缘检测【22彩J算法流程如图3.3所示:

  其中盯为平滑参数,当t7较小时,边缘定位精度较高,但图像平滑作用较弱,抑制 噪声的能力差,仃较大时,导致高斯平滑模板增大,不仅使边缘位置严重偏移,还使运

  (2)计算每个像素的梯度幅值M和方向口 为此采用以下2X2算子模板作为对X和Y方向偏微分的一阶近似:

  梯度的方向可以被定义为属于4个区之一,各个区有不同的邻近像素用来进行比较,

  以决定局部极大值。这4个区的标号为0~3,其相应的比较方向如图3.4所示。

  例如,如果中心像素X的梯度方向属于第3区,则把X的梯度值与它的左上和右下相 邻像素的梯度值比较,看x的梯度值是否是局部极大值;如果不是,则把像素X的灰度设 为0。这个过程即为非极大值抑制。 (4)双阈值算法 设有两个阈值正和正,且通常T2≈2x互。把梯度值小于互的像素的灰度赋零值,得

  到图像A。然后把梯度值小于瓦的像素的灰度赋零值,得到图像B。由于图像B的阈值

  较高,因而含有很少的假边缘,即噪音较少,但同时也损失了有用的边缘信息。而图像 A的阈值较低,保留了较多的边缘信息。因此可以以图像B为基础,以图像A为补充来

  对图3.2进行Canny边缘检测,为便于显示,将其结果二值化,如图3.5所示。

  Hough变换【26][271利用图像全局特性而将边缘像素连接起来组成区域封闭边界,在预 先知道区域形状的条件下,利用变换可以方便地得到边界曲线,并且能将不连续的边缘 像素连接起来,以检测和识别图像空间的任意解析曲线。Hough变换的主要优点是:对 局部缺损的不敏感,受噪声和曲线间断的影响较小,以及适于并行处理和实时应用。

  Hough变换的基本思想是利用点一线】。图像变换前在图像空间,变换后 在参数空间,将笛卡尔坐标系图像空间中的线变换成斜率一截距坐标空间中的点,即原 始图像中给定形状的曲线或直线上的所有点都集中到参数空间的某个点上形成峰值。这 样,就把原始图像中给定形状的曲线或直线的检测问题,变成了寻找参数空间中的峰值 问题,也即把检测整体特性给定曲线的点集变成检测局部特性的问题。

  图3.6点~线中可看出,x--y坐标和七--b坐标有点一线的对偶性。x—J,坐标中的点 眉、最对应于后~b坐标中的厶、厶;而后一b坐标中的点昂对应于x一少坐标中的线厶。

  实际使用Hough变换时,要在上述基本方法的基础上根据图像具体情况采取一些措 施,以提高运算的精度和速度。由于x~y坐标中的垂直线的k值为无穷大,给计算带来

  不便,故使用点一正弦曲线对偶变换解决这一问题。直角坐标J一】,中的一点(x,y), 经过点一正弦曲线对偶变换:

  在极坐标口--p中变为一条正弦曲线。),可以证明,直角坐标X—J, 中直线上的点经过Hough变换后,它们的正弦曲线在极坐标口~p有一个公共交点,也 就是说极坐标口~p上的一点(口,户),对应于直角坐标工一】,中的一条直线。而且它们

  是一一对应的。 3.2.2.2椭圆和圆的检测 椭圆和圆的检测需用到如下几何特性及引理[291:

  线,胁与E相交于点屯,和‰,‰为屯。和‰的中点,则所有‰都在同一直线L上,称 其为纵轴,‰(屯)则称为屯,(%)对于L的对称点(见图3.7(a))。

  线乇与E相交于点虼和虼;,‰为%和%,的中点,则所有‰都在同一直线厶上,称

  引理3设E为一椭圆或圆,L和厶为E的两条对称轴,则L和厶的交点即为椭圆E

  (1)候选形心的提取。在提取椭圆形心之前,首先用Canny边缘检测提取图像的边

  缘信息,并将其存储于图像F中。形心坐标的提取步骤为:初始化一空白图像G,自左 向右,自上而下扫描图像F,对于每个边界特征点,应用引理1,求取所有的而腑,并将 其存储于G中,并对图像G作Hough变换检测直线,检测到的结果即是可能的己。根 据检测到的各L,在F中提取和t,相关的对称点,形成子图FH。重新初始化空白图像G,

  自上向下,自左而右扫描图像FH,对于每个边界特征点,应用引理2,求取所有的y…

  并将其存储于G中,并对图像G作Hough变换检测直线,检测到的结果即是可能的厶。

  根据检测到的各‘,在FH中提取和厶相关的对称点,形成子图FHV。求取L和厶的交 点,根据引理3,该交点即是供候选的形心。

  经过以上步骤,不仅提取出了可能的形心坐标,降低了Hough变换参数空间的维数,

  (2)椭圆旋转角的获取。设P(xp,Yp)为椭圆E上的某一点,啡为P点梯度向量的角 度,a和b分别为椭圆的半长轴与半短轴。对于圆心在(Xo,yo)、旋转角度为零的椭圆, P(砩,yP)满足以下关系:

  当椭圆以(Xo,yo)为圆心,旋转角为伊时,P(砟,J,尸)满足以下关系:

  由式3.7可知,目前的未知参数为长短轴比a/b和转角9(缈∈【0,2万】),令h=口/b,

  利用Hough变换在(办,妒)空问上投票,并在(办,伊)空间上寻找局部最大值,从而确定h和 伊的值。以上投票过程并非针对图像F中的所有边界点进行,而是在步骤(1)所获得的子

  图FHV中进行。因为F中存在很多不必要的干扰点,影响检测的精度,而FHv滤除了 噪声和其他图形边界的干扰,提高了检测的精度。 (3)椭圆长短轴的确定。在h=a/b已知的条件下,椭圆上点P(昂,炸)满足下式:

  如果在步骤(2)中成功地获得了h-a/b的值,则椭圆的长短轴值可由式3.8求得。同

  理,在子图FHV中对每个边界点在参数空间(讪)上投票.通过寻求参数空间“b)上局部

  最大值来确定该椭圆的长短轴。将不同子图的结果加以组合,即可获得整个图像F中所 有椭圆信息。 对图3.5进行HouI曲变换检测得到的结果如图3.8所示,由于场景中所包含物体的 复杂性,检测到的椭圆或圆可能不是反射片,因此本章通过交互的手段选择需要的椭圆

  由于反射片对激光的反射率比其它材质要高很多,因此可以在扫描得到的点云数据 中,通过反射强度判断该点是否为反射片上的点。如爵3.9所示为二维点云强度图像, 可以看出反射片与其它地方有明显区别。本章实验数据是从Riscan Pro中导出的ASCII 文件。导出的文件只需包含点云的坐标以及反射强度。由于每次扫描会扫描多个反射片, 因此需要在点云中将反射片分割出来,即将某个反射片上所有点搜索出来,然后计算平 均值得到其形心坐标。

  首先设定一个强度阈值Inten,将点云中所有大于linen的点提取出来,由于场景因 素带来的影响,一些不是反射片上的点的反射强度也可能大于lnkjl,如反光的镜子。 本章对提取出的点用红色标记,如图3 10所示,即为可能的反射片。由于提取出的点数 据量一般都很大,本章采用对点云的网格划分法口01搜索某个反射片上所有的点。将提取 出的点按,,Y,z坐标大小进行三维排序,这样在每一维坐标中得到了正反两个索引,井 在该网格内搜索反射片上的点。

  设有H个点只(‘,H,毛),i=1,2,,H,对这月个点分别根据它们的‘Y,;坐标值, 按照由小到大的顺序进行三维排序。先根据z方向排序;如果X坐标相同.则比较Y坐 标值,小的j非在前面,大的排在后面;如果Y坐标也相同,再比较z坐标值,小的排在 前面,大的排在后面。 经过三维排序后的月个点中的任意一点尸的三维排序坐标为(,,s,f)。设一个距离闽 值为D,在z方向上,P点的序列号为r,以P点为中心,沿着正反两个方向依次搜索 NUM个点,并计算各个点在x方向上到P点的距离,小于闽值D的点则保留。如果某 个搜索方向点的个数不足NUM个,则只在这些点中搜索小于阈值D的点。同样,在Y 方向上则是在前一次得到的目标点集中以数值NUM搜索小于阐值D的点;在:坐标方

  以二维搜索为例.如图3 11(a)所示,大黑点为P点,灰色区域部分为沿x方向搜索 得到的邻近点的备选点集;再沿Y方向搜索,如图3 11(b)所示灰色区域部分,得到的 点集则为P的邻近点。

  同样三维数据点也是如此,即分别沿着X,Y和z轴3个方向搜索得到点集,令该 点集为Q。假设Q内的点的个数为K,那么Q集合内的所有点应该满足以下条件: Q(rx,sic,k)=r—ml≤幺≤,.+m2,J—m3≤SK≤s+m4,r—m5≤k≤f+聊6> 其中,★,sK,tr分别为点集Q内K个点的三维排序坐标。 找到了某个反射片上所有的点后,还要判断其总点数是否大于某个阈值NP,如果 小于NP则说明该点集并不能代表反射片。然后计算满足条件的反射片上所有点的坐标 平均值即为该反射片形心坐标。 算法中存储点的数据结构:

  GLuint GLuint GLuint GLuint GLfloat GLfloat GLfloat bool index;

  //点的索引 //点在x方向上的排序 //点在Y方向上的排序 //点在Z方向上的排序 //点的坐标

  反射片形心坐标的具体求解过程如下: (1)读取所有点云数据,将反射强度大于Inten的点坐标存入到数组Pointlist中。 (2)初始化Pointlist,将Pointlist按X,y,z大小排序,并将所有点标志设为FALSE (3)置i=0。

  (4)取Pointlist数组中的一个点的索引做为中心点,判断其标志是否为真,如果是,

  则转步骤(8),否则给定一个距离阈值D,从i点开始分别向前向后每隔NUM个点计算 一次x方向到i点的距离,小于D的点存入一个临时数组Tielist中,如果某个搜索方向 点的个数不足NUM个,则只在这些点中搜索小于D的点存入临时数组Tielist中。 (5)在步骤(4)中得到的数组Tielist中,同样以距离阈值D,间隔NUM搜索中心点 Y方向的点,保留满足条件的点,其余点删除。 (6)在步骤(5)中得到的数组Tielist中,同样以距离阈值D,间隔NUM搜索中心点 Z方向的点,保留满足条件的点,其余点删除。 (7)判断步骤(6)中得到的数组Tielist中点的个数是否大于给定的阈值NP,如果否, 则转步骤(8),否则计算数组Tielist中点的中心坐标(即坐标平均值),存入数组Cenlist, 并将数组Tielist中所有点的标志设为TRUE。 (8)i++。 (9)判断i是否小于Pointlist数组总点数,如果是,则转步骤(4),否则结束。

  反射强度阈值Inten一般取0.8.O.85。反射片点集个数阈值NP以及距离阈值D与

  具体扫描时的参数有关,可以根据预先设置的角分辨率和扫描距离估计。一般NP取 50.60,而D取点云中相邻两点点距的9.10倍即可。另外本文软件Riscan Pro有计算两 点之间距离的功能,从而能得到较精确的相邻两点点距。参数NUM对算法时间有一定 影响,经过试验可取100左右。

  从上式可以看出数码相机的内部参数只与相机本身结构有关,如果使用固定的焦 距,其内部参数便可以唯一确定下来。由于本课题所使用的数码相机是可调焦距的,因 此相机在拍摄场所所选的焦距可能不同。而焦距是可以人为选定的,因此完全可以在实 际使用之前直接计算出相机的所有内部参数。本文提前利用软件在实验室环境中,通过 精心设计数码相机的外部参数,计算出了数码相机在确定焦距下的所有内部参数。这样 做不仅能够得到精度很高的数码相机内部参数,而且在实际使用中仅需求解数码相机的 外部参数,从而大大简化后续相机的标定过程。 本文对数码相机内部参数的标定结果如图3 13所示

  I^【m}同i——一o【m}阿i——一 №岫岵互百———一 №脚】=厨万————一

  N T E R NAL CALI e RA T1 0 N PARAH E T E R S

  f一擗】:厍再丽面面i一~蝻】=厍百面而磊ii— cx(M}阿而丽丽西一目哺}阿而磊蟊犷一

  klm『———一k2[1}『———一 k3m『———一 k4【1}『———一 …1}『———~p2【1I『———一

  在求解旋转矩阵的过程中,旋转矩阵一般是由三个角度函数构成,属于非线性变换,

  经过线性化步骤后表达式特别复杂,给计算带来很大困难。由于旋转矩阵是正交矩阵, 本文用罗德里格矩阵【31】来表示旋转矩阵,即利用反对称矩阵来构造旋转矩阵。 反对称矩阵Ⅳ可以用式3.15表示:

  其中A=l+口2+62+c2。因此只需要求解出参数a,b,C就可以计算出旋转矩阵。

  K=l(1+a-62__C2)%+去(一2c一2口b)Yw+i1(一2b+2叫磊+‘ 圪=去(2c一2口6)%+(1-a2+62一c2)昂+-2口一2bc)z≥+,2 Zc=去(26+2ac)Xw+2口一2bc)%+l(1-a:-62+C2)乙+f3

  口1I:鱼:f(2Xwa-2Ywb+2Zwc+2tla)Zc-(2Xwc+2Yw-2Zwa+2t3a)Xc. Oa

  q,:Ox:].(-2Xwb-2Ywa-2Zw+2tlb)Zc-(2Xw-2Ywc-2Zwb+2t3b)Xc. “

  口13:_Ox:f(-2Xwc-2Yw+2Zwa+2t,c)Zc,-。(2Xwa-2Ywb+2Zwc+2t3c)Xc. OC 么,一

  仉l:Oy:[(-2Xwb-2Ywa-2Zw+2t2a)Zc-(2Xwc+2Yw-2Zwa+2t3a)Yc. “

  口,,:Oy:f(-2Xwa+2Ywb-2Zwc+2t2b)Zc-(2Xw-2Ywc-2Zwb+2t3b)Yc. “

  式3.2l中,x,Y为反射片形心在图像坐标系下的观测值,(x),(y)为用该反射片形心 在点云坐标系下的观测值和外参数的近似值代入方程式3.18求得的像点坐标近似值。

  式3 23中,P为观测值的权矩阵,反映观测值的量测精度。对所有像点坐标的观测 值,一般认为是等精度量测.则P为单位矩阵,由此得到未知数表达式:

  整个解算的过程采用逐渐趋近的方法,即用近似值与改正数的和作为新近似值,重 复计算,直到改正数小于某一阈值为止。具体计算过程如下: (1)获取已知数据;在前面己获得相机内参数以及焦距值,、反射片形心在像素坐

  标系下的坐标(",v)、反射片形心在点云坐标NT的坐N(而.,昂,z,)。根据内参数求出

  反射片形心在图像坐标系下的坐标(z,y),并确定同名点; (2)在没有提供初始值时,可以选取三组控制点代入共线计算一组初始 外方位元素: (3)计算旋转矩阵R:根据三个旋转方位参数初始值组成旋转矩阵R; (4)利用未知数的近似值按共线计算控制点像点坐标得近似值(J),(力: (5)逐点计算误差方程式3 21的系数和常数项,计算法方程的系数矩阵A7A与常数

  (6)根据法方程.按式3 24求得外参数的改正数,并与相近的近似值求和,得到外 参数新的近似值: (7)检查是否收敛,小于阐值mⅡ终止计算,否则迭代计算,直到收敛1=6J止。 按上述方法求得配准矩阵后,纹理映射结果如圈3 14和图3 15所示

  法,将该问题的解决分解为反射片在图像和点云中的形心提取及刚体变换矩阵的求取。 前者通过边缘检测和Hough变换提取纹理图像中的反射片并计算其形心坐标,用网格划 分法分割点云中的反射片并计算其形心坐标;后者采用罗德里格矩阵构造旋转矩阵,并 用牛顿解迭代解方程法计算刚体变换矩阵。 虽然场景中的反射片需要花费额外的工作来获取数据,但与基于特征的配准算法方 法相比,既能减少运算量、提高配准效率,又能保证配准结果的稳定。尤其是在场景无 明显特征的情况下,这种方法是最好的选择。因此,在考虑是否选用该配准方法时,需 衡量其增加的数据获取工作量和所提高的效率。本章算法主要适用于室内环境下,在室 外可能会由于光线过强而造成反射片不容易识别。

  基于特征的配准算法是纹理图像与点云配准方法中的一个重要分支,这类方法的共

  同之处是首先要对待配准纹理图像和点云进行特征提取,再利用获得的特征完成两种数 据特征之间的匹配,通过特征的匹配关系建立纹理图像与点云之间的配准映射变换。本

  章针对室外建筑物等包含大量直线特征以及平面特征的场景,结合直线和平面的特征设

  (1)配准基元:由于室外建筑物一般都含有大量的直线和平面,因此本章算法以直

  线和平面作为配准基元。通过3.2节介绍的Canny边缘检测和Hough变换直线检测来提

  取纹理图像中的直线,根据场景边缘处曲率大的特点来提取点云中的特征点,并根据最 小二乘法求得点云的直线)变换函数:本章算法是以数码相机的成像过程作为理论基础,两个坐标系之间

  的变换满足数码相机的成像模型式2.13。相机内参数求法同3.4.1节,本章只需求相机

  (3)相似性测度:对于法向量这种方向向量而言,平移对其没有作用。因此本章算 法以对应平面法向量之间的旋转关系作为相似性测度来表达配准基元之间的关系,以量 化配准效果。场景上平面在相机坐标系下的法向量可以根据灭点的几何属性从二维图像

  中求出,场景上平面在点云坐标系下的法向量可以通过同一平面内不平行的两条直线的

  方向向量求出,本章采用同一平面内互相垂直的两条直线的方向向量来求其法向量; “)匹配策略:由于每一个刚体变换可以分成两步,先作一个旋转,然后进行平移,

  因此本章分别求解旋转矩阵和平移向量。在求出了对应平面的单位法向量后,根据它们 之间的旋转关系来求解旋转矩阵,本章算法采用3对以上对应平面的法向量,用最小二 乘法来优化参数,由于旋转矩阵是非线性的,本章采用四元数构造旋转矩阵。平移向量

  则可以看成是两个坐标系原点之间的向量。 因此,基于特征的配准算法可归结为三个关键问题:图像与点云中直线特征提取、 场景平面在相机坐标系和点云坐标系下的法向量求解以及刚体变换矩阵的求解,下文分

  从图像确定空间物体的几何信息是计算机视觉领域的关键问题,研究人员己提出多 种技术方法,主要分为基于单幅图像和基于多幅图像两大类方法。本章采用前种方法, 根据灭点的几何属性从单张图像中计算平面在相机坐标系下的法向量。

  由射髟几何知识可知,一纽平行直线在无限远处将相交于一点。若令该无限远点在 图像平面上的成像为印,如图4 1所示,当这些直线与图像平面平行时,坳在图像平 面无限远处;当这些直线与图像平面不平行时.则砌在图像平面有限远处,可能在图 像内部也可能在图像之外,这类点即为灭点。图像平面上的灭点场对应一组平行直线, 亦即图像平面上过点砌的一组直线某大楼照片灭点示意图啦4豇蘑彬固

  灭点不同于图像平面上的其它特征点,它蕴含了直线的方向信息,对场景中的灭点 进行分析不仅可以提供大量场景三维结构以及方向信息,而且可以简化对场景的描述和 理解。因此,对灭点进行分析在机器人自主导航、场景三维重建以及相机定标等方面都 有广泛的应用.是计算机视觉领域内一个重要的研究课题【州。 设口空间中过某一点(砘,%,毛)的直线基于特征的配准算法

  其中刀=(%,此,乙)是直线三的单位方向向量,,为参数。 则直线三的灭点在图像平面上的的坐标为(xoo,yoo,ZoO),其中:

  灭点的属性主要有以下几点: (1)相机光心与灭点的连线与形成该灭点的空间平行线所示,D为相机光心,设空间直线,‘n厶=Aoo,‘、乞在图像平面,

  上的投影交于点y,由灭点的定义可知,OAoo必与投影平面交于点y,因此OVll4/偈。

  (2)设Q、R和s为空间中两两正交的三条直线,%、K、%分别为这三条直线

  在图像平面上形成的灭点。如果已知其中一个灭点的坐标(如Vo)以及经过另一灭点(如

  (3)设M为一直线集,且这些直线不平行于图像平面,那么肘中直线在图像平面 上形成的灭点位于同一条直线上,当且仅当M中的直线)设Q、R和s为空间中两两正交的三条直线,%、%、略分别为这三条直线

  在图像平面上形成的灭点,则这三个灭点所形成的三角形的重心为相机光轴与图像平面

  (5)灭点的坐标变换与平移无关口”。 4.2.2灭点检测 利用灭点确定空间物体的几何信息已有大量研究o¨”,一般的流程是先对灭点进 行检测.然后根据灭点确定空间物体的几何信息。常用的灭点检测算法有以下3种: (1)利用高斯球变换和Hough变换结合的方法。这种方法是将所有空间直线投影到 以相机光心为中心的单位球面上,每条直线表现为一个圆,圆的交叉点即为灭点.然后 用Hough变换进一步检测灭点。这种方法的搜索空间小,但是丢失了灭点与线段的空间 位置以及灭点与线段的距离等信息,并且检测灭点的精度较低,易受累积单元精度的影

  (2)用统计检验的算法t首先根据图像上边缘特征点检测直线参数,然后根据这些 参数用聚类的方法分别检测出图像上的灭点,或者直接利用边缘特征点和灭点构造代价 函数,同时检测出直线】。这类统计算法在理论上有一定优势,但在实际应用中, 这类算法的计算量较太且效率较低。 (3)直接利用直线的信息,在图像平面上检测出灭点,该方法需要对所有可能的直 线交叉点进行计算,因此该方法的效率比较低,但精度较高。 比较了上述三类灭点检测方法的优缺点之后,本文采用方法(3)对灭点进行了计算: 首先通过Ctmny边缘检测和Hou曲变换直线检测来提取纹理图像中的直线提取直线的局部显示图,这样就得到了一系列灭点.然后通过交 互的手段对这些灭点进行排除和鉴定,方可得到需要的灭点。检测到的灭点为下文进一 步计算平面在相机坐标系下的法向量奠定了基础。

  本章根据灭点的几何属性来求解平面在相机坐标系下的法向量【431,原理如下:

  像平面上的投影线q乞和惕%将相交于一个灭点,即图中的点vpl。设向量M:{f,J,k}代

  表直线的方向向量,由于印。既在平面明E2上也在平面ONlⅣ2上,它与两平面的

  点,即图中的点惕。设向量Ⅳ:{朋,,l,,)代表直线巨Ⅳl的方向向量,则甲:的坐标(x’,y’,z.)

  由于墨、易、Ⅳl、Ⅳ2都在一个平面上,若记该平面的法向量为F,可得:F=M 将向量M、N的值代入可得该平面的法向量如式4.9所示:

  图像平面上灭点在像素坐标系下的坐标已通过前面的方法求得,假设为(ui,vi),相

  机内参数求法同3.4.1节,则根据式2.10可求得其在图像坐标系下的坐标,设为(Xi,yi)。 根据式2.6,令Zc--f,则可求出其在相机坐标系下的坐标(Xc,Yc,Zc)。将两个相应灭点的

  本章利用曲率特征来提取点云中的特征点,首先对点云中每一点处的法矢和曲率进 行估计,通过设定阈值得到候选特征点,再利用曲率极值法得到最终特征点。每一点处 的法矢和曲率可通过与该点的邻近点比较求得。然而实际工程中的点云数量动辄数以十 万计,甚至上百万,而且点的存储状态为无序,所以理论上必须遍历整个点云,显然这 是非常耗时的,因此需要一种快速邻近点搜索方法。

  点云的K邻近点是指在点集中搜索某个点的K个最邻近点,如图4.5所示即表示某 个点的8邻近点分布情况。

  假设某点的第K个邻近点到它的距离为D,则前K个邻近点和中心点的距离都不能超

  过D,即每一个邻近点的坐标都处在中心点相应坐标的邻域内。目前已有多种Kqll近点

  搜索算法m‘471,本章采用3.3.1节中介绍的对点云网格划分法求取点云的K邻近点。当点 分别按照X、Y、Z坐标大小进行三维排序后,用一个适当的距离阈值分别去取序列中位

  于中心点坐标正反方向的点,得到一个点的子集,这个子集必然包括了中心点的K邻近,

  并且只要分别在X、Y、Z的坐标序列中取该中心点附近的~定数量的点即可保证该点的 K邻近点都被取到了。然后把这些点到该中心点的距离按从小到大进行排序,取前K个 点即可。 本章实验数据是从Riscan Pro中导出的ASCII文件,导出的文件只需包含点云的坐 标。K邻近具体求解过程如下: (1)读取所有点云数据存入到数组Pointlist中,初始化Pointlist,将Pointlist按x,y,z 大小排序。 (2)置i=0。

  (3)取Pointlist数组中的一个点的索引作为中心点,给定一个距离阈值D,从i点开

  始分别沿正反方向每隔NUM个点计算一次X方向到i点的距离,小于D的点存入一个 临时数组Nblist中,如果某个搜索方向点的个数不足NUM个,则只在这些点中搜索小 于D的点存入临时数组Nblist中。 (4)在步骤(3)中得到的数组Nblist中,同样以距离阈值D,间隔NUM搜索中心点 Y方向的点,保留满足条件的点,其余点删除。

  (6)计算步骤(5)中得到的数组Nblist中点到第i点的距离, 并从小到大进行排序, 取前K个点即为该点K邻近。 (7)i++。 (8)判断i是否小于Pointlist数组总点数,如果是,则转步骤(3),否则结束。 K邻近搜索算法流程如图4.6所示。

  在本文中,根据扫描得到的点云特点,K一般取为8。阈值D的设置与扫描时的参 数有关,可以根据预先设置的扫描距离和角分辨率估计。一般D取点云中相邻两点点距

  的3.4倍即可。参数NUM对于算法时间有一定影响,经过试验可取20.30。点云中点的

  邻近点数有可能小于K,比如点云的边界点。 4.3.2法矢和曲率的求解 法矢和曲率是曲面的基本特性【48‘49】。本文点云为离散的曲面,为提取点云边缘特征 点,首先需要估算出点云中每一顶点的法矢。如图4.7所示,设某一点P的m个邻近点

  匕(1≤,≤所)与只组成的三角片为乃(1≤歹≤聊),Ⅳf为顶点C处的法矢,唧为三角片乃向

  其中圪+,=K。 式4.12中,没有考虑邻近点的分布情况对P点法矢的影响,当£邻近点一侧密集,

  而另一侧稀疏时,法矢方向将发生偏离,因此这种求解方法对三角片非均匀划分的情形 计算误差较大。

  设碣√为只与匕的距离,嘭√+。为匕与巧+。的距离,本章采用柯映林‘501从力学角度给

  设有一个与吩同向的单位力作用在三角形的内心,有以■前的权因子为大小且反向

  平行的三个分力分别作用在三个项点处,则该三角形处于力平衡状态。■的这种分解方

  式使顶点的法矢过渡比较均匀,能够降低邻近点密集的狭长三角片对法矢的影响。这样,

  Ⅳ。,指定一方向向量(Q-t')表示从点P指向它邻域上的一点g,则在点P处沿该方向 的曲率为:

  利用式4.14,可以计算出点云中任意一点的4个基本曲率。假设点P的聊邻域为 Q(p),则各基本曲率表示如下: (1)最小曲率: kn(p)=七(p,q1)2 最小曲率方向: D1=Q1一尸 (2)最大曲率:

  其中最小曲率和最大曲率称为主曲率,利用上述曲率值即可提取点云边缘特征点。

  4.3.3特征点自动提取 在提取点云特征点时,首先设定一个阈值y,如果某点处的平均曲率大于该阈值, 则将该点作为候选特征点。这样就可以得到一系列候选特征点,实际特征点可以在候选 特征点内进一步提取。将曲率极值点定义为特征点,即只要某一点的2个主曲率中任何 一个沿对应的主方向上为极值,就将该点定义为特征点。本章采用近似计算的方法,选 取一候选特征点P,首先沿最小曲率方向D1,找到该点的左右2个邻接点qll、qlr,

  如果kmin(p)≤k(q11)并kmin(p)≤k(qlr),其中k(qlt)、k(qlr)分别表示点qll、qlr沿

  晟小曲率方向Dl的曲率,则该点可作为实际的特征点;否则,再沿最大曲率方向D2, 找到左右两个邻接点q2l、q2r,如果kmax(p)≥k(q21)并且kmax(p)≥女“2r),那么点 P也可作为实际的特征点。对所有候选特征点进行同样的操作,就可以得到所需要的全 部特征点。具体流程如图4 8所示。

  如图4.9所示为大楼原始点云,特征点提取后的结果如图4 10所示。提取的特征点 为下文进一步求解平面在点云坐标系下的法向量奠定了基础。

  平面在点云坐标系下的法向量可以通过同一平面内不平行的两条直线的方向向量 求出,本章采用同一平面内互相垂直的两条直线方向向量来求其法向量,首先需要求解

  最dxS.乘法的基本做法即为求解一个表示某组给定数据的晟佳函数,设给定的一组 数据(‘,咒),O=0,1,,m),假设该最佳函数为f(x;bo,鱼,r,吮),则可得到偏离程度函数

  此时,bo,岛,…,吒的取值就是需要求解的函数待定参数值,这样一组取值使得该最 佳函数与该组所给定数据点差的平方和最小。 多项式最小二乘曲线拟合的含有待定参数的函数表达式如下: ,(z;‰,岛, ,“)=bo十岛一十屯,+??+以,

  为寻求函数待定参数值使反映偏离程度的函数取值最小,则需要转化为求解关于 %,岛,岛,…,吒加+1<埘)的超定方程组

  由于点云中的点是三维的,因此本章采用空阃直线拟合最小二乘法。己知空间直线 的标准方程I圳

  这样直线可以看作是用这两个方程表示的平面相交的直线,所以可以分别对两个方 程进行数据拟合,通过交互地选取点云中某条直线上的特征点,从而求得该直线方程。 求解出直线的方程后,面的法向量可以用在同一个平面内互相垂直的两条直线方向向量

  叉乘得到。本章通过交互地找出同一平面上两条互相垂直的直线,设两条直线的方向向

  每一个刚体变换可以看成分别作旋转变换和平移变换。对于方向向量而言,平移对

  其没有作用,法向量就是这样的方向向量【571。因此,可以将对变换的求解分成两步,利

  用对应平面特征的法向量求解出R,平移向量t则可以看成是两个坐标系原点之间的向

  本章通过交互的手段从纹理图像和点云中指定f组相对应的平面特征,理论上对于

  通过对式4.29的最小化来求解旋转矩阵尺,这是一个非线性最优化的问题,本章采

  四元数是四维空间中的元素【55—61,在它们之间定义了一个不可交换的乘运算。一个

  四元数g其实是一个四维向量(厶,丑,如,五),,也可以认为是一对(口,7),其中,口是一 个值为凡的实数,类似于复数的实部,厂则是三维向量(^,五,乃)7’,类似于复数的虚部。 两个四元数的乘运算定义为如下(用人来表示两四元数的乘法):

  qAq’=(aa’一,?y',tZy’+口’y+yxy.)(4.30) 因此,四元数的乘法满足结合律,但不满足交换率。

  对于模为1的四元数称为单位四元数。另外,一个实数x对应于四元数(x,0,0,0),

  这样,一个旋转矩阵R可以用一个唯一的单位四元数g来表示。而三维旋转矩阵R 和三维向量1,的乘积可以写成四元数相乘的形式:

  于是就得到了旋转矩阵尺和其相应的单位四元数g之间的关系,如式4.35所示:

  设g为一个单位四元数(1|gII=1),根据四元数法,则有: E=∑㈦-Rn,II

  又g为单位四元数,因此有约束grq=1。利用拉格朗日乘子法,使得E最小的留应 该满足:

  可见,旯为彳的一个特征值,口是名对应的特征向量,再将上式代回到式4.39中,

  因此,E能取到的最小值实际上就是彳的最小特征值,并且g应该取这个最小特征 值对应的特征向量。计算出q,则与之对应的旋转矩阵R可以根据式4.35很方便地求出。

  在求解足的过程中,要求对应平面的法向量的朝向一致,即该法向量在相机坐标系 下和点云坐标系下都应该朝向一致,否则,将计算出的错误旋转矩阵。因此在计算前通 过交互地调整法向量的正负,从而得到一致的朝向。另外,应尽量避免选取平行的平面 做为特征,因为如果选取的平面存在平行关系,则这一组平行平面的法向量只是相当于

  两坐标系之间的平移可以看作是坐标原点之间的平移。如图4.11所示,设D为相机 光心,其在图像平面上的投影为0’,AB为场景中某条已知长度的直线,彳’艿’为AB在 图像平面上的投影,y点为直线AB在图像平面上形成的灭点,根据灭点的属性(1)可知 AB//OV。设场景中三条两两正交的直线在图像平面上形成的灭点分别为u、y、形, 这三个灭点在世界坐标系下分别为三个方向上无穷远处的点,令三个灭点所对应的方向

  为世界坐标系的三个轴方向,则OV方向必为某坐标轴方向,而AB//OV,因此可以假

  设4点作为世界坐标系的原点。 过么’作AB的平行线彳’曰”,交OB于曰”,已知AB//OV,则4’B”//OV,AA’B’B” 与AVB’0相似,于是有:

  由式4.46即可求出向量OA的长度,而向量OA的方向与向量OA’的方向相同,因此

  可以计算出向量OA,记为葫,即为相机坐标系与世界坐标系之间的平移向量。 本文中,点云坐标系即为世界坐标系,实际点云坐标系原点瓯并不在彳点,而是 与彳点存在平移关系,即为向量瓯么。

  本章针对室外建筑物等包含大量直线特征以及平面特征的场景,研究了基于直线和 平面特征的纹理图像与点云配准算法,将该问题的解决分解为三个关键步骤:图像与点 云中直线特征提取、平面在相机坐标系和点云坐标系下的法向量求解以及刚体变换矩阵 的求解。首先通过边缘检测和Hough变换提取纹理图像中直线特征,利用曲率提取点云 中的特征点并用最小二乘法求得直线特征;然后根据灭点的几何属性计算平面在相机坐 标系下的法向量,利用同一平面内相互垂直的两条直线计算平面在点云坐标系下的法向 量;最后采用四元数法构造旋转矩阵,根据对应平面法向量的旋转关系,用虽小二乘法 求解旋转矩阵,平移向量则看成是两坐标系原点的平移向量。

  本章为配准系统的集成,在VC++6.0平台下结合OpenGL,完成了数据读取、特征 提取、配准矩阵计算及纹理映射等功能,并结合实验数据对算法的有效性进行了验证。

  OpenGL实现三维模型显示 本实验是在Microsoft Windows XP Professional操作系统上开发的,选用Microsoft

  VC++6.0作为开发工具,OpenGL作为开发包。 OpenGL(艮P开放的图形库,Open

  窗操作系统和其他操作系统的开放式三维图形库,是行业领域中最为广泛接纳的2D/3D

  图形API,它定义了一个跨编程语言、跨平台的编程接口的规格,可用于三维图像(二维

  (1)模型数据处理中涉及大量点的运算,OpenGL中提供了较为方便的绘制点的命 令: glColor3f(TYPE

  //标志开始画点 z);//x,Y,z代表某个三维点的坐标 //结束点的绘制

  glBegin(GL._POINTS); glVertex3f(TYPE glEnd0;

  (2)平移:在利用扫描数据建立起几何模型后,必须完整的把模型显示在屏幕的最 佳位置。通过平移变换可以将目标显示在屏幕的最佳位置。可以利用OpenGL提供的函 数glTranslatef(TYPE X,TYPE y,TⅥ'E z)来实现,表示将原点移动到参数(x,y,z)的位置。 (3)旋转:为了能够全方位地观察所建立的三维模型,从各个角度获取模型的信息,

  glRotatef(TYPE angle,TⅥ,E x,TYPE 逆时针旋转angle度。 (4)缩放:对于大场景模型,常常要知道模型的全貌;对于小场景模型,常常要观

  察模型的细。

http://niatsholat.com/xiangsixingcedu/74.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有