题名 | 三维点云语义分割方法研究 |
作者 | 邓爽 |
答辩日期 | 2022-08 |
文献子类 | 博士 |
授予单位 | 中国科学院自动化研究所 |
授予地点 | 北京市海淀区中关村东路95号 |
导师 | 董秋雷 |
关键词 | 三维点云 语义分割 旋转不变性 全局注意力 半监督分割 |
学位专业 | 模式识别与智能系统 |
英文摘要 | 三维点云语义分割是计算机视觉领域中一个重要的研究主题,旨在对三维点云中的每个点赋予一个语义类别标签。近年来,随着三维数据制备技术的不断发展,三维点云语义分割在自动驾驶、机器人、遥感和医疗等诸多领域展现出巨大的应用潜力。本文针对三维点云语义分割中存在的一些问题进行了探索,主要工作如下: 1、针对点云分割研究中分割准确率易受物体姿态影响的问题,提出了一种点云自适应旋转变换网络,旨在将输入的具有不同姿态物体的三维点云变换为具有同一标准姿态物体的三维点云,从而实现三维点云的空间不变表达。该网络首先利用Z-Y-Z欧拉角表示三维旋转,并将Z-Y-Z欧拉角离散化以实现三维旋转的分类识别。然后,该网络采用一种新型的双分支结构,一个分支用于提取全局特征,另一个用于提取局部特征,通过融合全局特征与局部特征来学习输入点云与标准姿态物体点云之间的三维空间变换,从而将任意姿态物体的三维点云变换到标准姿态下。实验结果表明,当将该点云自适应旋转变换网络与若干主流的点云分割方法联合使用时,将显著提升这些方法的分割性能。 2、针对点云分割研究中提取全局特征计算量大的问题,提出了一种全局注意力点云语义分割网络。该网络由一个与点无关的全局注意力模块和一个与点相关的全局注意力模块组成,以高效地获取三维点云的全局上下文信息。具体而言,与点无关的全局注意力模块只对所有三维点共享一个全局注意力图。与点相关的全局注意力模块包含点云重排序、两个随机交叉注意力计算和点自适应特征聚合三个主要环节。随机交叉注意力计算只利用两个点云子集便可以让每个三维点学习到全局注意力特征。实验结果表明,在不引入太大计算量的情况下,该全局注意力点云语义分割网络优于文献中若干主流点云语义分割方法。 3、针对点云分割研究中数据标注困难的问题,提出了一种基于超点的点云半监督语义分割网络。首先,该网络引入了一个超点生成模块将基于几何和基于颜色的区域生长算法进行结合来生成点云的超点。然后,引入了一个伪标签优化模块来修改和剔除超点内置信度不高的伪标签。进一步地,引入了一个边缘预测模块来约束边缘点的特征,以及一个超点特征聚合模块和超点特征一致性损失函数来平滑超点特征。实验结果表明,当训练数据集中只含有少量有标签点云时,该方法的分割性能优于文献中六种主流方法。 4、为了进一步提升点云半监督语义分割性能,提出了一种基于图像引导的点云半监督语义分割网络。该网络由多个双模型对齐模块、一个一致性损失函数和一个伪标签融合模块组成。双模型对齐模块利用多头注意力机制对三维和二维中间层特征进行融合。一致性损失函数对三维和二维输出特征进行进一步约束。伪标签融合模块对点云和图像数据预测的伪标签相互进行优化,以提高伪标签的置信度。实验结果表明,相比于前述基于超点的点云半监督语义分割网络以及文献中七种主流方法,该方法取得了更好的分割性能。 |
语种 | 中文 |
页码 | 146 |
内容类型 | 学位论文 |
源URL | [http://ir.ia.ac.cn/handle/173211/49694] |
专题 | 毕业生_博士学位论文 |
通讯作者 | 邓爽 |
推荐引用方式 GB/T 7714 | 邓爽. 三维点云语义分割方法研究[D]. 北京市海淀区中关村东路95号. 中国科学院自动化研究所. 2022. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论