题名 | 凯莱-克莱因度量学习 |
作者 | 毕琰虹1,2 |
答辩日期 | 2018-05-29 |
授予单位 | 中国科学院大学 |
授予地点 | 北京 |
导师 | 吴福朝 |
关键词 | 机器学习 度量学习 非欧几何度量 凯莱-克莱因度量 |
英文摘要 |
对于计算机视觉和模式识别的许多应用问题,如图像识别、检索和聚类等,距离度量学习都扮演着至关重要的角色。目前,度量学习算法可分为线性和非线性两类:线性算法的基本原理是在所有可能的马氏度量中寻找合适的度量使目标损失函数最小;非线性算法则通过核技巧、流形学习、深度学习等方法获得更为一般化的距离度量。本文基于凯莱-克莱因度量,提出一种非线性度量学习算法,以提升传统度量学习对复杂分布数据的学习性能。主要工作包括以下几方面:
1. 根据样本数据的统计特征(均值、协方差矩阵)和凯莱-克莱因度量的定义,构造了一种广义马氏度量,并指出了广义马氏度量与马氏度量之间的关系。在机器学习数据库中的性能测试表明:广义马氏度量比欧氏度量、传统的马氏度量有更好的分类性能。
2. 提出一种基于MMC(Mahalanobis Metric Learning for Clustering,聚类马氏度量学习)准则的凯莱-克莱因度量学习算法(CK-MMC)。应用MMC的学习准则得到一个凯莱-克莱因度量,在最小化相似样本之间的凯莱-克莱因度量距离的同时最大化不相似样本之间的凯莱-克莱因度量距离。在CK-MMC问题中,使用梯度上升算法进行求解,实验结果表明CK-MMC有效地提升了传统MMC度量学习算法的分类性能。
3. 提出一种基于LMNN(Large Margin Nearest Neighbors,最大间隔近邻)准则的凯莱-克莱因度量学习算法(CK-LMNN)。CK-LMNN使用相对距离约束学习得到一个凯莱-克莱因度量,使得每个样本与它的k-近邻同类,同时与不同类的样本点保持较大的距离。CK-LMNN问题使用梯度下降算法求解,实验结果表明CK-LMNN有效地提升了传统LMNN的分类性能。
4. 提出一种多凯莱-克莱因度量学习算法(MCKML)。由同类样本集构造一个局部凯莱-克莱因度量,再将所有局部度量进行线性组合得到样本空间上的度量,称为多凯莱-克莱因度量。由于凯莱-克莱因度量内在的非线性,多凯莱-克莱因度量可以更好地模拟数据空间的非线性结构。在MCKML中,使用局部度量和组合系数交替优化的方式求解,实验结果表明使用多凯莱-克莱因度量有效提升了单个凯莱-克莱因度量学习算法的分类性能。
5. 提出一种自适应约束凯莱-克莱因度量学习算法(CKseML)。在原始凯莱-克莱因度量学习算法的目标函数中,使用固定边界生成约束条件,对空间分布较为复杂的样本适应性不好。CKseML引入自适应收缩扩张约束,根据当前样本空间的分布状态,适时地收缩/扩张成对约束,以松弛边界约束条件,从而能适应分布更为复杂的样本空间。CKseML使用交替迭代方法优化凯莱-克莱因度量矩阵,实验结果表明CKseML比固定边界约束的凯莱-克莱因度量学习算法有更好的分类性能。
本文首次将凯莱-克莱因度量引入距离度量学习领域,突破了现有马氏度量学习的框架,是一种特殊黎曼度量学习的实现,在计算机视觉和模式识别领域具有广泛的应用。 |
语种 | 中文 |
内容类型 | 学位论文 |
源URL | [http://ir.ia.ac.cn/handle/173211/21070] |
专题 | 毕业生_博士学位论文 |
作者单位 | 1.中国科学院大学 2.中国科学院自动化研究所 |
推荐引用方式 GB/T 7714 | 毕琰虹. 凯莱-克莱因度量学习[D]. 北京. 中国科学院大学. 2018. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论