基于语种相似性挖掘的神经机器翻译语料库扩充方法
李灿1,2,3; 杨雅婷1,2,3; 马玉鹏1,2,3; 董瑞1,2,3
刊名计算机应用
2021
卷号41期号:11页码:3145-3150
关键词相似语种 语料扩充 机器翻译 字节对编码 音节切分 基于音节切分的字节对编码 “开始-中部-结束”序列标注方法
ISSN号1001-9081
英文摘要

针对低资源语言机器翻译任务上一直存在的标注数据资源匮乏问题,提出了基于语种相似性挖掘的神经机器翻译语料库扩充方法。首先,将维吾尔语和哈萨克语作为相似语言对并将其语料进行混合;然后,对混合后的语料分别进行字节对编码(BPE)处理、音节切分处理以及基于音节切分的BPE处理,从而深度挖掘哈语和维语的相似性;最后,引入"开始-中部-结束(BME)"序列标注方法对语料中已切分完成的音节进行标注,以消除音节输入所带来的一些歧义。在CWMT2015维汉平行语料和哈汉平行语料上的实验结果表明,所提方法相较于不进行特殊语料处理以及BPE语料处理训练所得普通模型在维吾尔语-汉语翻译上的双语评估替补(BLEU)值分别提升了9.66、4.55,在哈萨克语-汉语翻译上的BLEU值分别提升了9.44、4.36。所提方案实现了维语和哈语到汉语的跨语言神经机器翻译,提升了维吾尔语-汉语和哈萨克语-汉语机器翻译的翻译质量,可应用于维语和哈语的语料处理。

CSCD记录号CSCD:7110526
内容类型期刊论文
源URL[http://ir.xjipc.cas.cn/handle/365002/8134]  
专题新疆理化技术研究所_多语种信息技术研究室
通讯作者马玉鹏1,2,3
作者单位1.新疆民族语音语言信息处理实验室(中国科学院新疆理化技术研究所)
2.中国科学院大学
3.中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
李灿1,2,3,杨雅婷1,2,3,马玉鹏1,2,3,等. 基于语种相似性挖掘的神经机器翻译语料库扩充方法[J]. 计算机应用,2021,41(11):3145-3150.
APA 李灿1,2,3,杨雅婷1,2,3,马玉鹏1,2,3,&董瑞1,2,3.(2021).基于语种相似性挖掘的神经机器翻译语料库扩充方法.计算机应用,41(11),3145-3150.
MLA 李灿1,2,3,et al."基于语种相似性挖掘的神经机器翻译语料库扩充方法".计算机应用 41.11(2021):3145-3150.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace