CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名脚本事件学习关键技术研究
作者周波
答辩日期2023-05
文献子类博士
关键词脚本 事件 脚本事件排序 脚本事件预测 脚本事件生成
英文摘要

脚本指的是特定上下文场景中的事件序列,其在日常生活和专门领域中广泛存在。脚本事件学习旨在对脚本中事件之间的关系进行分析和推理,其包含三个关键的子任务,分别是脚本事件排序(将乱序事件序列恢复成正确的顺序)、脚本事件预测(给定事件序列预测下一个事件)和脚本事件生成(给定目标生成符合目标的事件序列)。
这三个子任务彼此紧密联系:前两个子任务可以利用已有的事件构建脚本知识,而第三个子任务可以利用这些脚本知识生成包含新事件的新脚本。
脚本事件学习无论对于自然语言处理本身还是实际应用场景都具有重要的意义。近年来,以深度学习为代表的方法在脚本事件学习相关任务中取得了较大的进步,但现有方法仍然存在以下问题:(1)对于脚本事件排序,事件序列的整体排序效果难以衡量;(2)对于脚本事件预测,给定脚本序列中的事件信息稀疏;(3)对于脚本事件生成,生成事件时外部事件知识常被忽略。针对以上问题,本文的主要研究内容和创新点如下:

(1)\textbf{基于事件最优传输的脚本事件排序}。对于脚本事件排序任务,现有方法在处理脚本事件排序任务时,只简单地将输入输出序列当作词序列,没有考虑序列中事件的语义;同时,这种方法只考虑了输入序列中每个词的排序效果,而忽略了事件序列整体的排序效果。为了缓解这两个问题,本文提出了一种基于事件最优传输的方法来生成按时间排序的事件序列。该方法首先将输入输出序列中的事件视为建模单元,并显式地抽取事件的语义;其次,事件最优传输可以对输入输出序列中的事件进行直接匹配,从而约束事件序列整体的排序效果。
实验结果表明,本文所提方法在脚本事件排序的公开数据集上的性能优于之前的模型。

(2)\textbf{基于跨语言和自监督的脚本事件预测}。对于脚本事件预测任务,制约现有模型性能的主要原因是给定的脚本序列中事件的信息稀疏,这导致如下问题,一是事件歧义:即同一个词可以表达不同的事件,由于信息稀疏,仅依靠脚本自身不能很好地进行消歧;二是证据偏差:由于信息稀疏,给定的事件序列上下文不能给出足够的支持或者不支持某个候选事件的信息,导致错误和正确的候选事件都可以获得来自事件序列上下文的相关线索;三是数据瓶颈问题:由于单条事件序列的信息较少,现有方法依赖从大量脚本数据集中学习到有用的信息。针对事件歧义和证据偏差问题,本文提出了一种融合多个事件图信息的跨语言脚本事件预测方法。首先,为了缓解事件歧义问题,本文将单语事件链投影到平行的跨语言事件链;其次,为了缓解证据偏差问题,本文构建了三个事件图:英文事件图、中文事件图和跨语言事件对齐图。通过使用图的方式对事件进行建模,模型可以同时比较候选的事件,从而选择最合适的事件作为后续事件。针对数据瓶颈问题,本文还提出了一种结合多个自监督任务的方法。具体而言,本文提出了两个自监督的预训练任务:尾识别和对比打分,并将这两个任务结合在多任务学习框架中训练模型。通过在外部类似脚本事件预测的数据集上预训练模型,期望为模型注入一些隐式的信息。最后,使用人工标注的脚本事件预测数据对预训练模型进行微调。
本文在纽约时报语料库上进行了脚本事件预测任务的实验,结果表明本文的方法优于以前的模型。

(3)\textbf{基于增强检索生成的脚本事件生成}。对于脚本事件生成任务,现有的方法预测新事件时将已有脚本中的事件进行组合归纳,从而得到预测的事件序列。这种做法预测的事件种类有限,同时这种做法也忽略了外部的事件知识。针对这两个问题,本文将事件序列预测重新形式化为事件序列生成任务,并提出了一个三阶段生成模型。具体地,将事件序列预测重新形式化为事件序列生成任务,可以缓解现有方法预测的事件类型有限的问题。针对现有方法忽略外部事件知识的问题,本文提出的三阶段生成模型引入了增强、检索和生成模块。在这个三阶段模型中,外部事件知识被更好地融入,以提高生成事件的准确性。
在事件序列预测数据集上的实验结果表明,本文的模型优于现有方法,证明了所提出的模型的有效性。

语种中文
页码120
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52289]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
周波. 脚本事件学习关键技术研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace