硕士论文-大数据量传输系统——设计与实现

CORC > 高能物理研究所 > 中国科学院高能物理研究所 > 计算中心 > 学位论文和出站报告

题名	硕士论文-大数据量传输系统——设计与实现
作者	徐振鹏
学位类别	硕士
答辩日期	2010
授予单位	中国科学院研究生院
授予地点	北京
导师	孙功星
关键词	大亚湾反应堆中微子实验大数据量传输流水线框架多线程
学位专业	计算机应用技术
中文摘要	大亚湾反应堆中微子实验是中美两国目前在基础科学研究领域最大的合作项目之一,其主要目标是利用大亚湾和岭澳核反应堆产生的反中微子来测定一个具有重大物理意义的参数——中微子混合角q13。; 在实验的过程中，预计将产生总共233TB的原始数据。这些数据需要传送到拥有强大计算和存储能力的高能所和LBNL（美国劳伦斯国家实验室）等其他实验室，以便高能物理科研人员进行物理数据处理和分析并得出最后结果。如何安全地把这些数据从大亚湾传输到拥有强大数据存储和处理能力的高能所，然后再从高能所传输到其他各个实验室，成了一个急需解决的问题。; 大数据量传输系统就是为了解决此类问题而提出的一个解决方案。大数据量传输系统采用流水线框架设计。流水线框架，顾名思义，把系统操作处理分解成串行的多个处理步骤执行，每个处理步骤都运行在单独的线程池，然后以工厂流水作业处理的方式处理这些步骤。对同一个操作来说，这些步骤是串行的，对不同的操作来说，这些步骤是并发执行的。之所以这样设计，一方面，各步骤并发执行，一个操作不必等到上一个操作完全结束之后才开始，这样可以提高系统的效率；另一方面，框架可以按配置来组装流水线流程，这样使得系统易于扩展。这两点正是大亚湾实验数据传输最需要的，也是其他传输方式所不具备的。; 本论文详述了大数据量传输系统设计和实现，包括流水线框架设计与实现、流水线步骤设计及其使用到的关键技术等。论文的最后分析和总结了最近一次的系统测试结果。
语种	中文
学科主题	计算机应用技术
公开日期	2016-02-25
内容类型	学位论文
源URL	[http://ir.ihep.ac.cn/handle/311005/209996]
专题	计算中心_学位论文和出站报告
作者单位	中国科学院高能物理研究所
推荐引用方式 GB/T 7714	徐振鹏. 硕士论文-大数据量传输系统——设计与实现[D]. 北京. 中国科学院研究生院. 2010.