Kettle 在分布式数据仓库领域的研究与实践

ISSN：3080-4272(P)3105-0972(O)
DOI：https://doi.org/10.64090/3105-0972.20250301
出版频率：月刊
语言：中文
收录数据库：Crossref

万峰华余臻王成武萌周铖辉

中国电子科技集团公司第二十八研究所南京 210000

摘要：针对业务系统多样化数据抽取加载需求，提出一种基于 Kettle 的分布式数据仓库构建实现方案。以 TPC-DS 工具构建模拟数据为基础，通过比较手动数据抽取、直接数据抽取和间接数据抽取三种方式的差异，选择间接数据抽取方法，配合操作系统定时任务，打破不同信息系统之间的“信息孤岛”，解决各业务系统间的互联互通和数据共享问题，完成源系统中的数据定期加载至数据仓库，实现分布式数据仓库的自动构建，为企业的分析和决策提供服务支撑。

关键词：Kettle；ETL；分布式数据仓库

参考文献：

[1] 王雪松 , 张良均 . ETL 数据整合与处理(Kettle)[M]. 北京 : 人民邮电出版社 , 2021,1-2.

[2] 崔记东 . 基于 Kettle 和 Quartz 的数据集成平台的研究与实现 [D]. 郑州大学 , 2019,12-13.

[3] 陈荣鑫 , 付永钢 , 陈维斌 . 基于 Pentaho 的商业智能系统 [J]. 计算机工程与设计 (9):263-265.

[4] 钟华 , 冯文澜 , 谭红星 , 等 . 面向数据集成的 ETL 系统设计与实现［J］．计算机科学 ,

2004,31(9): 87-89.

[5] 吴远红 . ETL 执行过程的优化研究 [J]. 计算机科学 , 2007,34(1):81-83.

[6] 崔有文 , 周金海 . 基于 Pentaho 的中药饮片企业商业智能研究 [J]. 电子设计工程 ,2014,22(7):12-15.

[7] 何磊 . 基于 TPC-DS 的测试系统研发 [D]. 上海 . 复旦大学 ,2013

[8] 牛一捷 , 邓武 . 决策支持评测系统的设计与实现 [J]. 计算机时代 ,2007(3):32-33

[9] 刘宝星 . 基于 TPC-DS 的性能测试工具设计与实现 [D]. 大连理工大学 ,2018.