使用kettle把XML文档转换成数据表结构
在kettle中Get data from xml步骤和 XML Input Stream (StAX)步骤读取并解析xml文件。Get data from xml步骤使用dom方式解析,比较消耗内存,当文件很大时,就不可取。XML Input Stream (StAX)步骤使用完全不同的方式解析大而复杂的文件,且能快速载入数据,所以建议使用该步骤。
下面通过示例来展示如何使用该步骤,源xml文件内容如下:
<?xml version="1.0"?>
<timeseries>
<measurementyear="2000">
<!-- value ofitem named A in 2000 is 8.5 -->
<itemname="A">8.5</item>
<itemname="B">9.8</item>
</measurement>
<measurementyear="2001">
<itemname="A">12.2</item>
<itemname="B">9.4</item>
</measurement>
<measurementyear="2002">
<itemname="A">11.1</item>
<itemname="B">7.2</item>
</measurement>
</timeseries>
解析成数据表的格式数据如下:
使用下面步骤去实现该功能
-
xmlinput stream(stax):流方式载入xml文档
-
过滤行:去除掉不相关的文档元素
-
switch/case步骤:分离第一级(measurement)和第二级(item)
-
Rowdenormaliser:把第二级的多行转成一行(行专列)
-
MergeJoin:合并子元素到第一级行(增加列)
示例可以从这里下载
Rowdenormaliser步骤
最容易理解执行情况的方式,通过预览没步骤的执行结果(5.x版本可以直接查看数据流),下图显示该步骤的执行原理。
MergeJoin步骤
把两个来自不同数据源的流进行合并,其实和SQL中join原理是一样的,只不过在kettle中是针对流数据,不是表数据。非常重要的是:流数据要根据键(join中使用的)排序,本列中第一步载入xml文件时,已经排序,所以不再选哟“sort rows”步骤。
本文参考链接:https://blog.csdn.net/neweastsun/article/details/39006487