高效工作之ETL数据抽取-白红宇

高效工作之ETL数据抽取

阅读量：6293 次

发布时间：2019-06-22

本文共 1358 字，大约阅读时间需要 4 分钟。

ETL定义

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

ETL使用

在笔者的工作环境中，存在N多个测试环境，因为整套环境有50多套，每次版本都统一发布。然后笔者每次测试都需要建立对应的测试数据，业务复杂啊。所以笔者随机找了一个可以5分钟使用ETL工具。

scriptella使用介绍

实现目标

例子项目地址

引入maven依赖


            
     
      1.1
         
        
            
                 
      
       com.javaforge.scriptella
                  
      
       scriptella-core
                  
      
       ${scriptella.version}
              
             
                 
      
       com.javaforge.scriptella
                  
      
       scriptella-drivers
                  
      
       ${scriptella.version}
              
             
                 
      
       com.javaforge.scriptella
                  
      
       scriptella-tools
                  
      
       ${scriptella.version}
              
             
             
                  
      
       com.oracle
                  
      
       ojdbc6
                  
      
       11.2.0.1.0

编写etl.xml脚本（官网例子缺少driver属性）


          
           
             
                 
                  SELECT * FROM Product WHERE category='software';

编写java类

EtlExecutor.newExecutor(new File("etl.xml")).execute(); //Execute etl.xml file

转载于:https://my.oschina.net/huotui/blog/1549930

你可能感兴趣的文章