ETL系统:一个较为详细的实现方案
上传者:蔡秀珊|上传时间:2016-09-08|密次下载
ETL系统:一个较为详细的实现方案
一个较为详细的ETL系统实现方案
影响, 清洗, 监控, 机构, 汇率
1 ETL流程及调度设计(ETL Schedule)(PSP)
1. ETL调度的目标
快速见效系统要抽取39家分行四个系统的数据进行加工处理,数据从下传文件到ODS库,ODS库到LDM,再计算PI值和汇总PI,整个ETL处理过程需按一定步骤和满足某些条件进行,某些关键的文件如汇率数据、机构表等都会影响整个ETL的处理,因此,快速见效的ETL处理流程将是一个比较复杂的过程。
考虑到将来ETL处理的多样性和复杂性,引入了Job的概念,将ETL处理过程分为一个一个的Job,Job可能是清洗加载转换,也可能是PI加工。为了对复杂的ETL处理过程更好的调度和监控,专门设计一个ETL调度系统。通过ETL调度系统的开发使用,将清晰、高效地通过Job调度的方式处理快速见效的ETL过程。
2. ETL调度功能说明
调度维护
1) 调度系统参数维护,对调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。
2) 下传文件信息维护,维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。
3) 作业步定义与维护,定义作业对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动关系,作业的运行所需要的条件。
4) 调度异常处理,对调度过程中出现的异常情况进行处理,提供错误查找、出错重跑功能。
日志管理
1) 调度过程日志,管理记录调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常的日志。
2) Job执行日志,管理记录Job执行信息的日志,提供该日志的查询、删除和执行状态重置功能。
3) Job详细事件日志,管理记录Job执行中的详细事件(清洗记录条数、数据库具体操作情况)的日志,提供对日志的查询、删除操作。
作业调度
正常情况下的作业调度,对整个ETL过程进行调度,提供分段提交处理和自动提交处理功能。
可调度的Job类型
1) C程序(清洗),ETL调度提供与C程序的接口,从而可以对C程序进行调度。
2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C程序中进行调度。
3) PROC程序(合并、转换),对合并和转换过程,调度提供相应的接口,从而对ORACLE的PROC程序进行调度。
4) 存储过程(转换),将存储过程封装在PROC程序中进行调度。
5) DataStage(PI加工),调度系统提供了与DataStage的接口,可以对DataStage各个种类的Job进行调度。
作业步(ETL_Step)的功能类型及数据处理
0. 文件FTP: 将各个分行的源业务系统(NLNS、SBS、NACS)的以预定的文件格式以FTP方式通过中行网络传输到QUICK WIN项目系统的ETL服务器。
1. 文件注册:0中FTP的源数据文件,经过解压缩后,必须在QUICK WIN项目系统中注册,只有经过文件注册过程后QUICK WIN项目系统才能确认“那些分行的源数据” 已经正确到达,ETL系统就可以相应的处理流程。
2. 数据清洗:从各分行FTP来的源数据文件,可能存在非法数据或冗余数据或者数据规则标准不统一,而且文件格式上也不能被QUICK WIN项目的ETL过程立即使用,因此必须对数据文件进行数据清洗(删除非法、冗余数据、统一数据规则标准、转换成QUICK WIN项目的ETL过程能“加载”处理的文件格式)。
3. 数据加载:将清洗后的数据(文件格式)通过SQL LOADER加载到ORACLE数据库相应的数据库表中。
4. ODS数据合并:将各个分行的相同类型的源业务系统数据合并到ORACLE数据库中同一张数据表中。
5. LDM数据加工:面向业务生产数据(ODS数据库表中的数据)根据“QUICK WIN分析模型”将数据转换、加工成面向分析主题的“分析型数据”。
6. PI加工:根据业务需求、业务规则和分析模型,从LDM数据表中加工出QUICK WIN所需的PI。
7. 报表加工:根据业务需求、业务规则和分析模型,从LDM数据表和PI表中中加工出QUICK WIN所需的报表。
8. ETL调度程序:调度ETL加工各个过程的运行。
9. 监控程序:监控ETL过程的运行状态(加工进度、加工效率、成功、警告、错误等)信息,及时向系统的运行维护人员报告系统运行状态。
作业步(ETL_Step)的流程和依存关系。
1) 清洗类型的Job的运行依赖于相应下传文件的状态,必须是在下传文件检查及登记后才能进行清洗Job的调度。
2) ODS层加载类型Job的运行依赖于相应的清洁文件是否由清洗程序生成,即相应的清洗Job是否正确运行完成。
3) 从ODS到LDM的数据转换依赖ODS层的相关数据是否齐备,即相应的加载Job是否正确运行完成。
4) PI加工的进行依赖LDM层数据,即相应的转换Job是否正确运行完成。
5) 根据数据依赖关系,分区域进行作业调度,各区域之间的ETL处理可以并行处理。
作业调度方式
1。。。。。。。
2. 调度策略
采取条件驱动的策略来进行Job的调度,Job一满足驱动条件便开始运行。针对快速见效系统的ETL情况,定义四种类型的驱动条件:
1) 前导Job驱动
ETL过程中各个操作需按一定次序进行,前导Job表示ETL过程中先要进行处理的Job,Job的前导Job可以有多个
2) 下传文件驱动
当下传文件未下传完毕时,下传文件清洗不能进行,因此,下传文件通常作为清洗文件的驱动条件,当系统检测到下传文件已下传并正确后,便可进行相应的清洗,驱动Job执行的下传文件可能有多个,
3) 时间驱动
当到达某个时点时,Job便开始运行
4) 上述三种条件综合驱动
要上述三种情况至少两种均满足,Job才能运行。
3. Job的并发设计
每个Job只要满足了驱动关系后,便开始以后台方式运行。这样便实现了不同区域和同一区域的Job的最大限度的并行。考虑系统资源的情况,可以事先设定最大并行数。
4. 并发冲突设计
当并行跑的Job都需要共同使用同一资源的时候,会产生资源占用的冲突,ETL过程中通常的冲突, 用令牌的方式来避免冲突,只有获得令牌的JOB才能跑,否则等待令牌释放。
定义数据转换流程中检查点和核对点
1) 下传文件,下传文件与源系统数据进行比较检查,核对下传数据准确性。
2) 清洁文件,将清洁文件与下传文件进行比较检查,从而可判断清洗处理过程的正确性。
3) ODS库表,将ODS库表中的数据与下传文件中数据进行比较检查,从而可判断加载处理过程的正确性。
4) LDM库表,将LDM库表中的数据与ODS库表中数据进行比较检查,从而可判断转换处理过程的正确性。
5) PI值,将PI值与LDM层相关的库表进行比较检查,从而可判断PI计算处理过程的正确性。
日志信息设计
1) 调度过程日志。以文件的方式存在,用于记录Job调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常。
2) Job执行日志。数据库表方式存在,给Job的调度提供必要的信息,是Job调度策略计算的依据,调度模块和Job之间的接口之一。
3) Job详细事件日志。数据库表方式存在,记录ETL处理过程中的详细信息,如清洗记录成功条数、失败条数或数据库操作情况(INSERTUPDATEDELETE)。
给出异常处理设计:所有被拒绝的行、可接受的错误数以及合理退出的方式
通知设计:重要信息(成功/失败)的通知
1. 成功退出
1) 分段提交方式,当分段提交的当次任务都正确完成,即Job运行状态临时表中登记的作业状态全部为完成时,退出ETL调度。
2) 自动提交方式,当当期所有的任务都正确完成,即Job运行状态表中登记的作业状态全部为完成时,退出ETL调度。
2. 失败退出
1) 关键作业异常,关键作业运行异常时,影响剩下的作业不能运行时,则退出ETL调度。
2) 超过ETL时限,当超过预先设定的ETL 时限时,退出ETL调度。
3) 数据库异常,当不能正常操作数据库时,退出ETL调度。
4) 操作系统异常,当发生操作系统异常,导致程序不能正常运行,如文件系统异常导致读写文件错时,需要退出ETL调度。
5) 手工退出,需要人为干预ETL调度的时候,能以手工操作的方式退出ETL调度。
给出各个阶段号说明 给出表格:表6-N ETL_Step编号表(ETL控制参数)
ETL 调度优先级别
按Job驱动关系进行Job的调度,前导Job优先于后续Job。
ETl流程及调度模块说明
模块概要说明
模块概要说明(总体层次)
模块名称 模块编号 开发工具/环境 模块功能说明 备注
作业调度 J01 AIX+Shell+C ETL调度主模块,负责整个ETL过程的调度处理。 维护员
作业管理 J02 EXECL+BRIO+C 定义作业步对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动条件。 管理员
异常重跑 J03 AIX+Shell+C 当ETL运行出现异常时,提供断点重跑机制。 维护员
参数管理 J04 Brio EIS 调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。 管理员
日志管理 J05 BrioSDK,EIS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。 管理员
模块概要说明(明细层次)
模块名称 模块编号 模块类型 开发环境 模块功能说明 备注
CTLINIT J01_01 作业调度 AIX,PROC 检查输入参数和驱动关系,初始化资源令牌状态/Job运行状态/下传文件状态。
UNCOMPR J01_02 作业调度 AIX,PROC,SHELL 检测下传目录下的压缩/打包的文件,并将这些文件解压缩/展开,之后移动到非下传目录下。
FILEREG J01_03 作业调度 AIX,PROC 根据下传文件控制表 检查各文件头的控制信息,将检查结果记录在下传文件控制表中。
CHKREGJOB J01_04 作业调度 AIX,PROC 扫描Job运行状态(或临时)表看所有(或本次提交需要完成的)Job是否完成,根据Job执行日志信息登记完成的Job(在Job运行状态表登记)。
CALREGJOB J01_05 作业调度 AIX,PROC 根据Job运行状态/下传文件状态/ Job驱动关系计算可已运行的Job,并在Job运行状态表中将这些Job登记为“就绪“状态。
JOBRUN J01_06 作业调度 AIX,PROC,SHELL 依据当前进程数/资源令牌占用清况发出调度一个Job运行的命令,并登记Job运行状态为“正运行“。
CRTJOB J02_01 作业管理 EXECL 生成作业列表和作业对应的驱动条件。
CHKJOB J02_02 作业管理 PROC 检查作业列表的合法性,包括驱动关系的合理性检查。
RERUN J03_01 异常重跑 AIX,PROC,SHELL 当ETL运行出现异常时,提供断点重跑机制。
PARADM J04_01 参数管理 BRIO EIS,SQLPLUS,SHELL 调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置、修改及查询。
LOGADM J05_01 日志管理 BRIO EIS,SQLPLUS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。
ETL流程及调度的模块设计说明表(设计阶段)
见附件《ETL调度详细设计.doc》
给出ETL流程及调度的程序设计说明表(实现阶段):参见 “1.15节”
1.2 ETL监控(ETL Monitor) (PSP)
ETL监控结构设计,
ETL监控主要功能概述
1) ETL调度检测下传文件状态,并登记到下传文件状态表中,通过Hyperion Client设计对下传文件状态查询的BQY文档,发布到Hyperion Performance Suite 8 Server,再通过Http或直接通过ODBC进行BQY查询来获取下传文件状态,从而实现了文件传输监控功能。
2) 当某个区域的某些文件清洗完成时,ETL调度在Job运行状态表中登记该区域相应清洗Job的状态(异常或完成);当文件加载、转换或加工完成时,ETL调度同样方式在Job运行状态表中登记相应Job的状态,通过设计对Job运行状态查询的BQY,并发布到Hyperion Performance Suite 8 Server,再通过Http或直接通过ODBC进行BQY查询来获取Job的当前状态,从而实现了加载、转换和加工的监控功能。
3) 对Job的执行情况(开始时间、结束时间)的监控通过设计查询Job执行日志表的BQY文档来实现,对Job的详细事件的监控通过设计查询Job详细事件日志表的BQY来实现。
4) 对调度的整体情况的监控,则可直接通过TELNET查看调度过程日志,便能知道调度的完成情况和异常情况(数据库错、参数非法或操作系统错等)。
ETL监控模块说明:
ETL监控的模块概要说明
模块概要说明(明细层次)
模块名称 模块编号 模块类型 开发环境 模块功能说明 备注
FILEMON J06_01 ETL监控 BRIO,EIS 监控各个区域的下传文件传输情况和文件状态。
JOBMON J06_02 ETL监控 BRIO,EIS 对各个区域的清洗、加载、转换和加工过程的完成情况进行监控。
EVTMON J06_03 ETL监控 BRIO,EIS 对JOB的执行开始时间、结束时间和JOB运行过程中的详细操作情况进行实时监控。
MAINMON J06_04 ETL监控 BRIO,EIS 对调度的整体情况的监控,包括调度成功完成、异常退出、数据库错、参数情况和操作系统出错进行监控。
影响, 清洗, 监控, 机构, 汇率
1 ETL流程及调度设计(ETL Schedule)(PSP)
1. ETL调度的目标
快速见效系统要抽取39家分行四个系统的数据进行加工处理,数据从下传文件到ODS库,ODS库到LDM,再计算PI值和汇总PI,整个ETL处理过程需按一定步骤和满足某些条件进行,某些关键的文件如汇率数据、机构表等都会影响整个ETL的处理,因此,快速见效的ETL处理流程将是一个比较复杂的过程。
考虑到将来ETL处理的多样性和复杂性,引入了Job的概念,将ETL处理过程分为一个一个的Job,Job可能是清洗加载转换,也可能是PI加工。为了对复杂的ETL处理过程更好的调度和监控,专门设计一个ETL调度系统。通过ETL调度系统的开发使用,将清晰、高效地通过Job调度的方式处理快速见效的ETL过程。
2. ETL调度功能说明
调度维护
1) 调度系统参数维护,对调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。
2) 下传文件信息维护,维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。
3) 作业步定义与维护,定义作业对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动关系,作业的运行所需要的条件。
4) 调度异常处理,对调度过程中出现的异常情况进行处理,提供错误查找、出错重跑功能。
日志管理
1) 调度过程日志,管理记录调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常的日志。
2) Job执行日志,管理记录Job执行信息的日志,提供该日志的查询、删除和执行状态重置功能。
3) Job详细事件日志,管理记录Job执行中的详细事件(清洗记录条数、数据库具体操作情况)的日志,提供对日志的查询、删除操作。
作业调度
正常情况下的作业调度,对整个ETL过程进行调度,提供分段提交处理和自动提交处理功能。
可调度的Job类型
1) C程序(清洗),ETL调度提供与C程序的接口,从而可以对C程序进行调度。
2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C程序中进行调度。
3) PROC程序(合并、转换),对合并和转换过程,调度提供相应的接口,从而对ORACLE的PROC程序进行调度。
4) 存储过程(转换),将存储过程封装在PROC程序中进行调度。
5) DataStage(PI加工),调度系统提供了与DataStage的接口,可以对DataStage各个种类的Job进行调度。
作业步(ETL_Step)的功能类型及数据处理
0. 文件FTP: 将各个分行的源业务系统(NLNS、SBS、NACS)的以预定的文件格式以FTP方式通过中行网络传输到QUICK WIN项目系统的ETL服务器。
1. 文件注册:0中FTP的源数据文件,经过解压缩后,必须在QUICK WIN项目系统中注册,只有经过文件注册过程后QUICK WIN项目系统才能确认“那些分行的源数据” 已经正确到达,ETL系统就可以相应的处理流程。
2. 数据清洗:从各分行FTP来的源数据文件,可能存在非法数据或冗余数据或者数据规则标准不统一,而且文件格式上也不能被QUICK WIN项目的ETL过程立即使用,因此必须对数据文件进行数据清洗(删除非法、冗余数据、统一数据规则标准、转换成QUICK WIN项目的ETL过程能“加载”处理的文件格式)。
3. 数据加载:将清洗后的数据(文件格式)通过SQL LOADER加载到ORACLE数据库相应的数据库表中。
4. ODS数据合并:将各个分行的相同类型的源业务系统数据合并到ORACLE数据库中同一张数据表中。
5. LDM数据加工:面向业务生产数据(ODS数据库表中的数据)根据“QUICK WIN分析模型”将数据转换、加工成面向分析主题的“分析型数据”。
6. PI加工:根据业务需求、业务规则和分析模型,从LDM数据表中加工出QUICK WIN所需的PI。
7. 报表加工:根据业务需求、业务规则和分析模型,从LDM数据表和PI表中中加工出QUICK WIN所需的报表。
8. ETL调度程序:调度ETL加工各个过程的运行。
9. 监控程序:监控ETL过程的运行状态(加工进度、加工效率、成功、警告、错误等)信息,及时向系统的运行维护人员报告系统运行状态。
作业步(ETL_Step)的流程和依存关系。
1) 清洗类型的Job的运行依赖于相应下传文件的状态,必须是在下传文件检查及登记后才能进行清洗Job的调度。
2) ODS层加载类型Job的运行依赖于相应的清洁文件是否由清洗程序生成,即相应的清洗Job是否正确运行完成。
3) 从ODS到LDM的数据转换依赖ODS层的相关数据是否齐备,即相应的加载Job是否正确运行完成。
4) PI加工的进行依赖LDM层数据,即相应的转换Job是否正确运行完成。
5) 根据数据依赖关系,分区域进行作业调度,各区域之间的ETL处理可以并行处理。
作业调度方式
1。。。。。。。
2. 调度策略
采取条件驱动的策略来进行Job的调度,Job一满足驱动条件便开始运行。针对快速见效系统的ETL情况,定义四种类型的驱动条件:
1) 前导Job驱动
ETL过程中各个操作需按一定次序进行,前导Job表示ETL过程中先要进行处理的Job,Job的前导Job可以有多个
2) 下传文件驱动
当下传文件未下传完毕时,下传文件清洗不能进行,因此,下传文件通常作为清洗文件的驱动条件,当系统检测到下传文件已下传并正确后,便可进行相应的清洗,驱动Job执行的下传文件可能有多个,
3) 时间驱动
当到达某个时点时,Job便开始运行
4) 上述三种条件综合驱动
要上述三种情况至少两种均满足,Job才能运行。
3. Job的并发设计
每个Job只要满足了驱动关系后,便开始以后台方式运行。这样便实现了不同区域和同一区域的Job的最大限度的并行。考虑系统资源的情况,可以事先设定最大并行数。
4. 并发冲突设计
当并行跑的Job都需要共同使用同一资源的时候,会产生资源占用的冲突,ETL过程中通常的冲突, 用令牌的方式来避免冲突,只有获得令牌的JOB才能跑,否则等待令牌释放。
定义数据转换流程中检查点和核对点
1) 下传文件,下传文件与源系统数据进行比较检查,核对下传数据准确性。
2) 清洁文件,将清洁文件与下传文件进行比较检查,从而可判断清洗处理过程的正确性。
3) ODS库表,将ODS库表中的数据与下传文件中数据进行比较检查,从而可判断加载处理过程的正确性。
4) LDM库表,将LDM库表中的数据与ODS库表中数据进行比较检查,从而可判断转换处理过程的正确性。
5) PI值,将PI值与LDM层相关的库表进行比较检查,从而可判断PI计算处理过程的正确性。
日志信息设计
1) 调度过程日志。以文件的方式存在,用于记录Job调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常。
2) Job执行日志。数据库表方式存在,给Job的调度提供必要的信息,是Job调度策略计算的依据,调度模块和Job之间的接口之一。
3) Job详细事件日志。数据库表方式存在,记录ETL处理过程中的详细信息,如清洗记录成功条数、失败条数或数据库操作情况(INSERTUPDATEDELETE)。
给出异常处理设计:所有被拒绝的行、可接受的错误数以及合理退出的方式
通知设计:重要信息(成功/失败)的通知
1. 成功退出
1) 分段提交方式,当分段提交的当次任务都正确完成,即Job运行状态临时表中登记的作业状态全部为完成时,退出ETL调度。
2) 自动提交方式,当当期所有的任务都正确完成,即Job运行状态表中登记的作业状态全部为完成时,退出ETL调度。
2. 失败退出
1) 关键作业异常,关键作业运行异常时,影响剩下的作业不能运行时,则退出ETL调度。
2) 超过ETL时限,当超过预先设定的ETL 时限时,退出ETL调度。
3) 数据库异常,当不能正常操作数据库时,退出ETL调度。
4) 操作系统异常,当发生操作系统异常,导致程序不能正常运行,如文件系统异常导致读写文件错时,需要退出ETL调度。
5) 手工退出,需要人为干预ETL调度的时候,能以手工操作的方式退出ETL调度。
给出各个阶段号说明 给出表格:表6-N ETL_Step编号表(ETL控制参数)
ETL 调度优先级别
按Job驱动关系进行Job的调度,前导Job优先于后续Job。
ETl流程及调度模块说明
模块概要说明
模块概要说明(总体层次)
模块名称 模块编号 开发工具/环境 模块功能说明 备注
作业调度 J01 AIX+Shell+C ETL调度主模块,负责整个ETL过程的调度处理。 维护员
作业管理 J02 EXECL+BRIO+C 定义作业步对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动条件。 管理员
异常重跑 J03 AIX+Shell+C 当ETL运行出现异常时,提供断点重跑机制。 维护员
参数管理 J04 Brio EIS 调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。 管理员
日志管理 J05 BrioSDK,EIS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。 管理员
模块概要说明(明细层次)
模块名称 模块编号 模块类型 开发环境 模块功能说明 备注
CTLINIT J01_01 作业调度 AIX,PROC 检查输入参数和驱动关系,初始化资源令牌状态/Job运行状态/下传文件状态。
UNCOMPR J01_02 作业调度 AIX,PROC,SHELL 检测下传目录下的压缩/打包的文件,并将这些文件解压缩/展开,之后移动到非下传目录下。
FILEREG J01_03 作业调度 AIX,PROC 根据下传文件控制表 检查各文件头的控制信息,将检查结果记录在下传文件控制表中。
CHKREGJOB J01_04 作业调度 AIX,PROC 扫描Job运行状态(或临时)表看所有(或本次提交需要完成的)Job是否完成,根据Job执行日志信息登记完成的Job(在Job运行状态表登记)。
CALREGJOB J01_05 作业调度 AIX,PROC 根据Job运行状态/下传文件状态/ Job驱动关系计算可已运行的Job,并在Job运行状态表中将这些Job登记为“就绪“状态。
JOBRUN J01_06 作业调度 AIX,PROC,SHELL 依据当前进程数/资源令牌占用清况发出调度一个Job运行的命令,并登记Job运行状态为“正运行“。
CRTJOB J02_01 作业管理 EXECL 生成作业列表和作业对应的驱动条件。
CHKJOB J02_02 作业管理 PROC 检查作业列表的合法性,包括驱动关系的合理性检查。
RERUN J03_01 异常重跑 AIX,PROC,SHELL 当ETL运行出现异常时,提供断点重跑机制。
PARADM J04_01 参数管理 BRIO EIS,SQLPLUS,SHELL 调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置、修改及查询。
LOGADM J05_01 日志管理 BRIO EIS,SQLPLUS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。
ETL流程及调度的模块设计说明表(设计阶段)
见附件《ETL调度详细设计.doc》
给出ETL流程及调度的程序设计说明表(实现阶段):参见 “1.15节”
1.2 ETL监控(ETL Monitor) (PSP)
ETL监控结构设计,
ETL监控主要功能概述
1) ETL调度检测下传文件状态,并登记到下传文件状态表中,通过Hyperion Client设计对下传文件状态查询的BQY文档,发布到Hyperion Performance Suite 8 Server,再通过Http或直接通过ODBC进行BQY查询来获取下传文件状态,从而实现了文件传输监控功能。
2) 当某个区域的某些文件清洗完成时,ETL调度在Job运行状态表中登记该区域相应清洗Job的状态(异常或完成);当文件加载、转换或加工完成时,ETL调度同样方式在Job运行状态表中登记相应Job的状态,通过设计对Job运行状态查询的BQY,并发布到Hyperion Performance Suite 8 Server,再通过Http或直接通过ODBC进行BQY查询来获取Job的当前状态,从而实现了加载、转换和加工的监控功能。
3) 对Job的执行情况(开始时间、结束时间)的监控通过设计查询Job执行日志表的BQY文档来实现,对Job的详细事件的监控通过设计查询Job详细事件日志表的BQY来实现。
4) 对调度的整体情况的监控,则可直接通过TELNET查看调度过程日志,便能知道调度的完成情况和异常情况(数据库错、参数非法或操作系统错等)。
ETL监控模块说明:
ETL监控的模块概要说明
模块概要说明(明细层次)
模块名称 模块编号 模块类型 开发环境 模块功能说明 备注
FILEMON J06_01 ETL监控 BRIO,EIS 监控各个区域的下传文件传输情况和文件状态。
JOBMON J06_02 ETL监控 BRIO,EIS 对各个区域的清洗、加载、转换和加工过程的完成情况进行监控。
EVTMON J06_03 ETL监控 BRIO,EIS 对JOB的执行开始时间、结束时间和JOB运行过程中的详细操作情况进行实时监控。
MAINMON J06_04 ETL监控 BRIO,EIS 对调度的整体情况的监控,包括调度成功完成、异常退出、数据库错、参数情况和操作系统出错进行监控。
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 泰山版三年级下册品德与社会《一分耕耘 一分收获》教学设计
- 小学第十届推广普通话宣传周活动工作总结
- 年级组长责任状
- 指导小学生写好钢笔字
- 小学五年级上册科学期中考试试卷
- 诚信之花开心中
- 2015年魏县新思路学校母亲节活动策划方案
- 【名师讲堂】麒麟鲍鱼 在家也可复制的宫廷味道
- 三年级遗传学基础课第一次模拟考试试卷(杜春花)
- 教案
- 09各种各样的花
- 2014幼升小汇总帖
- 小数点移动变化练习题(十)
- 小学高年级部规范化汉字比赛试卷
- 我和爸爸GOGOGO有感
- 2015.5小学生写字比赛活动方案
- 试卷[1]
- 想孩子长个做好这四件事
- 感恩作文
- 我有一厘米高
- 福佳小学2013交通安全预案
- 六年级上册科学期中考试试卷
- 今生飞翔
- 寻找身边的榜样
- 四年级必背古诗
- 新教科版六年级下册科学第1单元测试卷.3
- 禹音:雨中丁香种乡下 温暖绿化我的家
- 六年级科学上册期中考试试卷
- 四年级下册《 四则运算》 习题
- 刘益彤作文
网友关注视频
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
- 沪教版八年级下册数学练习册一次函数复习题B组(P11)
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
- 河南省名校课堂七年级下册英语第一课(2020年2月10日)
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,广东省
- 外研版英语七年级下册module3 unit2第一课时
- 【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
- 北师大版数学 四年级下册 第三单元 第二节 小数点搬家
- 冀教版小学数学二年级下册第二单元《有余数除法的简单应用》
- 小学英语单词
- 六年级英语下册上海牛津版教材讲解 U1单词
- 化学九年级下册全册同步 人教版 第18集 常见的酸和碱(二)
- 七年级下册外研版英语M8U2reading
- 第19课 我喜欢的鸟_第一课时(二等奖)(人美杨永善版二年级下册)_T644386
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 4
- 苏科版八年级数学下册7.2《统计图的选用》
- 3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
- 8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
- 19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T3763925
- 人教版二年级下册数学
- 二年级下册数学第三课 搭一搭⚖⚖
- 北师大版数学四年级下册第三单元第四节街心广场
- 沪教版牛津小学英语(深圳用) 五年级下册 Unit 7
- 沪教版八年级下册数学练习册21.4(1)无理方程P18
- 《空中课堂》二年级下册 数学第一单元第1课时
- 二次函数求实际问题中的最值_第一课时(特等奖)(冀教版九年级下册)_T144339
- 冀教版小学英语四年级下册Lesson2授课视频
- 北师大版小学数学四年级下册第15课小数乘小数一
- 30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
- 冀教版英语五年级下册第二课课程解读
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理