1.1、课程的背景
随着业务系统的完善,特别是业务系统数据的积累,公司业务分析及决策人员越来越发现基于业务系统基础数据的各种分析对其决策非常有帮助。因此基于业务系统的数据建立数据仓库、建立商业智能(BI)系统已经是大势所趋。企业的精细化管理的核心思想是快、精、准,这几个基本要求都需要BI的强力支撑,数据里面的知识可以帮助企业进行优化升级。但是一个BI系统的商业化产品和开发工具非常昂贵,对于中小型企业来说,难以承受这种成本支出。因此,本课程利用数据仓库的知识,通过自己编写存储过程或者程序的方式来达到为客户提供数据分析的效果。
1.2、课程内容简介
本课程以公共卫生领域高血压的管理为实际应用场景,为高血压管理系统建立数据仓库,进行数据分析。本课程一共分为四个章节,76讲。第一章主要介绍了商业智能系统的发展,从商业智能的学科范围、演化史、应用案例到自然演化式的体系结构,以及面临的问题,再讲到数据仓库以及开发方法。第二章主要解析了数据仓库的一些主要术语,例如,分区、粒度、维度、度量值、多维数据模型以及DW2.0。第三章讲述了如何设计数据仓库,引入了元数据的概念。第四章是整个课程中课时最多的部分,花了比较多的时间从头到尾搭建了一个BI系统,最终是以Web Service的方式供第三方调用。
1.3、课程大纲
一、理论讲解部分:
1.商业智能系统的发展 - 商业智能的概念、学科范围、演化史和应用案例
2.商业智能系统的发展 – 信息抽取、自然演化式的体系结构以及面临的问题
3.商业智能系统的发展 – 初识数据仓库
4.商业智能系统的发展 – 数据仓库开发方法
5.数据仓库的主要术语解析 - 数据仓库的概念
6.数据仓库的主要术语解析 - 数据仓库的主要设计问题-粒度
7.数据仓库的主要术语解析 – 双重粒度、活样本数据库
8.数据仓库的主要术语解析 - 数据仓库的主要设计问题-数据分区
9.数据仓库的主要术语解析 - 数据仓库的常见问题
10.数据仓库的主要术语解析 - 数据立方体、维、事实、多维数据库模式
11.数据仓库的主要术语解析 - 度量、维度、OLAP操作
12.数据仓库的主要术语解析 - 数据仓库的变体、DW2.0简介
13.数据仓库的主要术语解析 - DW2.0简介(续1)
14.数据仓库的主要术语解析 - DW2.0简介(续2)
15.数据仓库的主要术语解析 - DW2.0简介(续3)
16.如何设计数据仓库 - 构造数据仓库的两个主要工作(操作型系统接口的设计)
17.如何设计数据仓库 - 构造数据仓库的两个主要工作(数据仓库本身的设计)
18.如何设计数据仓库 – 数据模型与迭代式开发、规范化/反向规范化
19.如何设计数据仓库 - 数据仓库中的快照、元数据
20.如何设计数据仓库 - 数据周期、数据仓库记录的触发、概要记录
二、项目实战部分:
1.数据仓库搭建实战 – 操作性数据库的准备和分析
2.数据仓库搭建实战 - 创建表之间的关系、导入导出数据库、添加数据内容
3.数据仓库搭建实战 - 从外部文件导入数据、设计数据仓库、创建维度表
4.数据仓库搭建实战 - 创建简单的时间维度表
5.数据仓库搭建实战 - 创建完整的时间维度表
6.数据仓库搭建实战 – 编写存储过程为完整的时间维度表添加数据
7.数据仓库搭建实战 - 编写存储过程为完整的时间维度表添加数据(续1)
8.数据仓库搭建实战 - 编写存储过程为完整的时间维度表添加数据(续2)
9.数据仓库搭建实战 - 编写存储过程为完整的时间维度表添加数据(续3)
10.数据仓库搭建实战 - 编写存储过程为完整的时间维度表添加数据(续4)
11.数据仓库搭建实战 - 编写存储过程为完整的时间维度表添加数据(续5)
12.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据
13.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续1)
14.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续2)
15.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续3)
16.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续4)
17.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续5)
18.数据仓库搭建实战 - 编写小程序为完整的时间维度表添加数据(续6)
19.数据仓库搭建实战 - 建立其他维表
20.数据仓库搭建实战 - 分析比较两种方法的优缺点
21.数据仓库搭建实战 - 建立其他维表(续1)、建立Cube
22.数据仓库搭建实战 - 分析操作型数据库中的数据情况、确定分区和粒度、建立事实表
23.数据仓库搭建实战 - 增加Gender维度,GZYS维度,Age维度
24.数据仓库搭建实战 - 向新增的维表中添加数据
25.数据仓库搭建实战 - 向新增的维表中添加数据(续1)
26.数据仓库搭建实战 - Extract, Transform, Load-Sp框架搭建
27.数据仓库搭建实战 - Extract, Transform, Load-Sp编写
28.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续1)
29.数据仓库搭建实战 - 构造Transform表
30.数据仓库搭建实战 - 构造Transform表(续1)
31.数据仓库搭建实战 - 构造Transform表(续2)
32.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续2)
33.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续3)
34.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续4)
35.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续5)
36.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续6)
37.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续7)
38.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续8)
39.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续9:调试)
40.数据仓库搭建实战 - Extract, Transform, Load-Sp编写(续10:处理增量)
41.数据仓库搭建实战 - Log_ETL_SUMMARY以及Log_TEL_ERROR_DETAIL中增加主题名
42.数据仓库搭建实战 - 增加ODS表
43.数据仓库搭建实战 - 为ODS表添加数据
44.数据仓库搭建实战 - 为ODS表添加数据(续1:考虑增量)
45.数据仓库搭建实战 - 为ODS表添加数据(续2:增加记录条数的统计)
46.数据仓库搭建实战 - 为ODS修改ETL的存储过程
47.数据仓库搭建实战 - 调试ETL的存储过程
48.数据仓库搭建实战 - 调试ETL的存储过程(续1:验证增量)、定时执行ETL存储过程
49.数据仓库搭建实战 - 加入校验机制(ODS < —— > MAPPING(Source部分))
50.数据仓库搭建实战 - 加入校验机制(MAPPING(Target部分)< —— > DIM)
51.数据仓库搭建实战 - 加入校验机制后完善ETL
52.数据仓库搭建实战 - 加入校验机制后完善ETL(续1)
53.数据仓库搭建实战 - 调试加入校验机制后的ETL
54.数据仓库搭建实战 - 调试加入校验机制后的ETL(续1)、创建Web Service
55.数据仓库搭建实战 - 调试加入校验机制后的ETL(续2)、创建Web Service(续1)
56.数据仓库搭建实战 - 调试加入校验机制后的ETL(续3)、创建Web Service(续2)
1.4、课程部分项目截图
二、为什么需要这么套课程?
2.1、企业需要什么?
说明:以下企业需求职位均来自于51job.
职位1、ETL开发工程师
职位2、数据仓库开发工程师
更多企业招聘信息请参考:www.51job.com
2.2、课程学习目标(我们提供什么?)
目标一. 可以让学员快速上手掌握维表、事实表以及相关的概念
目标二. 可以让学员迅速掌握各种维表的创建技巧
目标三. 可以让学员迅速掌握像维表中添加数据的多种方法
目标四. 可以让学员熟练使用ETL的开发和注意事项
目标五. 了解Web Service,熟悉搭建的全过程
目标六. 了解C#,熟悉搭建application的技巧与注意事项
目标七. 通过完整的项目实战,全面的演示了整个数据仓库搭建的综合步骤、过程、注意事项及技巧
目标八. 通过本课程的学习,为学员以后开发商业智能项目提供了完整示范。
2.3、课程特色
特点一、讲师具有一线的实战经验与丰富的教学经验,课程即讲解案例实现思路、理论与原理又讲解实战技巧与注意事项,即照顾到基顾学员,又照顾到有一定实战经验想要提高自己的学员。
特点二、在每节开始之前先简单回顾上一节所讲的主要内容,并对本节所讲的内容先进行概述,讲解概念、技术要点,设计实现思路等内容,最后总结本次课程的要掌握的要点,讲师授课采用先理论,后实战的方式,由浅入深,符合人们接受知识的自然规律。
特点三、学习的过程中学员要理论和实践相结合,讲过的代码学员自行完成修改和调试,以巩固加深学习效果
2.4、课程亮点
亮点一、sql语句、存储过程、Web Service 都是相对比较成熟的技术,用如此组合为中小型企业打造商业智能平台在实践的过程中确实可以被用户所接受。从数据仓库的发展现状来看,可以保证让您的技术在二到三年内不会落伍,而且一定能给满足客户的要求.
亮点二、理论与实战相结合,由浅入深。即照顾到基础学员,又照顾到有一定经验的学员,即讲解细致,又一针见血,对技术绝不含糊.
亮点三、课程绝大多数代码均是一行一行手工敲入,手把手一步步带领学员从入门到精通.
亮点四、sql语句、存储过程、Web Service这种组合及项目实战国内视频教学尚属首部,而此种组合也是该讲师以前项目中常采用的一种框架,具有实战意义.
亮点五、整个课程虽项目不大,但“麻雀虽小,五脏倶全”,整个项目基本上涉及到商业智能平台搭建的方方面面,学员拿到该项目后稍加改造就可以用到自己的项目,实用性超强.
3.课程真心不错,我可以学吗?
本课程针对具有一定的数据库基础与一定的程序开发基础的学员,想通过本项目的学习,了解商业智能的新特性,结合sql语句、存储过程、Web Service开发商业项目的学员。
4.我该怎么学,如何才能学好这门课程,给些建议。
4.1、时间上的安排建议
本课程共76讲,如果您时间上充分,建议以每天3-4讲的进度往前学习。
如果您是上班族或您已经有一定的基础了,可以直接进入第四章的数据仓库搭建实战,跟着课程一起搭建实际的系统。
4.2、学习要求
如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆
如果您有基础,可不必按步就搬进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三
4.3、讲师建议
建议:
1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
2.对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了
3. 建议一般听视频,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习
习惯。
4. 一定不要过于依赖视频,要学会看API和使用百度,学会思考,学会举一反三
5. 最后祝您学有所成
5.学完这门课程后能做什么?
学会该课程后,您可以为客户搭建商业智能平台,而且不需要依赖昂贵的BI工具。
本课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作
1.ETL开发工程师
2.数据仓库开发工程师
3.数据仓库架构师
4.数据仓库管理员
6. 学员常见问题:
常见问题一:学习该教程使用什么软件吗?软件有没有随教程提供,及他们所使用的版本?
讲师回答:课程使用Microsoft SQL SERVER 2012和Visual Studio 2012作为开发工具. 这些软件大家可以根据自已的情况自行下载,没有随教程提供。而且本课程主要向学员教授的是一种思路和方法,可以选择Oracle或者MySQL等其他的数据库管理软件,或者选择Java等开发语言都可以。
常见问题二:学这个课程需要什么基础?
讲师回答:本课程针对具有一定的数据库基础与一定的程序开发基础的学员
常见问题三:这种技术一般可用在什么场合?
讲师回答:本课程教授的是一种为中小型企业搭建商业智能平台的解决方案,它不纯粹是一种语言,而是一个整体的解决思路,是一套框架。掌握它后可以让你在从事商业智能领域涉及到数据仓库类型的项目开发时,能得心应手,成为掌握该领域技术的高级开发工程师,前(钱)途无限。
常见问题四:学完这项技术可以从事的工作岗位有哪些?
讲师回答:可以从事的岗位有:ETL工程师、数据仓库开发工程师、数据仓库架构师、数据仓库管理员等等。
课程截图