炼数成金-Dataguru专业数据分析社区

培训首页 > 课程中心 > 我的课程 > 高性能高扩展的千亿级实时数据仓库全实现（第六期）

	高性能高扩展的千亿级实时数据仓库全实现（第六期）
	所属分类：数据分析

课程名 : 高性能高扩展的千亿级实时数据仓库全实现（第六期）【招生中】

总学费/人 : ￥400 (固定学费:￥100, 逆向学费:￥300) 开课时间 : 2021-03-22 09:00:00

我要报名

开课老师 : 友凡

课程简介:

数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。

为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。

数据仓库的应用 1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。 2.数据化运营、精准运营。 3.广告精准、智能投放。

随着我们从IT时代步入DT时代，数据积累量也与日俱增，同时伴随着互联网的发展，越来越多的应用场景产生，传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂，因此基于大数据构建的数据仓库最先在互联网行业得到了尝试。

高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序），以热门的互联网电商实际业务应用场景为案例讲解，对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等，数据分析涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够真正学到大数据企业级数据仓库的实战经验。

本课程凝聚讲师多年一线大数据企业实际项目经验，大数据企业在职架构师亲自授课，全程实操代码，带你体验真实的大数据开发过程，代码现场调试。通过本课程的学习再加上老师的答疑，你完全可以将本案例直接应用于企业。本套课程可以满足世面上绝大多数大数据企业级的数据仓库业务场景，全部代码可以直接部署企业，支撑亿级并发数据分析。最后的项目代码也是具有极高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。

本课程包含的技术：
Flink1.9.0
Greenplum5.0.0
Hadoop2.6.0 HBase1.0.0
Kafka2.1.0
Hive1.1.0
HDFS、MapReduce
Redis、Flume
Sqoop、Zookeeper
MyBatis、EhCache
SpringBoot2.0.2.RELEASE
SpringCloud Finchley.RELEASE
Binlog、Canal
MySQL、Mycat
Vue.js、Nodejs
Highcharts

课程亮点：
1.与企业无缝对接、真实工业界产品
2.支持海量数据的分析
3.支持全端实时数据分析
4.通用数据仓库分层解决方案
5.数据库实时同步解决方案
6.主流微服务后端系统
7.电商数据仓库实战指标
8.实时加离线多方位分析
9.互联网大数据企业热门技术栈
10.分布式数据库存储解决方案
11.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS
12.大数据热门技术Flink新版本
13.集成SpringCloud实现统一整合方案
14.全程代码实操，提供全部代码和资料
15.提供答疑和提供企业技术方案咨询

课程大纲：
第一课：数仓接入层以及流量域数据设计和实现
1、课程说明
2、数据接入层之springboot构建数据收集服务
3、数据接入层之构建springcloud注册中心
4、数据接入层之收集服务注册
5、数据接入层之模拟数据代码编写
6、数据接入层之模拟数据联调接口以及效果演示
7、数据接入层之流量域app端业务数据结构讲解
8、数据接入层之流量域小程序端业务数据结构讲解
9、数据接入层之流量域pc端业务数据结构讲解
10、数据接入层之流量域数据采集架构讲解
11、数据接入层之模拟流量域数据采集代码编写1
12、数据接入层之模拟流量域数据采集代码编写2

第二课：数据仓库分层以及实时采集设计和实现
13、数据接入层之kafka2安装
14、数据接入层之kafka2可用性测试
15、数据接入层之spring boot整合kafka
16、数据接入层之spring boot整合kafka联调测试
17、实时计算服务之flink部署以及任务提交效果演示
18、数据仓库之hadoop安装讲解
19、数据仓库之flume讲解以及安装
20、数据仓库之flume同步数据
21、数据仓库之flume同步数据问题解决以及注意事项说明
22、数据仓库之hive安装讲解
23、实时数据仓库之未分层带来的问题讲解
24、实时数据仓库之实时数据仓库之分层好处以及分层模型讲解

第三课：全端商品、活动、购物车流量域数据结构以及数据实时同步大数据环境
25、实时数据仓库之pc端商品流量数据模拟
26、实时数据仓库之pc端活动流量数据模拟
27、实时数据仓库之pc端购物车流量数据模拟
28、实时数据仓库之小程序端商品流量数据模拟
29、实时数据仓库之小程序端活动流量数据模拟
30、实时数据仓库之小程序端购物车流量数据模拟
31、实时数据仓库之app端活动流量数据模拟
32、实时数据仓库之app端购物车流量数据模拟
33、实时数据仓库之pc端流量补充信息模拟数据以及pc端日志结构优化
34、实时数据仓库之日志类型枚举设计
35、实时数据仓库之所有日志抽象日志类型讲解以及代码实现
36、实时数据仓库之数据收集服务优化以及调试
37、实时数据仓库之app流量域数据flume配置讲解以及同步app流量域数据到HDFS
38、实时数据仓库之pc端流量域数据flume配置讲解以及同步pc端流量域数据到HDFS
39、实时数据仓库之小程序端流量域数据flume配置讲解以及同步小程序端流量域数据

第四课：数据仓库分层之ODS层以及DWD层设计和实现
40、实时数据仓库之Hive JsonSerde讲解
41、实时数据仓库之ODS层之app流量域数据映射外部表讲解
42、实时数据仓库之ODS层之app流量域数据外部分区表优化讲解
43、实时数据仓库之ODS层之app流量域活动以及商品信息表构建
44、实时数据仓库之ODS层之pc端流量域购物车表构建
45、实时数据仓库之ODS层之pc端流量域活动以及商品表构建
46、实时数据仓库之ODS层之小程序端流量域表构建1
47、实时数据仓库之ODS层之小程序端流量域表构建2
48、实时数据仓库之LinuxShell脚本讲解
49、实时数据仓库之linuxCrontab讲解
50、实时数据仓库之定时导入分区脚本编写以及定时任务设置
51、实时数据仓库DWD层之购物车整合流量域表构建
52、实时数据仓库DWD层之活动整合流量域表构建
53、实时数据仓库DWD层之商品整合流量域表构建
54、实时数据仓库DWD层之整合流量域表构建补充讲解
55、实时数据仓库DWD层之购物车基础数据转换整合
56、实时数据仓库DWD层之购物车基础数据转换整合补充

第五课：数据仓库分层之DWD层、DWM层、DWS层设计和实现
57、实时数据仓库DWD层之活动基础数据转换整合
58、实时数据仓库DWD层之商品基础数据转换整合
59、实时数据仓库DWD层之商品基础数据转换整合补充
60、实时数据仓库DWM层讲解以及表结构定义
61、实时数据仓库DWM层数据转换讲解
62、实时数据仓库DWD层异常数据处理
63、实时数据仓库DWD层异常数据处理sql调试以及解决
64、实时数据仓库DWM层子查询处理pc端设备信息
65、实时数据仓库DWS层讲解以及用户宽表结构定义
66、实时数据仓库DWM层表结构以及数据转换优化讲解
67、实时数据仓库DWS层用户宽表数据转换sql编写1
68、实时数据仓库DWS层用户宽表数据转换sql编写2
69、实时数据仓库DWS层用户宽表数据转换调试讲解
70、实时数据仓库DWS层商品宽表结构定义
71、实时数据仓库DWS层商品宽表数据转sql编写
72、实时数据仓库DWS层用户宽表月表
73、实时数据仓库DWS层用户宽表月表补充讲解
74、实时数据仓库DWS层商品宽表月表

第六课：数据仓库营销域设计和实现
75、实时数据仓库之Sqoop讲解以及安装
76、实时数据仓库之商品域商品数据模拟
77、实时数据仓库之商品域商家以及用户数据模拟
78、实时数据仓库之商品域ODS层表构建
79、实时数据仓库之Sqoop同步商品域数据
80、实时数据仓库之Sqoop兼容性问题解决以及同步效果演示
81、实时数据仓库之商品域数据同步完善优化
82、实时数据仓库之营销域活动数据模拟
83、实时数据仓库之营销域团购数据模拟
84、实时数据仓库之营销域优惠劵数据模拟
85、实时数据仓库之营销域秒杀数据模拟
86、实时数据仓库之营销域红包数据模拟
87、实时数据仓库之交易域订单数据模拟1
88、实时数据仓库之交易域订单数据模拟2
89、实时数据仓库之营销域ODS层表构建
90、实时数据仓库之交易域ODS层表构建
91、实时数据仓库之批量同步营销域数据
92、实时数据仓库之批量同步交易域数据

第七课：数据库实时同步以及实时分析设计和实现
93、实时数据仓库之Binlog讲解
94、实时数据仓库之Binlog日志查看
95、实时数据仓库之业务数据同步技术选型
96、实时数据仓库之Canal详解
97、实时数据仓库之Canal+Kafka实时同步业务数据
98、实时数据仓库之Canal+Kafka实时同步业务数据效果演示
99、实时数据仓库之Flink1.9+Kafka构建实时分析项目
100、实时数据仓库之业务数据topic构建
101、实时数据仓库之业务数据公共实体构建1
102、实时数据仓库之业务数据公共实体构建2
103、实时数据仓库之Flink实时转换同步业务数据代码编写
104、实时数据仓库之反射技术实时转换业务数据到数据仓库
105、实时数据仓库之FastJson解析Binlog日志数据
106、实时数据仓库之Flink实时转换业务数据代码编写
107、实时数据仓库之Flink过滤Binlog业务数据代码编写
108、实时数据仓库之目标topic sink联调测试
109、实时数据仓库之Flume实时同步业务数据脚本编写以及效果演示

第八课：用户主题团购以及优惠劵排行榜实时分析
110、实时数据仓库之Hbase环境搭建
111、实时数据仓库之Hbase 工具类代码编写
112、实时数据仓库之用户主题实时团购分析map代码编写
113、实时数据仓库之用户主题实时团购分析reduce代码编写
114、实时数据仓库之用户主题实时团购分析sink代码编写
115、实时数据仓库之用户主题实时团购数据存储hbase仓库代码编写
116、实时数据仓库之用户主题实时团购数据用户较大成交团购分析代码编写
117、实时数据仓库之Redis环境构建
118、实时数据仓库之Redis使用讲解
119、实时数据仓库之Redis实现实时排名代码编写
120、实时数据仓库之实时优惠劵用户排行分析代码编写
121、实时数据仓库之app应用层终端使用类别分析sql编写
122、实时数据仓库之app应用层购物车操作分析sql编写
123、实时数据仓库之sqoop同步app层数据到mysql脚本编写

第九课：商品域、营销域、交易域数据仓库完善以及app层设计和实现
124、实时数据仓库之DIM层讲解以及构建
125、实时数据仓库之商品域DWD层表构建以及数据转换
126、实时数据仓库之营销域DWD层表构建以及数据转换
127、实时数据仓库之交易域DWD层表构建以及数据转换
128、实时数据仓库之DWM层订单行为表构建以及数据转换sql编写
129、实时数据仓库之DWS层用户、店铺、商家、商品订单主题宽表讲解以及开发
130、实时数据仓库之app应用层团购订单分析开发
131、实时数据仓库之app应用层红包、优惠劵、指定活动、秒杀活动订单分析开发
132、实时数据仓库之app应用层团购、红包、优惠劵、指定活动、秒杀活动订单月表
133、实时数据仓库之app应用层终端使用、购物车月表分析开发
134、实时数据仓库之app层订单分析结果同步到mysql脚本开发1
135、实时数据仓库之app层订单分析结果同步到mysql脚本开发2

第十课：大盘收入、高付费报表以及店铺主题分析
136、实时数据仓库之MyCat详解
137、实时数据仓库之MyCat安装1
138、实时数据仓库之MyCat安装2以及演示
139、实时数据仓库之app层实时大盘收入报表代码编写1
140、实时数据仓库之app层实时大盘收入报表代码编写2
141、实时数据仓库之app层高付费用户综合报表代码编写
142、实时数据仓库之Greenplum讲解
143、实时数据仓库之Greenplum安装实战讲解
144、实时数据仓库之Greenplum使用讲解
145、实时数据仓库之Greenplum远程权限配置以及api使用讲解
146、实时数据仓库之Greenplum特定时间店铺主题分析代码编写1
147、实时数据仓库之Greenplum特定时间店铺主题分析代码编写2
148、实时数据仓库之Greenplum特定时间店铺主题分析代码编写3
149、实时数据仓库之Greenplum特定时间店铺主题分析代码编写4

第十一课：数仓前端+图表项目实战
150、实时数据仓库之Vue前端项目构建实战讲解
151、实时数据仓库之前端系统项目开发架构讲解
152、实时数据仓库之Vue.js+highcharts构建图表
153、实时数据仓库之大盘收入报表图表实战开发
154、实时数据仓库之高付费用户报表图表实战开发
155、实时数据仓库之流量域分析图表实战开发
156、实时数据仓库之营销域分析图表实战开发
157、实时数据仓库之用户主题分析图表实战开发
158、实时数据仓库之实时排行图表实战开发
159、实时数据仓库之特定时间店铺主题分析图表实战开发
160、实时数据仓库之后端接口服务构建
161、实时数据仓库之后端联调前端代码开发
162、实时数据仓库之后端联调大盘收入报表代码开发

第十二课：数仓完善、后端系统开发、前端项目整合以及性能优化
163、实时数据仓库之后端联调高付费用户报表代码开发
164、实时数据仓库之后端联调流量域分析代码开发
165、实时数据仓库之后端联调营销域分析代码开发
166、实时数据仓库之后端联调用户主题以及实时排行分析代码开发
167、实时数据仓库之后端联调特定时间店铺主题分析代码开发
168、实时数据仓库之后端联调代码开发补充
169、实时数据仓库之大盘收入报表后端接口实现
170、实时数据仓库之高付费用户报表接口实现
171、实时数据仓库之流量域以及营销域接口实现1
172、实时数据仓库之流量域以及营销域接口实现2
173、实时数据仓库之用户主题实时分析完善代码讲解
174、实时数据仓库之用户主题接口代码讲解
175、实时数据仓库之实时排行榜分析完善讲解
176、实时数据仓库之实时排行榜分析接口代码讲解
177、实时数据仓库之特定时间店铺主题分析接口代码讲解
178、实时数据仓库性能优化之缓存优化

我要报名

GMT+8, 2021-3-1 21:33 , Processed in 0.115401 second(s), 27 queries .