直播平台实时数仓与画像运营
掌握java、scala、sql语言,大数据实时计算组件(kafka/redis/flink等).
不包含练习时间,纯讲解时长达8天(每天6小时左右).
从业人员,可以领略设计和思想为主(新手则建议逐行代码跟随实现)
真正为公司带来业务价值的应用场景
实时大屏
从投放数据中提取广告价值
实时BI报表
学习
实时用户画像
客观分析不止于感性分析
实时监控预警
个性化推荐不止推荐算法
1000+实时指标
200+主题,1000+指标
行为主题,消费分析,活动分析,礼物分析,用户分析,流量分析
500+代码文件
需求丰富,场景复杂
1000+的java代码开发,包含数千个类,全程现场手敲
80+特别设计
背压监测,事务控制
实时系统一旦上线,就要求7*24小时在线运行,需要大量额外设计
项目整体技术架构
分层开发,结构清晰,项目实用,技术完整
直观的报表看板
基于echarts组件,直观展示各类画像数据统计报表
先进的流批一体设计
基于streamx最新框架实现流批一体,自由sql定制
两阶段提交实现生产级exactly-once
lambda架构之所以一直存在,正是因为实时计算系统难以保证真正精确,本项目综合大量实力企业的做法,实现了生产级的严格一致
完善的背压量化监控机制
实时系统中,flink背压一直是线上系统重点关注的问题,项目中通过独到的设计实时收集并量化背压指标
学员学习感受分享
数据仓库从业人员的学后感受,那是最客观真实和有参考意义的. 截图来源于免费公开分享版