大数据实训
Frist day
工具
vmware15
Linux centos7.5
Hadhoop3.2.1
Hive3.1.2
SpringBoot
Echart
zk3.4.5
架构
- 编码[内存]
- 磁盘（textfile xml json）
- RDBMS(mysql oracle)
- 分布式、集群 （nosql）
- Hadhoop
数仓架构
离线:批计算——攒了一批数据、计算一次
- 数据来源
（1）业务数据【RDBMS】
（2）行为数据【行为日志】
（3）爬虫数据【api】
（4）第三方交易【api】 - 数据采集
（1）mr
（2）spark
（3）flink
3.数仓搭建
（1）Hive
4.业务流程
实时:流计算——来一次计算一次
1.数据来源
（1）业务数据【RDBMS】
（2）行为数据【行为日志】
（3）爬虫数据【api】
（4）第三方交易【api】
2.缓冲
（1）kafla
3.存储
（1）redis
（2）hbase
（3）sprakstreaming
（4）flink
（5）blink
4.分析
（1）olap分析引擎
（2）kylin
（3）clickhouse
5.展示
Springboot
Echarts
Linux-简单使用部署
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码