众所周知,Hadoop在处理海量数据方面有着强大的能力,但是只能进行离线数据分析,而Storm可以帮助我们实现实时流式计算,因此Storm被誉为“实时的Hadoop”。
对于学员来说,在掌握了Hadoop的基础上,再学会Storm,简直如虎添翼,在大数据行业里面会有更强的竞争力。这是一套系统且具有很强实战性的Storm课程,从实时流计算及其在新浪、腾讯、360、百度等公司应用分析,到Storm的架构、工作流、机制,再到Storm集群的部署、运行、监控,最后以某上市婚恋网站的真实项目做为案例来详细讲解并带领大家完成从理论到实战的进阶!
高老师在上市互联网公司工作多年,他将自己积累下的Storm项目经验、技术笔记、个人心得通过这门课毫无保留的分享给大家,希望有更多的同学投入到Storm技术的学习和使用中来,更好的解决工作中实时流计算相关的业务需求!
大讲台hadoop培训之Storm课程大纲
初级阶段
Storm的系统架构
主节点(Nimbus)
从节点(Supervisor)
Web节点(StormUI)
协调节点(Zookeeper)
Storm的工作流
作业单元(Topology)
数据源编程单元(Spout)
数据处理编程单元(Bolt)
Storm的并发机制
服务器(Nodes)
JVM虚拟机(Worker)
线程(Executor)
Spout/Bolt实例(Task)
Storm的数据流
Stream讲解(Tuple)
Storm的数据模型
StreamGrouping
Storm的保障机制
功能性保障:多粒度的并行化
非功能性保障:多级别的可靠性
初级阶段
Storm的系统架构
主节点(Nimbus)
从节点(Supervisor)
Web节点(StormUI)
协调节点(Zookeeper)
Storm的工作流
作业单元(Topology)
数据源编程单元(Spout)
数据处理编程单元(Bolt)
Storm的并发机制
服务器(Nodes)
JVM虚拟机(Worker)
线程(Executor)
Spout/Bolt实例(Task)
Storm的数据流
Stream讲解(Tuple)
Storm的数据模型
StreamGrouping
Storm的保障机制
功能性保障:多粒度的并行化
非功能性保障:多级别的可靠性
Zookeeper讲解
Zookeeper介绍
基础系统安装
JAVA安装
Zookeeper搭建
Zookeeper状态查看命令
Storm部署
Storm版本发展历史
本地模式
分布式模式
主节点Nimbus
工作节点Supervisor
StormUI
Storm配置项
项目如何在Storm集群下运行
StormJavaAPI
Topology创建与提交
Example
Kafka讲解
Kafka介绍
Kafka的消息持久化和顺序读写
Kafka的应用
Kafka的客户端
Storm和Kafka的对接:KafkaSpout
Storm集群的监控与管理
主机信息监控
日志监控
StormUI
对于学员来说,在掌握了Hadoop的基础上,再学会Storm,简直如虎添翼,在大数据行业里面会有更强的竞争力。这是一套系统且具有很强实战性的Storm课程,从实时流计算及其在新浪、腾讯、360、百度等公司应用分析,到Storm的架构、工作流、机制,再到Storm集群的部署、运行、监控,最后以某上市婚恋网站的真实项目做为案例来详细讲解并带领大家完成从理论到实战的进阶!
高老师在上市互联网公司工作多年,他将自己积累下的Storm项目经验、技术笔记、个人心得通过这门课毫无保留的分享给大家,希望有更多的同学投入到Storm技术的学习和使用中来,更好的解决工作中实时流计算相关的业务需求!
大讲台hadoop培训之Storm课程大纲
初级阶段
Storm的系统架构
主节点(Nimbus)
从节点(Supervisor)
Web节点(StormUI)
协调节点(Zookeeper)
Storm的工作流
作业单元(Topology)
数据源编程单元(Spout)
数据处理编程单元(Bolt)
Storm的并发机制
服务器(Nodes)
JVM虚拟机(Worker)
线程(Executor)
Spout/Bolt实例(Task)
Storm的数据流
Stream讲解(Tuple)
Storm的数据模型
StreamGrouping
Storm的保障机制
功能性保障:多粒度的并行化
非功能性保障:多级别的可靠性
初级阶段
Storm的系统架构
主节点(Nimbus)
从节点(Supervisor)
Web节点(StormUI)
协调节点(Zookeeper)
Storm的工作流
作业单元(Topology)
数据源编程单元(Spout)
数据处理编程单元(Bolt)
Storm的并发机制
服务器(Nodes)
JVM虚拟机(Worker)
线程(Executor)
Spout/Bolt实例(Task)
Storm的数据流
Stream讲解(Tuple)
Storm的数据模型
StreamGrouping
Storm的保障机制
功能性保障:多粒度的并行化
非功能性保障:多级别的可靠性
Zookeeper讲解
Zookeeper介绍
基础系统安装
JAVA安装
Zookeeper搭建
Zookeeper状态查看命令
Storm部署
Storm版本发展历史
本地模式
分布式模式
主节点Nimbus
工作节点Supervisor
StormUI
Storm配置项
项目如何在Storm集群下运行
StormJavaAPI
Topology创建与提交
Example
Kafka讲解
Kafka介绍
Kafka的消息持久化和顺序读写
Kafka的应用
Kafka的客户端
Storm和Kafka的对接:KafkaSpout
Storm集群的监控与管理
主机信息监控
日志监控
StormUI