登录    注册
  

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)

  • 赞助费:¥300元   在线客服:有事联系我哦     点击这里给我发消息    itying微信客服    交流群:it营
  • 适合人群: 初级
  • 课时数量: 28讲
  • 更新程度: 完成
  • 主要技术: Storm集群、Zookeeper集群
  • 用到技术: Storm集群、Zookeeper集群
  • 涉及项目: 网站PV、UV案例实战、其他案例
  • 浏览次数: 1298 次     付款后在订单列表获取下载地址

浏览历史

课程描述

相关课程

还购买过

Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

 

 

 

课程的价值,我说了不算!这一切您学完了,you can!

 

1、Storm全面、系统、深入讲解,采用最新的稳定版本Storm 0.9.0.1 ;
 
2、注重实践,对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解,
让学员觉得简单易懂;
 
3、分享积累的经验和技巧,从架构的角度剖析场景和设计实现方案;
 
4、讲师Cloudy具有丰富的电商云平台架构经验,对流计算更是涉足早、沉淀深,课程依然沿用重实践、重实战的风格。
 
学习课程需要具有: Java基础、Linux基础
 
学习课程可以提升的技能(Storm除外):Zookeeper、Java、Linux
 

1、Storm简介和课程介绍

2、Storm原理和概念详解

3、Zookeeper集群搭建及基本使用

4、Storm集群搭建及测试

5、API简介和入门案例开发

6、Spout的Tail特性、storm-starter及maven使用、Grouping策略

7、实例讲解Grouping策略及并发6种分组策略详解并发度与线程安全

8、并发度详解、案例开发(高并发运用) 高并发下注重线程安全   fieldsGrouping案例

9、案例开发——计算网站PV  通过2种方式实现汇总型计算。

10、案例优化引入Zookeeper锁控制线程操作

11、计算网站UV(去重计算模式)   去重计算模式实战讲解

12、【运维】集群统一启动和停止shell脚本开发   开发Storm集群统一启动和停止shell,该脚本在运维中非常有用和高效。 

13、批处理事务原理详解    Storm事务工作原理深入讲解

14、Storm事务API及案例分析   Storm事务相关API详解    Storm事务案例分析

15、Storm事务案例实战之 ITransactionalSpout   Storm事务案例开发   ITransactionalSpout的实现

16、Storm事务案例升级之按天计算   结合企业场景,案例升级进行按天计算

17、Storm分区事务案例实战     案例之IPartitionedTransactionalSpout的实现和运用

18、Storm不透明分区事务案例实战    案例之IOpaquePartitionedTransactionalSpout 的实现和运用

19、DRPC精解和案例分析   DRPC工作原理精讲   DRPC案例分析

20、Storm Trident 入门  Trident是Storm基础API的抽象封装,等同于基于Hadoop的Pig。

Trident框架功能强大,调用简单,是Storm开发的利器。

本节讲述Trident编程模式和案例分析。

21、Trident API和概念

Trident相关API一览,尤其讲述3类Spout的变化

相关概念术语

22、Storm Trident实战之计算网站PV

采用简单企业场景进行Storm Trident实战开发  

23、ITridentSpout、FirstN(取Top N)实现、流合并和Join

ITridentSpout实现讲解

FirstN(取Top N)实现原理

FirstN(取Top N)实现案例

流合并和Join

投影、调用链使用

24、Storm Trident之函数、流聚合及核心概念State

函数、流聚合及各类流输出类型

Trident核心概念State精讲   

25、Storm Trident综合实战一(基于HBase的State)

Storm Trident综合实战,自定义开发HBase版State,同时实现非事务、事务、不透明事务 3中语义。

通过对State的深入理解,对理解Trident编程模型和灵活Trident开发很有帮助。

26、Storm Trident综合实战二

27、Storm Trident综合实战三

28、Storm集群和作业监控告警开发

该监控程序功能

1、可以对Storm集群主节点、工作节点状态监控

2、作业监控,Topology非法中止时发出告警

IT营(itying.com)官网转载的文章、图片等资料的版权归版权所有人所有,因无法和版权所有者一一联系,如果本网站选取的文/图威胁到您的权益,请您及时和IT营站长联系。
我们会在第一时间内采取措施,避免给双方造 成不必要的损失。IT营(itying.com)官网商品均为虚拟商品,因发货后无法收回,故购买后不支持退款,请悉知。有问题可以联系客服咨询(客服上班时间:8:00-21:30)。

在线客服:点击这里给我发消息      点击这里给我发消息      有事联系我哦   

公安备案:鄂公网安备 42050202000392号  ICP备案证书号:鄂ICP备17020565号-1