Kafka分布式消息系统实战（与JavaScalaHadoopStorm集成）视频教程

Kafka分布式消息系统实战（与JavaScalaHadoopStorm集成）视频教程

 

 

 

 

Kafka是分布式的消息队列，作为云计算服务的基石，它广泛的应用在实时数据流方面，是实时数据处理的数据中枢，广泛应用在很多互联网企业，例如：linkedin，facebook，腾讯，百度，阿里等。实时数据流是现在互联网公司、甚至拥有大规模数据的传统企业的主要模式， 实时数据(Real-time Activity Data)就是那些非交易，不需要秒级响应的数据， 但在后续的分析中产生极大作用，例如个性化推荐、运营服务监控、精细化营销、报表等 。

 

 

 

1.课程研发环境

 

Kafka的版本：kafka_2.9.2-0.8.1.1.tgz和kafka_2.11-0.10.0.0.tgz

开发工具: Linux；Eclipse；Scala IDE

 

 

2.内容简介

 

Kafka是分布式的消息队列，作为云计算服务的基石，它广泛的应用在实时数据流方面，是实时数据处理的数据中枢，广泛应用在很多互联网企业，例如：linkedin，facebook，腾讯，百度，阿里等。实时数据流是现在互联网公司、甚至拥有大规模数据的传统企业的主要模式， 实时数据(Real-time Activity Data)就是那些非交易，不需要秒级响应的数据， 但在后续的分析中产生极大作用，例如个性化推荐、运营服务监控、精细化营销、报表等 。

 

 

Collen7788，毕业于清华大学，拥有超过13年的工作经验。

 

Oracle高级技术顾问，拥有6年以上授课经验。精通Oracle数据库、中间（Weblogic）和大数据Hadoop的管理和开发，精通Java语言。曾为湖北移动，北京市公安局，中国人寿，AutoDesk（中国）有限公司，成都运达科技股份有限公司，中国电信，中国移动，山东教育网进行培训。由于其认真负责的授课态度和基于本质的课程内容解释，深受学员的追捧。

 

 

第一章　Kafka的基本介绍

   1.1 什么是消息系统

   1.2 消息队列的分类

   1.3 Kafka的基本架构和概念

   1.4 ZooKeeper简介和安装

 

第二章　Kafka的原理解析

   2.1 Kafka的Producer处理逻辑

   2.2 Kafka的broker处理逻辑

   2.3 Kafka的Consumer处理逻辑

   2.4 Kafka集群部署在zk里的存储结构

 

第三章　Kafka的部署方式

   3.1 Kafka伪集群部署模式

   3.2 Kafka集群部署模式

   3.3 核心配置文件server.properties

 

第四章 Kafka的Java应用开发

   4.1 Producer端的实现

   4.2 Consumer端的实现

 

第五章 Kafka的Scala应用开发

   5.1 Scala的Producer的实现

   5.2 Scala的Producer的实现

 

第六章　Kafka与Hadoop的集成

   6.1 Hadoop简介和配置

   6.2 集成Kafka和Hadoop

 

第七章　Kafka与Flume的集成

   7.1 Flume简介和使用

   7.2 集成Kafka和Flume

 

第八章　Kafka与Storm的集成

   8.1 Storm的运行机制和部署

   8.2 Storm编程案例

   8.3 集成Kafka和Storm

 

 

本课程的目的在于系统性地介绍Kafka分布式消息系统，掌握了Kafka，你就拿到了大数据处理领域消息处理机制的钥匙，能够轻松上手开发分布式消息系统应用程序开发和维护，笑傲大数据处理技术。学完本课程，你可以掌握： 

1.Kafka的部署方式

2.Kafka的原理

3.Kafka与其他大数据组件的集成

4.基于Kafka的程序开发

 

 

亮点一、理论与实战相结合，由浅入深。即照顾到基础学员，又照顾到有一定经验的学员，讲解过程中留有学生思考的时间。

 

亮点二、课程绝大多数代码均是一行一行手工敲入，手把手一步步带领学员从入门到精通。

 

 

 

1.课程针对人群

 

本课程针对具有一定的大数据基础的学员，想通过本课程的学习，掌握Kafka分布式消息系统的学员。也适 合是有志于成为大数据开发和维护工程师岗位的学员。

 

 

2.我该怎么学,如何才能学好这门课程，给些建议。

 

（1）时间上的安排建议

本课程共8课时，对于有基础的学员，建议以每天3课时的进度往前学习；对于没有基础的学员，建议以每天1~2课时的进度往前学习。

（2）学习要求

如果您没有基础，建议还是中规中矩的按照课程进度一点一点仔细观看学习，并一定要把看完的视频中的代码自己手敲一遍，以加深理解和记忆。

如果您有基础，可不必按步就搬进行，可以拿你感兴趣的部分去学习，但一定要注意实践，并学会举一反三。

（3）讲师建议

l  最好看完视频之后，抛开视频，独立自己去把上课中的示例写一遍，看自己是否理解，如果不正确，可以回过头看再看下视频，如果反复，达到真正理解和熟练掌握的目的。

l  对于程序代码部分，一定要自己亲自动手做一遍，不要满足听完就OK了

l  建议一般听视频，一般拿个纸和笔，做一些记录和笔记，这是一种非常好的学习习惯。

l  一定不要过于依赖视频，要学会看文档和使用百度，学会思考，学会举一反三

l  最后祝您学有所成

 

 

课程是属于大数据技术的相关内容，掌握该技术后，你可以从事以下职位的相关工作：

大数据系统运维工程师