大数据协作框架Sqoop+Flume+Oozie+Hue视频教程

大数据协作框架Sqoop+Flume+Oozie+Hue视频教程

 

 

 

第1章 数据转换工具Sqoop

        01 大数据Hadoop 2.x协作.框架的功能
        02 Sqoop 功能概述和版本、架构讲解
        03 Sqoop 使用要点(核心)及企业版本讲解
        04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境
        05 Sqoop 1安装及基本使用讲解
        06 使用Sqoop导入数据到HDFS及本质分析
        07 Sqoop导入数据设置数据存储格式parquet
        08 Sqoop导入数据使用query讲解
        09 Sqoop导入数据设置数据压缩为sanppy
        10 对snappy压缩数据结合Hive进行数据的导入与分析
        11 Sqoop导入数据时两种增量方式导入
        12 Sqoop导入数据direct使用讲解
        13 Sqoop导出数据Export使用讲解
        14 Sqoop如何将RDBMS表中的数据导入到Hive表中
        15 Sqoop如何导出Hive表中数据到RDBMS中
        16 Sqoop使用--options-file进行运行任务讲解
        17 回顾复Sqoop的使用及布置作业(oracle与hadoop数据的import)

 

第2章 文件收集框架Flume)

        01 Flume功能概述讲解
        02 Flume架构设计讲解
        03 Flume Agent编程及flume-ng命令使用讲解
        04 Flume第一个Agent应用编写(实时读取数据)网页
        05 Flume Agent三大组件Source、Channe、Sink常用类型讲解
        06 Flume第二个Agent应用讲解(实时监控读取日志数据，存储hdfs文件系统)
        07 Flume收集数据存储hdfs上的一些高级配置
        08 Flume在企业大数据仓库中数据收集架构
        09 Flume收集数据存储hdfs上的企业需求讲解
        10 Flume实在案例讲解(监控日志目录日志数据，实时抽取之hdfs系统上)

 

第3章 任务调度框架Oozie

        01 工作流调度框架Oozie功能初步认识
        02 Linux Crontab调度讲解
        03 大数据Hadoop常用三种调度框架讲解
        04 Oozie 功能架构及三大Server讲解
        05 Oozie安装部署讲解一
        06 Oozie安装部署讲解二
        07 Oozie案例运行MapReduce Wordflow讲解
        08 如何定义Ooozie Workflow讲解
        09 Oozie Workflow中MapReduce Action定义讲解
        10 如何编写新API中MapReduce Action讲解
        11 编写Oozie Workflow的MapReduce Action并运行
        12 回顾复Oozie Workflow编程要点及MapReduce Action的使用
        13 Oozie WorkFlow中Hive Action使用案例讲解一
        14 Oozie WorkFlow中Hive Action使用案例讲解二
        15 Oozie WorkFlow中Sqoop Action使用案例讲解一
        16 Oozie WorkFlow中Sqoop Action使用案例讲解二
        17 Oozie WorkFlow中Shell Action使用案例讲解
        18 Oozie WorkFlow作业布置
        19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式
        20 Oozie Coordinator配置定时触发案例演示
        21 Oozie Coordinator·配置调度MapReduce· WordCount程序
        22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一
        23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二
        24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三
        25 Oozie中Coordinator中的数据可用性及Bundle讲解(1)
        26 Oozie中Coordinator中的数据可用性及Bundle讲解(2)

 

第4章 大数据WEB工具Hue

        01 Hue架构功能讲解
        02 Hue编译安装讲解
        03 Hue集成HDFS、YARN配置功能演示讲解
        04 Hue集成Hive配置讲解(HiveServer2及MetaStore)
        05 Hue集成RDBMS配置讲解
        06 Hue集成Oozie配置讲解及作业布置

 

 

 

大数据协作框架Sqoop+Flume+Oozie+Hue视频教程截图展示：