第1章 初识Hadoop
1.1 大数据概述
1.1.1 什么是大数据
1.1.2 大数据的数据类型
1.1.3 大数据的特征
1.1.4 研究大数据的意义
1.2 大数据的应用场景
1.2.1 医疗行业的应用
1.2.2 金融行业的应用
1.2.3 零售行业的应用
1.3 Hadoop概述
1.3.1 Hadoop的前世今生
1.3.2 Hadoop的优点与局限
1.3.3 Hadoop的生态体系
1.3.4 Hadoop架构变迁
1.4 本章小结
1.5 课后习题
第2章 部署Hadoop集群
2.1 Hadoop集群部署模式
2.2 Hadoop核心配置
2.3 基于伪分布式模式部署Hadoop
2.4 基于完全分布式模式部署Hadoop
2.5 案例——词频统计
2.6 本章小结
2.7 课后习题
第3章 HDFS分布式文件系统
3.1 文件系统的分类
3.2 HDFS简介
3.2.1 HDFS架构
3.2.2 HDFS的特点
3.3 HDFS的文件读写流程
3.4 HDFS的健壮性
3.5 HDFS Shell操作
3.5.1 HDFS Shell介绍
3.5.2 案例——通过Shell脚本定时采集数据到HDFS
3.6 HDFS Java API操作
3.6.1 HDFS Java API介绍
3.6.2 案例——使用HDFS Java API操作HDFS
3.7 Federation
3.7.1 Federation实现原理
3.7.2 Federation优缺点
3.7.3 实现Federation
3.8 Erasure Coding
3.9 本章小结
3.10 课后习题
第4章 MapReduce分布式计算框架
4.1 MapReduce概述
4.2 MapReduce编程模型
4.3 MapReduce工作原理
4.3.1 MapReduce工作过程
4.3.2 MapTask工作原理
4.3.3 ReduceTask工作原理
4.4 MapReduce编程组件
4.4.1 InputFormat组件
4.4.2 Mapper组件
4.4.3 Reducer组件
4.4.4 Partitioner组件
4.4.5 OutputFormat组件
4.5 MapReduce驱动类
4.6 MapReduce性能优化策略
4.7 YARN资源管理框架
4.7.1 YARN架构
4.7.2 YARN工作流程
4.8 MapReduce经典案例——数据去重
4.8.1 案例分析
4.8.2 案例实现
4.9 MapReduce经典案例——TopN
4.9.1 案例分析
4.9.2 案例实现
4.10 MapReduce经典案例——倒排索引
4.10.1 倒排索引概述
4.10.2 案例分析
4.10.3 案例实现
4.11 本章小结
4.12 课后习题
第5章 ZooKeeper分布式协调服务
5.1 ZooKeeper简介
5.1.1 ZooKeeper特性
5.1.2 ZooKeeper架构
5.2 ZooKeeper数据模型
5.3 ZooKeeper典型应用场景
5.4 ZooKeeper的Watcher机制
5.5 ZooKeeper的选举机制
5.6 部署ZooKeeper
5.6.1 基于伪分布式模式部署ZooKeeper
5.6.2 基于完全分布式模式部署ZooKeeper
5.7 ZooKeeper Shell操作
5.8 ZooKeeper Java API操作
5.8.1 建立会话
5.8.2 操作ZNode
5.9 本章小结
5.10 课后习题
第6章 Hadoop高可用集群
6.1 HDFS高可用集群
6.2 YARN高可用集群
6.3 部署Hadoop高可用集群
6.4 本章小结
6.5 课后习题
第7章 Hive数据仓库
7.1 数据仓库简介
7.1.1 什么是数据仓库
7.1.2 数据仓库的意义
7.1.3 数据仓库分层
7.1.4 数据仓库模型
7.2 Hive简介
7.2.1 Hive概述
7.2.2 Hive系统架构
7.2.3 Hive数据模型
7.2.4 Hive数据类型
7.3 Beeline概述
7.4 Hive部署
7.4.1 内嵌模式部署Hive
7.4.2 本地模式部署Hive
7.4.3 远程模式部署Hive
7.4.4 安装Tez
7.5 数据库操作
7.5.1 创建数据库
7.5.2 查询数据库
7.5.3 查看数据库信息
7.5.4 切换数据库
7.5.5 修改数据库
7.5.6 删除数据库
7.6 表操作
7.6.1 CREATE TABLE语句分析
7.6.2 创建表
7.6.3 查询表
7.6.4 查看表信息
7.6.5 修改表
7.6.6 删除表
7.6.7 修改分区
7.7 数据操作
7.7.1 加载数据
7.7.2 插入数据
7.7.3 查询数据
7.7.4 连接查询
7.8 本章小结
7.9 课后习题
第8章 Flume日志采集系统
8.1 Flume概述
8.2 Flume日志采集系统架构图
8.3 部署Flume
8.4 Flume的基本使用
8.5 Flume的采集方案
8.5.1 Flume Sources
8.5.2 Flume Channels
8.5.3 Flume Sinks
8.6 Flume拦截器
8.7 Flume的可靠性保证
8.7.1 负载均衡
8.7.2 故障恢复
8.8 案例——将日志采集到HDFS
8.8.1 案例分析
8.8.2 案例实现
8.9 本章小结
8.10 课后习题
第9章 Azkaban工作流管理器
9.1工作流管理器概述
9.2 Azkaban概述
9.3部署Azkaban
9.3.1 Azkaban部署模式
9.3.2 安装Azkaban
9.3.3 配置Azkaban
9.3.4 启动Azkaban
9.4 Azkaban的使用
9.4.1 Azkaban的常用概念
9.4.2 案例演示——基于依赖关系的Job调度管理
9.4.3 案例演示——基于MapReduce程序的Job调度管理
9.4.4 案例演示——基于Hive脚本的任务调度管理
9.5 本章小结
9.6 课后习题
第10章 Spark分布式计算框架
10.1 Spark概述
10.2 Spark SQL简介
10.3部署Spark
10.3.1 Spark部署模式
10.3.2 基于Spark on YARN模式部署Spark
10.4 DataFrame的基础知识
10.4.1 DataFrame简介
10.4.2 DataFrame的创建
10.4.3 DataFrame的常用操作
10.4.4 DataFrame的数据写出
10.5 基于Spark实现数据迁移
10.5.1 案例演示——将MySQL中的数据导入HDFS
10.5.2 案例演示——将MySQL中的数据导入Hive
10.5.3 案例演示——将HDFS中的数据导入MySQL
10.5.4 案例演示——将Hive中的数据导入MySQL
10.6 本章小结
10.7 课后习题
第11章 综合项目——网站流量日志数据分析系统
11.1 系统概述
11.1.1 系统背景介绍
11.1.2 需求分析
11.1.3 系统架构
11.2 模块开发——数据采集
11.2.1 模拟数据来源
11.2.2 Flume采集数据
11.3 模块开发——数据预处理
11.4 模块开发——数据仓库开发
11.4.1 设计数据仓库
11.4.2 构建数据仓库
11.5 模块开发——数据分析
11.6 模块开发——数据迁移
11.7 模块开发——数据可视化
11.7.1 配置数据集
11.7.2 实现数据可视化
11.8 本章小结