出版社:中国铁道出版社
ISBN:978-7-113-33453-6
图书种类:高校教材
出版日期:2026-07(预估)
所属学科:大数据
页数:294(预估)
关注获取新书发布信息

本书采用“任务驱动”编写模式,系统介绍Hadoop大数据生态系统的核心组件,将关键知识点融入具体开发任务,引导读者在任务实施过程中逐步掌握各组件的使用。全书共7章,内容覆盖大数据概念、Hadoop理论基础与部署,以及HDFS、MapReduce、Hive、HBase、Spark等核心组件的应用,并配套综合项目实践,系统呈现基于Hadoop生态构建大数据平台并完成端到端数据处理与分析的完整流程。
本书附有丰富的教学资源,包括配套教学PPT、教学大纲、教学设计、源代码、课后习题及答案等,并特别为初学者提供了在线答疑服务。
本书兼具系统性、实用性与时代性,既适合作为高等教育本科和专科数据科学与大数据技术及相关专业的教材,也可作为数据开发、数据分析岗位培训的实践指导用书。
单元1 Hadoop环境部署与配置
学习目标
任务1 搭建大数据基础运行环境
任务需求
知识讲解
1.大数据简介
2.大数据的数据类型
任务实现
任务2 基于完全分布式模式部署Hadoop
任务需求
知识讲解
1.Hadoop概述
2.Hadoop核心组件
3.Hadoop完全分布式架构
任务实现
任务3 基于高可用模式部署Hadoop
任务需求
知识讲解
1.ZooKeeper概述
2.Hadoop高可用架构
任务实现
AI助学
单元总结
习题
单元2 HDFS分布式文件管理
学习目标
任务1 构建资源管理平台
任务需求
知识讲解
使用HDFS Web UI操作HDFS
任务实现
任务2 构建日志管理平台
任务需求
知识讲解
使用HDFS Shell操作HDFS
任务实现
任务3 构建数据管理平台
任务需求
知识讲解
使用HDFS Java API操作HDFS
任务实现
AI助学
单元总结
习题
单元3 MapReduce离线数据分析
学习目标
任务1 热门搜索关键词分析
任务需求
知识讲解
1. MapReduce编程模型
2. MapReduce核心组件
任务实现
任务2 各区域商品销售分析
任务需求
知识讲解
Partitioner
任务实现
任务3 热销商品分析
任务需求
知识讲解
Combiner
任务实现
AI助学
单元总结
习题
单元4 Hive数据仓库应用
学习目标
任务1 基于远程模式部署Hive
任务需求
知识讲解
1. Hive简介
2. Hive系统架构
3. Beeline的基本使用
4. Hive部署模式
任务实现
任务2 搭建电商业务数据仓库
任务需求
知识讲解
1.数据仓库简介
2.数据仓库分层架构
3.Hive数据模型
4.Hive数据类型
5.数据库的常见操作
6.表的常见操作
任务实现
任务3 电商业务数据装载
任务需求
知识讲解
1.向表中加载数据
2.向表中插入数据
任务实现
任务4 用户消费行为分析
任务需求
知识讲解
1.数据查询操作
2.聚合函数
3.连接查询
任务实现
AI助学
单元总结
习题
单元5 HBase数据库应用
学习目标
任务1 基于完全分布式模式部署HBase
任务需求
知识讲解
1. HBase简介
2. HBase体系结构
3. HBase部署模式
任务实现
任务2 构建电商业务存储体系
任务需求
知识讲解
1. HBase Shell
2.命名空间的常见操作
任务实现
任务3 电商核心业务表管理
任务需求
知识讲解
1.HBase数据模型
2.表的常见操作
任务实现
任务4 电商业务数据基础操作
任务需求
知识讲解
数据的常见操作
任务实现
任务5 电商业务数据条件查询
任务需求
知识讲解
条件查询的常见操作
任务实现
AI助学
单元总结
习题
单元6 Spark内存计算与实时处理
学习目标
任务1 基于Standalone模式部署Spark
任务需求
知识讲解
1. Spark简介
2. Standalone基本架构
3. spark-submit的使用
任务实现
任务2 基于Spark on YARN模式部署Spark
任务需求
知识讲解
Spark on YARN运行原理
任务实现
任务3 用户行为日志预处理
任务需求
知识讲解
1. DataFrame简介
2. DataFrame的创建
3. DataFrame的常用操作
4. DataFrame的输出
任务实现
任务4 日均商品销售额分析
任务需求
知识讲解
DataFrame的函数操作
任务实现
任务5 商品交易实时分析
任务需求
知识讲解
1.Structured Streaming编程模型
2.Structured Streaming的输入操作
3.Structured Streaming的输出操作
任务实现
任务6 热门商品实时分析
任务需求
知识讲解
Structured Streaming的窗口操作
任务实现
AI助学
单元总结
习题
单元7 综合实战——电商平台大数据分析系统
学习目标
任务1 业务数据存储设计与实现
任务介绍
任务操作
任务2 用户行为数据预处理
任务介绍
任务操作
任务3 构建电商业务数据仓库
任务介绍
任务操作
任务4 构建用户画像存储系统
任务介绍
任务操作
任务5 离线业务指标统计
任务介绍
任务操作
任务6 实时业务指标统计
任务介绍
任务操作
AI助学
单元总结