本书在继承第1版教学体系的基础上,进行了系统升级与全面优化。以Hive4.1.0为核心版本,围绕数据仓库的全流程展开讲解。全书共8单元,内容覆盖数据仓库概念、Hive理论基础、Hive部署、数据定义语言、数据操作语言、数据查询语言、函数应用与综合项目实践,系统展示Hive在大数据分析与商业智能中的完整应用。
本书附有丰富的教学资源,包括配套测试题、PPT课件、教学设计等,并特别为初学者提供了在线答疑服务,帮助读者更好地掌握书中的知识内容,欢迎关注和使用。
本书兼具系统性、实用性与时代性,既适合作为高等教育本科和专科数据科学与大数据技术及相关专业的教材,也可作为数据开发、数据分析岗位培训的实践指导用书。
大数据作为信息化发展的核心驱动力,正在深刻改变政府治理、产业升级与社会运行的方式。随着5G、人工智能(AI)、云计算和物联网等新一代信息技术的迅猛发展,数据的采集、存储与分析规模呈指数级增长,数据仓库技术已成为支撑数字经济与智能决策的重要基础设施。在这一背景下,Hive凭借与Hadoop、Spark等生态的深度融合,以及对海量结构化与半结构化数据的高效分析能力,成为高校教学与企业应用中最具代表性的数据仓库平台。
本书在大数据产业高速发展与教学实践需求并行的时代背景下编写而成。本书立足最新的Hive 4.1.0版本,系统讲解从数据建模、数据操作、数据查询到综合项目的完整链条,突出“理论—实践—项目”一体化教学思路。
单元1 数据仓库基础与Hive入门
1.1 任务:认识数据仓库
1.1.1 数据仓库简介
1.1.2 数据仓库的意义
1.1.3 数据仓库分层架构
1.1.4 数据仓库的数据模型结构
1.2 任务:认识Hive
1.2.1 Hive概述
1.2.2 Hive架构
1.3 任务:认识Hive的数据组织方式
1.3.1 Hive的数据模型
1.3.2 Hive的数据类型
AI助学
单元总结
习题
单元2 Hive部署与应用
2.1 任务:认识Beeline
2.2 任务:基于内嵌模式部署Hive
2.3 任务:基于本地模式部署Hive
2.4 任务:基于远程模式部署Hive
2.5 任务:配置HiveOnTez
2.6 任务:使用DataGrip操作Hive
AI助学
单元总结
习题
单元3 Hive数据定义
3.1 任务:管理数据库
3.1.1 创建数据库
3.1.2 查询数据库
3.1.3 查看数据库信息
3.1.4 切换数据库
3.1.5 修改数据库
3.1.6 删除数据库
3.2 任务:管理表
3.2.1 分析CREATE TABLE语句
3.2.2 创建表
3.2.3 查询表
3.2.4 查看表信息
3.2.5 修改表
3.2.6 删除表
3.2.7 清空表
3.3 任务:管理分区
3.3.1 创建分区表
3.3.2 添加分区
3.3.3 查询分区
3.3.4 重命名分区
3.3.5 移动分区
3.3.6 删除分区
3.4 任务:创建分桶表
3.5 任务:创建临时表
3.6 任务:管理视图
3.6.1 创建视图
3.6.2 查询视图
3.6.3 修改视图
3.6.4 删除视图
3.7 任务:管理物化视图
3.7.1 创建物化视图
3.7.2 查询物化视图
3.7.3 维护物化视图
3.7.4 删除物化视图
AI助学
单元总结
习题
单元4 Hive数据操作
4.1 任务:向表加载文件
4.2 任务:向表插入数据
4.3 任务:将查询结果写入文件
4.4 任务:执行Hive事务操作
4.4.1 认识事务
4.4.2 了解Hive中的事务
4.4.3 启用事务支持
4.4.4 更新操作
4.4.5 删除操作
4.5 任务:导入与导出数据
AI助学
单元总结
习题
单元5 Hive数据查询
5.1 任务:分析SELECT语句
5.2 任务:执行条件查询
5.3 任务:执行公共表表达式查询
5.4 任务:执行分组查询
5.5 任务:执行排序查询
5.6 任务:执行合并查询
5.7 任务:执行连接查询
5.8 任务:执行抽样查询
AI助学
单元总结
习题
单元6 Hive函数应用
6.1 任务:使用常用内置函数
6.1.1 聚合函数
6.1.2 数学函数
6.1.3 集合函数
6.1.4 类型转换函数
6.1.5 日期函数
6.1.6 条件函数
6.1.7 字符串函数
6.1.8 表生成函数
6.2 任务:使用窗口函数
6.3 任务:开发自定义函数
6.3.1 准备开发环境
6.3.2 开发UDF
6.3.3 开发UDAF
6.3.4 开发UDTF
6.3.5 注册自定义函数
AI助学
单元总结
习题
单元7 Hive性能优化
7.1 任务:优化数据存储
7.2 任务:优化配置参数
7.3 任务:优化执行语句
AI助学
单元总结
习题
单元8 综合项目——搭建教育大数据分析平台
8.1 任务:明确项目建设基础
8.1.1 了解项目背景
8.1.2 分析项目需求
8.1.3 认识原始数据结构
8.1.4 认识项目架构
8.2 任务:部署Spark
8.3 任务:构建数据仓库
8.4 任务:采集业务数据
8.5 任务:预处理业务数据
8.6 任务:分析业务数据
8.6.1 访问用户量统计
8.6.2 会话页面统计
8.6.3 总访问用户量统计
8.6.4 来源渠道访问用户量统计
8.6.5 咨询率统计
8.7 任务:实现数据可视化
8.7.1 导出分析结果
8.7.2 配置数据集
8.7.3 实现访问用户量统计可视化
8.7.4 实现会话页面统计可视化
8.7.5 实现来源渠道访问用户量统计可视化
AI助学
单元总结