Spark项目实训（Python版） - 传智教育图书库

内容简介

本书以电商网站中的用户行为数据为数据源，系统地介绍了如何使用Spark生态系统进行离线分析和实时分析的方法和步骤。全书共6章，分别讲解了项目需求、项目架构、搭建集群环境、数据采集、数据仓库、数据分析和数据可视化。

本书附有配套视频、教学PPT、教学设计等资源，同时，为了帮助初学者更好地学习本书中的内容，还提供了在线答疑，欢迎读者关注。

适合群体

本书可以作为高等教育本、专科院校数据科学与大数据技术及相关专业的教材，并适合大数据开发初学者、大数据分析与挖掘的从业者阅读。

图书特色

数据的价值不仅与数据的数量有关，更与数据的质量和分析有关。为了从海量的数据中提取有价值的信息，我们需要有效地收集、存储、处理和分析数据，以支持商业决策和社会发展。然而，对于初学者来说，如何将Spark应用于实际场景可能是一个挑战。因此，我们编写了这本书，旨在为读者提供一个简洁明了的指南，帮助他们快速掌握和理解使用Spark生态系统进行数据分析的方法和步骤。本书的特点是简洁明了和实用性。通过系统的章节安排和清晰的语言表达，读者可以逐步了解项目的实现思路。

图书目录

第1章 项目概述
    1.1 项目需求和目标
    1.2 预备知识
    1.3 项目架构
    1.4 开发环境和工具
    1.5 项目开发流程
    1.6 本章小结
第2章 搭建集群环境
    2.1 基础环境搭建
	2.1.1 创建虚拟机
	2.1.2 安装Linux操作系统
	2.1.3 克隆虚拟机
	2.1.4 配置虚拟机
    2.2 安装JDK
    2.3 部署Hadoop集群
    2.4 部署Hive
    2.5 部署Flume
    2.6 部署ZooKeeper集群
    2.7 部署Kafka集群
    2.8 部署Spark
    2.9 部署Doris集群
    2.10 本章小结
第3章 数据采集	
    3.1 用户行为数据概述
    3.2 模拟生成用户行为数据
	3.2.1 生成历史用户行为数据
	3.2.2 生成实时用户行为数据
    3.3 配置采集方案
    3.4 采集用户行为数据
    3.5 本章小结
第4章 数据仓库
    4.1 数据仓库设计
    4.2 构建数据仓库
    4.3 向数据仓库加载数据
	4.3.1 向ODS层的表加载数据
	4.3.2 向DWD层的表加载数据
    4.4 本章小结
第5章 数据分析
    5.1 流量分析
    5.2 商品分析
    5.3 设备分析
    5.4 推荐系统
    5.5 地域分析
    5.6 本章小结
第6章 数据可视化
    6.1 Doris集成Hive
    6.2 FineBI的安装与配置
    6.3 实现数据可视化
	6.3.1 新建数据集
	6.3.2 实现流量分析的可视化
	6.3.3 实现商品分析的可视化
	6.3.4 实现设备分析的可视化
	6.3.5 实现地域分析的可视化
    6.4 本章小结

展开全部内容