本书附有配套视频、源代码、习题、教学课件等资源,为帮助初学者更好地学习本书中的内容,还提供了在线答疑,希望得到更多读者的关注。
本书既可作为高等院校本、专科计算机相关专业的专用教材,也可以作为技术爱好者的入门用书。
(1)知识讲解由浅入深
本教材采用阶梯式教学逻辑,聚焦pandas与OpenRefine两大核心工具展开数据预处理教学。先以pandas为切入点,系统讲解数据获取、清理、集成、变换、规约等核心技术,再继续介绍 OpenRefine 工具的基础操作与应用场景,由理论概念逐步过渡到工具实操,帮助读者稳步搭建知识框架。
(2)案例驱动高效学习
教材强化实践导向,不仅在重点章节设置针对性实操案例,还精心设计贯穿全书的综合项目。从单一知识点演练到复杂业务场景模拟,通过真实可复用的案例,助力读者快速掌握数据预处理技术。
目录 第1章 数据预处理概述 1.1 什么是数据预处理 1.2 常见的数据问题 1.3 数据预处理的流程 1.4 常用的数据预处理库 1.5 开发工具与环境 1.5.1 安装与使用Jupyter 1.5.2 安装数据预处理库 1.6 本章小结 1.7 习题 第2章 科学计算库——numpy 2.1 数组对象 2.2 创建数组 2.3 访问数组元素 2.3.1 使用整数索引访问元素 2.3.2 使用花式索引或布尔索引访问元素 2.3.3 使用切片访问元素 2.4 数组运算 2.4.1 形状相同的数组间运算 2.4.2 形状不同的数组间运算 2.4.3 数组与常量的运算 2.5 数组操作 2.5.1 排序 2.5.2 检索数组元素 2.5.3 元素唯一化 2.6 数组的转置 2.7 本章小结 2.8 习题 第3章 pandas库基础 3.1 数据结构 3.1.1 Series 3.1.2 DataFrame 3.2 索引操作 3.2.1 索引对象 3.2.2 使用单层索引访问数据 3.2.3 使用分层索引访问数据 3.2.4 重新索引 3.3 数据排序 3.3.1 按索引排序 3.3.2 按值排序 3.4 统计计算与描述 3.4.1 常见的统计计算 3.4.2 统计描述 3.5 绘制图表 3.6 本章小结 3.7 习题 第4章 数据获取 4.1 从CSV和TXT文件获取数据 4.2 从Excel文件获取数据 4.3 从JSON文件获取数据 4.4 从HTML表格获取数据 4.5 从数据库获取数据 4.6 从Word文件获取数据 4.6.1 python-docx概述 4.6.2 python-docx的基本使用 4.7 从PDF文件获取数据 4.7.1 pdfplumber概述 4.7.2 pdfplumber的基本使用 4.8 本章小结 4.9 习题 第5章 数据清理 5.1 数据清理概述 5.2 缺失值的检测与处理 5.2.1 缺失值的检测 5.2.2 缺失值的处理 5.3 重复值的检测与处理 5.3.1 重复值的检测 5.3.2 重复值的处理 5.4 异常值的检测与处理 5.4.1 异常值的检测 5.4.2 异常值的处理 5.5 案例——成都某地区二手房数据清理 【分析目标】 【数据获取】 【数据清理】 5.6 本章小结 5.7 习题 第6章 数据集成、变换与规约 6.1 数据集成 6.1.1 数据集成概述 6.1.2 合并数据 6.2 数据变换 6.2.1 数据变换概述 6.2.2 轴向旋转 6.2.3 分组与聚合 6.2.4 哑变量处理 6.2.5 面元划分 6.3 数据规约 6.3.1 数据规约概述 6.3.2 重塑分层索引 6.3.3 降采样 6.4 案例——中国篮球运动员的基本信息分析 【分析目标】 【数据获取】 【数据清理】 【实现步骤】 6.5 本章小结 6.6 习题 第7章 数据清理工具——OpenRefine 7.1 OpenRefine介绍 7.2 OpenRefine的下载与安装 7.3 OpenRefine的基本操作 7.3.1 基本配置 7.3.2 创建项目 7.3.3 操作列 7.3.4 撤销与重做 7.3.5 导出数据 7.4 OpenRefine的进阶操作 7.4.1 数据排序 7.4.2 数据归类 7.4.3 重复检测 7.4.4 数据填充 7.4.5 文本过滤 7.4.6 数据转换 7.5 案例——多伦多市建筑许可数据信息分析 【分析目标】 【数据获取】 【数据清理】 【实现步骤】 7.6 本章小结 7.7 习题 第8章 实战演练——数据分析师岗位分析 8.1 知识精讲 8.1.1 数据分析的流程 8.1.2 使用pyecharts绘制图表 8.2 分析目标与思路 8.3 数据收集 8.4 数据预处理 8.5 数据分析与展现 8.5.1 数据分析师岗位的需求趋势 8.5.2 数据分析师岗位的热门城市Top10 8.5.3 不同城市数据分析师岗位的薪资水平 8.5.4 数据分析师岗位的学历要求 8.6 本章小结