☰
数据挖掘导论第二版答案手册:核心概念与实战避坑指南
2026/10/14 4:41:33 网站建设 项目流程

简介:《数据挖掘导论第二版》配套的教师解决方案手册,面向正在学习数据挖掘课程的高校学生、研究生以及需要巩固算法原理的从业者。内容依据Pang-Ning Tan等人经典教材编写,按章节覆盖第1章至第10章,梳理了数据挖掘任务识别、分类、关联分析、聚类分析、异常检测及避免假发现等核心内容的习题答案,并给出清晰推导与解题思路,尤其对决策树、朴素贝叶斯、支持向量机、Apriori、K-means、DBSCAN等经典算法有代表性练习解答。压缩包内为单个PDF文件,体积约1.25MB,便于直接阅读或打印,适合在系统学习教材时对照练习。目前已有3917人学习下载,能帮助读者理解预测建模、关联规则理解以及聚类评估等难点,并通过动手验证强化对数据挖掘流程与模型评价的把握。

1. 数据挖掘导论第二版答案手册:它到底能帮你解决什么

《数据挖掘导论第二版》的课后习题,向来是入门者最头疼的部分:概念题看起来简单,却总在“这算不算数据挖掘任务”的边界上翻车。这份配套的教师答案手册(Instructor’s Solution Manual),把第 1 章到第 10 章每道习题的判定过程摊开来讲——它不仅给结论,更解释“为什么这么判”。对三类人最有用:刚读完教材、想验证自己理解的自学者;需要备课和出题的助教;以及准备数据挖掘方向笔试、面试的求职者。它不是代码仓库,没有一行程序,但它是能把概念框架钉死的判题标准。

2. 从“是不是数据挖掘”到“这是什么属性”:数据准备阶段的判定标准

数据挖掘的起点不是建模,而是搞清楚手头的数据和任务到底是什么。答案手册前两章反复在做这件事:先判断任务有没有挖掘价值,再判断属性属于什么尺度,最后才谈算法。

2.1 数据挖掘任务 vs 普通查询:一张判定表走天下

第 1 章第 1 题是判断一系列活动是否属于数据挖掘,包括按性别划分客户、计算总销售额、按学号排序、预测骰子结果、预测股价、监控心率异常等。很多人凭直觉作答,结果在“计算总销售额”这类题上栽跟头。

从答案里可以提炼一条通用标准:如果这个操作只是对已有数据的检索、分组、求和或排序,那是数据库查询或会计计算;只有当我们需要从数据中学习一个模型、预测未知对象,或者发现事先未知的模式时,才算数据挖掘。

活动是否数据挖掘判定理由
按性别划分客户否简单的数据库查询
按盈利能力划分客户否会计计算加阈值;但预测新客户盈利能力属于挖掘
计算总销售额否简单求和,无模式发现
按学号排序学生库否数据库排序操作
预测公平骰子结果否已知概率模型下的数学计算
用历史行情预测股价是需要从历史数据学习回归模型
监控心率并报警是构建正常行为模型,属于异常检测
监测地震波形是对不同波形建模并分类
提取声波频率否信号处理,不是模式发现

做完这张表再看另一道场景题:假设你是某搜索引擎公司做数据挖掘的顾问,怎么用聚类、分类、关联规则、异常检测帮公司?答案给出的分工值得记牢——聚类把相似结果分组后合并呈现;分类把结果预判到体育、政治等预设类目;序列关联分析能发现“查询 A 之后大概率会查 B”的规律,用于缓存优化;异常检测则能捕捉到某个主题突然爆红这类流量突变,让广告策略及时调整。

这里有个容易混淆的点:聚类和分类的区别在于“有没有预设类别”。分类是先定义好类目再打标,聚类是让数据自己抱团。这个区分在第 2 章的属性判断里还会反复出现。

2.2 属性分类:两个维度组成四象限

第 2 章的核心练习是给属性分类。答案给出的判定框架值得当作固定套路记下来:先看取值形式——只有两个取值的是 binary,取值为有限可数的是 discrete,取值连续的是 continuous;再看数学意义——名义与序数是定性数据,区间与比率是定量数据。

两道特别容易记混的题:亮度用光强计测量,是 continuous / quantitative / ratio;亮度让人来主观判断,却是 discrete / qualitative / ordinal。同样的“亮度”,测量工具不同,属性类型完全不同。海拔高度则看海平面是否被当作自然原点,可以判 interval 也可以判 ratio,答案特意写了“depends”。属性分类不是死的,取决于你如何解释测量原点。

属性取值形式数学尺度
AM/PM 时间binaryqualitative,ordinal
光强计测亮度continuousquantitative,ratio
人评亮度discretequalitative,ordinal
0~360 度角continuousquantitative,ratio
金/银/铜奖牌discretequalitative,ordinal
海拔高度continuousquantitative,interval 或 ratio
医院患者数discretequantitative,ratio
ISBN 书号discretequalitative,nominal
透光性三档discretequalitative,ordinal
军衔discretequalitative,ordinal
距校园中心距离continuousquantitative,interval 或 ratio
密度(g/cm³)discretequantitative,ratio
衣帽寄存号discretequalitative,nominal

注意:判断属性类型时先看“取值个数”,再看“能做哪种运算”。只要顺序固定,就不会把 discrete 和 nominal 这两条轴搅在一起。

2.3 测量尺度的实际影响:为什么“平均值”不一定算得对

第 2 章有一道很经典的案例题:营销总监统计每个产品的投诉次数,认为“计数”是比率属性,所以他的顾客满意度指标一定也是比率属性。答案直接否掉:投诉数确实是比率属性,但它衡量的是投诉量,不是满意度。一个产品卖得多,投诉自然多;要衡量满意度,得用投诉数除以销量,也就是“满意度 = 投诉数 / 总销量”。至于“用投诉数当满意度”这个原始指标,答案明确说无法讨论属性类型——两个满意度相同的产品可以有完全不同的投诉数,反之亦然。

另一道题也很有实战感:产品测试时让顾客两两对比(1 和 2、2 和 3、3 和 1),然后汇总排名。结果顾客给出的两两偏好可能不一致——喜欢 1 胜过 2、2 胜过 3,但 3 又胜过 1。这就是基于两两比较构建序数尺度会失败的根源。教材给的修正方案是只做必要的比较次数,或者在汇总前做一致性检查。

这是数据质量章节里非常接地气的提醒:原始测量尺度决定了你能对它做什么运算。序数数据的平均值在一些场景下“够用”,但遇到极端值时,中位数或截尾均值更安全,这条在评估实验效果时还会用到。

3. 分类部分:基础概念与替代技术的选型逻辑

分类是教材里篇幅最大的部分。第 3 章讲基础技术,第 4 章讲替代技术,合在一起就是一套完整的分类建模选型框架。答案手册在习题里反复强调的不是公式,而是每个算法成立的前提。

3.1 分类建模的起点:决策树、贝叶斯与 SVM 的适用边界

第 3 章的基础技术包括决策树、朴素贝叶斯、k 近邻和支持向量机。答案手册里的比较题,核心是抓住每个算法的前提假设:

决策树对特征之间的非线性交互天然友好,分裂过程自带特征选择,可解释性最好,但树深了容易过拟合,需要预剪枝或后剪枝。朴素贝叶斯假设特征在给定类别下相互独立,现实中这个假设经常不成立,但在文本分类这种高维稀疏场景下依然能打。k 近邻是非参数方法,决策边界灵活,代价是预测时要保留全部训练样本,高维数据下距离度量会失效,这就是维度灾难。SVM 通过核函数把数据映射到高维空间找最大间隔超平面,适合特征维度高、样本量不太大的中小规模场景。

做题时要抓的三个维度是样本量、特征维度、数据是否线性可分。比如几千个样本、几百维特征、线性边界比较明显,先试 SVM 或带线性核的逻辑回归;几十万行数据、特征稀疏,朴素贝叶斯或线性模型训练成本更低;业务要解释,决策树优先。

3.2 替代分类技术:集成方法与神经网络的引入时机

第 4 章的替代技术主要覆盖集成学习和神经网络。Bagging 降低方差,Boosting 降低偏差,随机森林在两者之间做了折中,还天然输出特征重要性。做项目选型时,我一般先问三个问题:数据量多大、噪声多重、业务要不要解释。

业务要解释性,优先决策树或浅层集成;数据维度极高且样本极大,核 SVM 基本要放弃,直接上随机森林或梯度提升;数据是图像、文本等非结构化内容,就转到神经网络那一路。第 4 章有一类习题专门让你给特定数据形态推荐算法,按“数据规模 + 特征类型 + 可解释要求”三个条件去答,基本不会跑偏。

答案手册里还有一个高频知识点:把 100 道四选一选择题转成适合关联分析的数据。做法是每个选项都变成一个二元属性,比如 Q1=A、Q1=B、Q1=C、Q1=D,所以 100 道题产生 400 个非对称二元属性。这透露出的信息是:关联分析只吃二元数据,连续值要先离散化,类别值要先做 one-hot 展开。实际做购物篮分析时也一样,商品 ID 做 one-hot,每笔交易就是一个 0/1 向量。

3.3 分类评估:准确率陷阱与混淆矩阵的正确读法

分类评估是第 3 章的重点。答案手册反复强调一件事:准确率不是唯一指标。类别不平衡时,一个把所有样本都判成多数类的分类器也能拿到 95% 的准确率,但业务上毫无价值。这时候要看混淆矩阵、查准率、查全率、F1 和 ROC 曲线下面积。

我处理这类题的习惯是先画一个 2×2 矩阵,把 TP、FP、FN、TN 四个格子填满再开始算,直接套公式很容易代错。训练集表现极好、测试集一塌糊涂,是过拟合的典型症状,答案给出的标准解法是交叉验证、正则化和早停。我一般会把数据做一次分层划分,分成训练、验证、测试三份,验证集用来调参,测试集只碰一次,这个习惯能挡住不少“自欺欺人”式的调参。

4. 关联分析与聚类:频繁模式挖掘与无监督分群的关键参数

第 5 章到第 8 章分别讲关联分析和聚类。这两块都属于“无标签也能做”的方法,答案手册里大量题目都在训练一个共同能力:理解参数含义,而不是背算法流程。

4.1 关联规则:支持度、置信度、提升度的落地含义

关联分析的经典算法是 Apriori 和 FP-Growth。支持度是包含规则全部项的事务占比,置信度是包含前件的条件下也包含后件的条件概率,提升度则进一步排除了“后件本身常见”的影响。

只看支持度和置信度会踩坑:一个商品本来就有 30% 的购买率,那么任何规则只要前后件都卖得好,置信度都会虚高,但提升度可能只有 1.0 甚至更低,说明前后件之间没有真实强关联。我在实际项目里一般设 Lift >= 1.5 才认为规则有业务价值。频繁项集数量爆炸时,调高支持度阈值,或者先对商品做分组再挖掘。

第 6 章的高级话题包括序列关联分析,比如第 1 章搜索引擎例子里“查询 A 之后跟着查询 B”的规律。这类数据必须保留时间顺序,不能像购物篮那样对每笔交易做去重,这是最常见的处理错误之一。

4.2 聚类算法选型:K-means、层次聚类、DBSCAN 的参数敏感性

第 7 章聚类分析里,K-means 的问题最典型:k 值要预先给定、对初始质心敏感、对非球形簇和不同密度的簇表现很差。答案手册里的标准解法是用肘部法则或轮廓系数选 k,用 k-means++ 做初始化,多次运行取最优结果。

层次聚类不用预设簇数,输出的是树状结构,适合小样本探索性分析,但时间复杂度和“合并不可回退”的缺点限制了它的规模。DBSCAN 是后来用得越来越多的密度聚类,只有两个参数:邻域半径 epsilon 和最小样本数 minPts。它能把噪声点自动标出来,簇的形状也可以很任意。

参数怎么定?常见的做法是先画 k 距离图,找曲线拐点处的 epsilon;minPts 一般设成数据维度或维度乘以 2。第 7 章和第 8 章给我的最大感受是:几乎每个算法都至少有一个“预先设置参数”的环节,把 k、epsilon、minPts 的取值逻辑搞明白,比背公式更有用。

4.3 聚类评估:簇内紧密度与簇间分离度的权衡

聚类没有标签,“评估”本身就带点玄学味道。教材里的常见指标分两类:内部指标看簇内 SSE 和轮廓系数,外部指标如调整兰德指数、纯度,前提是有真实标签可对照。

我的经验是调参时不要迷信单一指标。有时候内部指标很漂亮,簇在业务上却完全无法解释。常见的做法是先把特征用 PCA 或 t-SNE 降维后画散点图,用眼睛确认簇的形状和分离度,再用轮廓系数做量化确认。答案手册里那几道聚类评估题,本质上就在训练这种多指标交叉验证的意识。

5. 避坑与常见问题:用答案手册自学时最常翻车的五件事

5.1 把“数据库查询”误判成“数据挖掘任务”

现象:做第 1 章习题时,把分组、排序、求和、概率计算都当成数据挖掘,自己觉得答得挺顺,一对答案全是“否”。

原因:没有建立统一的判定标准,凭“数据量大 = 数据挖掘”的直觉判断。数据量从来不是边界,是否学习模型、是否发现未知模式才是。

解决:做题前先问两句话:这个操作要产出模型吗?这个模式事先不知道吗?两问都答“是”才算挖掘。预测股价、预测新客户盈利、诊断心率异常都是“是”,所以是挖掘;按性别分组、按学号排序、算总销售额都是纯检索或统计。

5.2 属性分类时把“离散/连续”和“名义/序数/区间/比率”混在一起

现象:对“AM/PM 时间”这类属性,一会儿觉得是 binary,一会儿觉得是 ordinal,不知道以哪个为准;对“密度”这种连续量,又纠结为什么答案判成 discrete。

原因:这两组概念是两套维度。“离散/连续”说的是取值能否穷举,“名义/序数/区间/比率”说的是测量尺度允许哪类数学运算。两把尺子套在一个属性上,顺序乱了就晕。

解决:固定判断流程——先看取值个数,得出 binary / discrete / continuous;再看运算合法性:只能判断相等是 nominal,能比较大小是 ordinal,差值有意义是 interval,比值有意义且原点真实才是 ratio。每次都用这个两段式流程走一遍,第 2 章那些判断题基本不会错。

5.3 关联规则只看支持度和置信度,留下一堆废话规则

现象:挖掘出的频繁项集支持度、置信度都很高,拿到业务上一看全是“买牛奶的人也买面包”这类废话,没法用。

原因:忽略后件本身的高流行度。置信度高只代表“买了 A 的人里很多也买了 B”,但如果 B 本来就是畅销品,这个规则不带额外信息。

解决:加一道提升度筛选,Lift = 置信度 / 后件支持度,只有 Lift 明显大于 1 的规则才保留。我在实际项目里一般设 Lift >= 1.5,再人工过一遍规则的可解释性。把教材里关联分析的习题按这个流程重做一遍,比单纯背公式印象深得多。

5.4 数据清洗时把离群点全删掉,模型反而变差了

现象:拿到一份带异常值的数据,先入为主认为“异常值就是脏数据”,全部删除后再建模,评估指标反而恶化。

原因:混淆了噪声和离群点。噪声是采集过程中随机引入的误差,属于清洗对象;离群点可能是真正不同的对象——欺诈交易、设备故障、异常流量,删掉等于丢掉最有信息量的样本。

解决:先做异常检测,把离群点标记出来,再用可视化和业务知识判断它属于测量噪声还是真实异常,再决定清洗、保留还是单独建模。第 9 章专门讲这个问题,答案手册里关于噪声与离群点的那组问答,我在做数据预处理前都会翻一遍。

5.5 多次对比实验后,阳性结果复现不了

现象:跑完一堆特征筛选或多组对比实验,挑出若干“显著”结果,换一份数据或换一次采样就全不成立了。

原因:做了太多次假设检验,没有做多重比较校正,假发现率失控。第 10 章 “避免假发现”讲的就是这个问题:检验次数越多,纯靠随机也容易凑出显著结果。

解决:统计分析前先声明要检验的假设个数,按假设个数做校正——控制族错误率用 Bonferroni,控制假发现率用 Benjamini-Hochberg。建模阶段则是监控验证集指标,不要在同一份测试集上反复“调优”来寻找阳性结果。

6. 进阶用法:把答案手册变成你的自测题库和判题机

对自学的人来说,这份手册的真正价值不是“对答案”,而是当一台判题机:先自己写,再对照判分,再重做错题。

我建议分三步走。第一步,把每章习题按概念题、计算题、案例题分类,每次自测挑 10 道,限时 60 分钟。第二步,做完先不看答案,把每道题的判定逻辑写在旁边——尤其是“是不是数据挖掘”“属于哪种属性”这类判断题,用一两句话写下判定理由,再翻答案对比。第三步,把判定理由和答案不一致的题标记出来,回到对应章节重读一遍,三天后再做一次同样标记过的题。这套流程过完,你基本能分清“觉得懂了”和“能稳定判对”之间的差距。

对带课的读者,这份手册还能改造成课堂材料。把搜索引擎场景题抛给学生分组讨论,看他们能不能区分聚类、分类、关联和异常检测的边界;把第 2 章的属性分类表做成随堂小测;把混淆矩阵计算题变成白板推演题。手册的答案就是现成的出题参考。

我自己用这类教材答案时有一个坚持了多年的习惯:翻答案之前,必须先在纸上写一行“我这样判的理由”。这个动作能把直觉逼成可描述的规则。有些题我以为自己答错了,对照后其实只是表述不同;真正错的时候,往往是理由写不出来、或者写出来站不住脚的时候。就是这些连续的“对照—修正—重写”,让我在做数据预处理和模型评估时少走了很多弯路。希望这份手册和这个习惯,也能帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询