很多数据挖掘课程都拿《数据挖掘:概念与技术》第三版当教材,第一章作为全书的入口,课后题看着是概念题,实际却特别容易答跑偏。我自己当年第一次做这些题的时候,把“数据挖掘”定义抄得一字不差,结果后面问“和传统统计有什么区别”时直接卡壳,因为课本上并没有现成的对比表格,需要自己理解。后来帮别人改作业,发现新手集中踩坑的地方其实就那么几个:定义记得住但说不清边界、描述性任务和预测性任务分不清、属性类型案例给错。这篇就把第一章课后题按常见考查方向拆开讲,把答题要点、易错点和参考答案思路都整理出来,适合期末复习、考研复试准备,以及刚开课想把这章学扎实的同学。
需要先说明一点:这本书不同年份印刷、不同老师布置作业时,第一章课后题的具体序号和问法会有差异,但考查范围高度集中,基本逃不出概念定义、学科关系、任务分类、数据与属性这四块。下面按题型方向来讲,每类都给出核心得分点和可直接参考的作答框架。
1. 第一章到底在考什么:出题逻辑与学习方法
第一章的标题是Introduction,也就是全书的绪论章。很多人觉得绪论不重要,翻两页就过了,但第一章课后题恰恰是老师最喜欢用来检验“有没有真读懂”的部分,因为数据挖掘领域的所有后续内容——分类、聚类、关联规则、离群点分析——都建立在这一章建立的概念框架上。课后题表面在问定义,实际上在建立四套坐标:一是什么是数据挖掘,二是数据挖掘和谁有关,三是数据挖掘任务有哪些,四是数据是什么、数据有什么性质。
1.1 概念定义题的出题套路
第一章最常见的一类题就是“什么是数据挖掘”,或者变换成“请给出数据挖掘的定义并解释其关键要素”。这道题不是简单默写教材第一页那句话,出题人真正想考察的是你能否拆解定义中的每一层含义。教材给出的经典定义是:数据挖掘是从大量的、有噪声的、不完全的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
注意拆解这个定义时至少要抓到三个关键词:数据规模(大量)、数据质量(不完全、有噪声、随机)和知识特性(隐含、事先未知、潜在有用)。有些同学答这道题只写“从数据中发现规律”,等于一句话把三个关键得分点全丢了,在考试中会被扣掉大半分数。
1.2 关系题与任务题的区分
第二类常见题是“数据挖掘与数据仓库、OLAP、统计学、机器学习有什么区别和联系”。这类题比单纯背定义的难度高一个台阶,因为它需要横向比较。出题逻辑也很明显:数据挖掘不是凭空出现的技术,它从数据库、统计学和人工智能三个方向交汇而来,学习时如果不把这些学科的边界弄清楚,后面读论文时很容易搞混。
第三类题围绕“数据挖掘任务类型”展开,经常考的是描述性任务和预测性任务的区别,以及具体的任务分类。这一类题直接对应后续章节的编排——教材后面各章基本就是按任务类型组织的,所以第一章提前考核,实际上是在提醒读者:学后面章节前,先搞清楚每一章属于什么任务、解决什么问题。
第四类题围绕数据和属性类型展开,考的是标称、序数、区间、比率四类属性的特征和示例,以及数据质量的各种维度。因为属性类型直接决定了后续选择哪种相似度度量、哪种数据预处理方法,所以这一块属于必须掌握的地基。
总体来看,第一章课后题的出题逻辑就是四个关键词:定义、关系、任务、数据。复习时可以按这四条线来整理答案,而不是按题号顺序机械地背。
2. 概念辨析类课后题逐题拆解
概念辨析类题目是第一章的大头,也是失分重灾区。下面把最常见的几种问法拆开,给出能得满分的答题结构。
2.1 “什么是数据挖掘”的完整答题结构
如果题目直接问“什么是数据挖掘”,建议分三个层次作答,这样信息量饱满又有层次感。
第一层给出教材定义,并标注关键要素。定义原文可以写:数据挖掘是从大量数据中提取隐含的、先前未知的、潜在有用的知识的过程。也可以写英文表达“Knowledge Discovery from Data”的简称——这个英文表达在许多场合会被直接考查,最好同时记住。第二层解释每个要素在实际场景中的对应:比如“大量数据”对应企业数据库中海量交易记录,“隐含且未知”对应那些不通过挖掘手段就无法直接看出的规律,比如啤酒和尿布之间的关联关系;“潜在有用”对应挖掘结果必须能支持决策或行动。第三层说明数据挖掘是知识发现过程的核心环节,而非全部——这点很容易被忽略,后面单独讲。
这样答的好处是:既显示你记住了教材定义,又显示了理解,还能与后面“数据挖掘与KDD的关系”这道题建立联系。
2.2 数据挖掘与知识发现的关系分析
教材里有一个经典框架:知识发现过程(KDD)由多个步骤组成,包括数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等。数据挖掘只是其中一个关键步骤。
课后题经常会问“数据挖掘和知识发现是同一个概念吗”,正确答案是:概念上有重合,但严格来说不能完全画等号,数据挖掘是整个知识发现过程中的核心步骤。看书时要特别注意教材中关于KDD过程那个经典图形的位置关系——数据挖掘被画在中间,前面有数据预处理,后面有模式评估和知识表示。
答题时可以按这样的框架展开:先写KDD包含哪些阶段,再解释数据挖掘在其中的位置和作用,最后说明在非严格语境下两者常被混用,但考试时建议以教材的严格说法为准。我批改同学作业时发现,很多人把KDD这么多步骤都当成“数据挖掘”,这属于过度泛化,会被扣分。
2.3 数据挖掘与数据仓库、OLAP、统计学的边界
数据仓库和OLAP是第一章里比较容易混淆的概念。数据仓库是一个面向主题的、集成的、非易失性的、随时间变化的数据集合,用来支持管理决策;OLAP侧重多维数据的快速查询与分析。数据挖掘与它们的关系可以总结为:数据仓库和OLAP解决的是“已知问题的已知查询”,而数据挖掘解决的是“未知问题的发现”。
统计学和数据挖掘的关系更微妙。统计学为数据挖掘提供了坚实的理论基础,比如假设检验、回归分析、抽样方法;但数据挖掘更强调在海量数据中发现数据和模式,并且支持非线性分布、类型复杂的结构型数据,这在传统统计里很少见到。经典的说法是:统计学偏向“验证”,数据挖掘偏向“发现”。
回答关系类题目时,我建议都用“两者不是一回事 + 各自侧重 + 实际联系”的三段式结构。例如先写“数据挖掘不等于OLAP,也不等于传统统计分析”,再写各自是什么、解决什么问题,最后说在工程实践中常常组合使用。这样的答案有理有据,比干巴巴列区别更容易拿分。
3. 描述性任务与预测性任务辨析
任务分类题是第一章课后题最重要的内容,也是后续所有章节的框架。这里单独展开讲。
3.1 任务分类的核心判断标准
数据挖掘任务可以分为两大类:描述性任务和预测性任务。描述性任务的目标是刻画数据的一般性质,简单说就是把数据中已有的规律找出来、呈现出来;预测性任务的目标是根据当前数据做出推断或预测,比如根据历史购买记录预测某个客户是否会流失。
判断一道题属于描述还是预测,最直接的方式是看结果的方向:如果说的是“发现数据内部的结构和关系”,比如聚类、关联分析,就是描述性任务;如果说的是“利用已知属性预测未知属性”,比如根据年龄收入预测是否购买某产品,就是预测性任务。很多同学在这个判断点上出错,是因为题目给了大量具体场景,被细节带跑了。
3.2 典型题目示例与解答框架
常见的一道题是:请区分描述性挖掘和预测性挖掘,并为每类任务举出至少两个例子。参考作答可以按表格结构组织,比如左边写“描述性任务”,右边写“预测性任务”,下面分别举例。
描述性任务的典型例子包括:通过聚类分析将超市顾客分成不同群组,刻画各群组的消费特征;通过关联规则分析发现“购买纸尿裤的顾客也倾向购买啤酒”这样的模式。预测性任务的典型例子包括:基于历史信贷记录建立分类模型,预测新申请人的违约风险;基于历史销售数据建立回归模型,预测下季度销售额。
答题时注意,有些例子本身是带有过程性的,比如先说“先聚类后用于预测”,这种复合例子是最容易失分的地方。阅卷人通常希望看到的是纯粹且明确的类别归属,所以举例时优先选择教科书上最典型的单任务案例,比如“分类”对应预测,“聚类”对应描述,这样判断起来没有争议。
3.3 高频混淆场景处理
有些具体任务容易让人纠结。比如“离群点分析”到底算描述还是预测?教材后面会把离群点分析单独列为一类挖掘功能,但按第一章的二分法,它通常算描述性任务,因为目的是发现数据中偏离常规的异常模式。不过也有研究人员把它归到预测性任务,因为它暗含一种“判断某点是否偏离正常分布”的推断逻辑。考试时建议优先按教材的划分来答:教材在列功能时,离群点分析被放在描述性任务相关讨论之后。
另一个容易混淆的是“关联分析”。它表面上看是“发现规律”,好像有点预测的感觉,但它不做预测,只是发现项集之间的关联规则,因此属于描述性任务。实际答题时只要抓住“预测”必然有一个明确的待预测目标属性,而“描述”只是发现结构,就能把绝大多数题目准确归类。
我做这部分学习笔记时,会画一个两列清单:左边列“描述性:聚类、关联规则、特征化与区分、离群点分析”,右边列“预测性:分类、回归”。这个表虽然简单,但应付这一章绝大多数任务分类题都够了。
4. 数据与属性类型题目解析
最后一类必考题是数据和属性类型。教材第一章对数据的类型进行了详细讨论,这部分内容看似简单,但属性类型判断错误会直接影响后续算法选择,所以几乎每个老师都会考。
4.1 四类属性的判断标准与典型示例
教材把属性分为四种类型:标称属性、序数属性、区间属性和比率属性。这是数据挖掘中最基础也是最重要的分类之一。
标称属性是指值只是名称或符号,没有顺序意义。例如头发颜色:黑色、棕色、金色,这里没有大小关系。对应经典例子里包括邮政编码和人的姓名。序数属性比标称多了一层顺序概念,但差值无意义。例如学术级别:学士、硕士、博士;大小尺寸:小、中、大。区间属性和比率属性都要求值之间的差有意义,区别在于比率属性有真正的零点。温度和摄氏温度是一个很典型的区间属性示例:如果某天白天温度是30摄氏度,晚上是15摄氏度,我们不能说白天是晚上的两倍热,因为摄氏度不是从绝对零度量起的。而身高、体重、年龄等就是比率属性,可以被视为有意义的“倍数”。
这四类属性的核心判断逻辑是:标称看能否比较相等性,序数看能否排序,区间看差值是否有意义,比率看是否有绝对零点。建议答题时每一类都给出例子,并且例子之间不要重复。
下面的表格总结四类属性的特征,方便考前速记:
| 属性类型 | 是否有序 | 差值是否有意义 | 是否有真实零点 | 典型示例 |
|---|---|---|---|---|
| 标称 | 否 | 否 | 否 | 发色、性别、邮政编码 |
| 序数 | 是 | 否 | 否 | 年级、排名、尺寸等级 |
| 区间 | 是 | 是 | 否 | 摄氏温度、日历年份 |
| 比率 | 是 | 是 | 是 | 身高、体重、收入、年龄 |
4.2 数据质量维度与预处理方向
第一章关于数据质量的内容也是常考点,常见问法包括“数据质量涉及哪些方面”、“缺失值和噪声是什么、有什么影响”、“离群点应该如何处理”。
数据质量的关键概念包括:准确性、完整性、一致性、时效性、可信度等。其中最重要的两个具体问题是缺失值和噪声。缺失值就是本该有但没有记录下来的数据,比如用户填写问卷时可以跳过不答的字段;噪声是数据中存在的随机错误或偏差,例如传感器在传输过程中出现干扰导致某条温度记录远超正常范围。离群点与噪声有关联但并不完全相同:离群点是看起来与大多数数据行为模式不一致的对象,可能是噪声导致的,也可能本身就是真实但罕见的数据点,比如信用卡欺诈交易。
答题时可以强调:数据挖掘过程前必须进行数据预处理,来处理缺失值、噪声和离群点的问题,否则后续挖掘结果会被严重干扰。这正好呼应了第一章KDD过程中“数据清理”等前置步骤的必要性,如果题目要求展开,可以把数据清理、数据集成、数据变换这几个步骤都提一下。
4.3 数据集相关概念:维数、样本、属性
第一章还有一些基础术语题,比如解释属性、维数、样本这三个概念的区别。属性是描述对象某个特征的字段,也叫维或特征;维数是指数据集中属性的数量;样本是数据集中一条完整的记录。三者的关系是:一个数据集由若干样本组成,每个样本由若干属性的取值组成。
这种基础术语题看似简单,但有些同学在回答时会用“维度”和“属性”互相解释,比如写“维数就是属性的数量,属性就是维的名称”,这在阅卷人眼里等于没答。建议用数据表来打比方:一张表的列是属性(特征),行是样本(记录),列的总数是维数。这样回答既直观又不会绕圈子。
如果题目要求举例说明,可以用一个成绩表:学号、语文成绩、数学成绩是属性;每个学生的记录是一个样本,也常被称为数据点;这个表共有三个属性,因此称为三维数据。数据点这个词在后续章节会频繁出现,建议顺便记住。
5. 答题自查清单与避坑指南
这一章的知识并不难,难的是答题时能不能踩到得分点。我把这些年在帮人看答案、批作业时遇到的高频问题整理成一份自查清单,考前对照过一遍能避免大部分低级失分。
5.1 五类高频失分点
第一类:定义题只写半句。只写“从数据中发现规律”,没展开“大量”“未知”“潜在有用”这几个要素。第二类:关系题完全混成一团。把数据挖掘、数据仓库、OLAP、统计学术语混在一起讲,没有边界,也没有各自的定位。第三类:描述与预测的举例不典型。比如举出“利用历史数据做预测”,但没明确说是分类还是回归,导致阅卷人无法判断你是否真懂。第四类:属性类型判断只写属性名、不写判断理由。比如只写“温度是区间属性”,却不解释为什么不是比率属性,等于放弃了后面那道送分解释题。第五类:把噪声和离群点混为一谈。实际上噪声强调的是数据本身的错误,离群点强调对象的异常模式,二者有联系但不能相等。
5.2 答题自查清单速查表
答题前,可以对照下面这个表检查自己的回答是否完整:
| 题型 | 关键得分点 | 常见失分点 |
|---|---|---|
| 数据挖掘定义 | 大量、隐含、未知、潜在有用 | 只写“发现知识” |
| 与学科关系 | 各自边界 + 各自侧重 | 混为一谈 |
| 描述与预测 | 目标是否预测未知属性 | 举例不典型 |
| 属性类型 | 判断理由 + 典型例子 | 只列属性名 |
| 数据质量 | 缺失值/噪声/离群点的关系 | 概念混用 |
5.3 学完第一章后要注意什么
第一章是后面所有章节的引子,有几个伏笔术语在课后题中不那么显眼,但在后续章节会反复出现:比如相似度度量,它是聚类和分类的重要基础,在第2章会详细讲解;比如过拟合,它属于模型评估范畴,学习分类时一定会遇到;又比如频繁模式,它与关联分析直接对应。课后题虽然不直接考查这些术语,但在复习第一阶段这些词混个眼熟,后面学到时就不会陌生。
如果在复习过程中发现对哪一块概念比较虚,不用急着刷题,回到教材对应章节把那些经典图表重看一遍。第一章的图是整本书的框架图,理解了它就看懂了整本书的目录结构。
我个人批改作业时感觉到,第一章的课后答案最要紧的不是死记硬背,而是把每一个概念都放到具体场景里去验证一次。比如让你解释标称属性,不要只背定义,去想“手机颜色”为什么是标称;让你判断聚类是哪类任务,去想“对客户群体分群”为什么没有预测目标。用这种场景化方法把整章过一遍,后面学数据预处理和挖掘算法时会轻松很多。每道题在第一次做的时候就当考试题对待,把答案写完整、写规范,后面复习时只需对着这套笔记查漏补缺即可。