数据的搜集 — 知识点详解
一、数据的来源
1. 直接来源(原始数据/第一手数据)
- 定义:研究者为解决特定问题而亲自搜集的数据,未经他人加工处理。
- 获取方式:
- 调查:通过问卷、访谈等方式从被调查者处获取数据。
- 实验:在控制条件下,通过实验操作获取数据。
- 观察:在自然状态下对研究对象进行系统观察并记录。
- 特点:针对性强、时效性好,但搜集成本高、耗时长。
2. 间接来源(二手数据/次级数据)
- 定义:由他人搜集、整理并已公开发表或公布的数据。
- 主要来源:
- 统计年鉴:如《中国统计年鉴》、各省市统计年鉴。
- 政府公报:如国民经济和社会发展统计公报。
- 数据库:如CNKI、Wind、国泰安(CSMAR)数据库。
- 国际组织出版物:世界银行、IMF、联合国等发布的数据。
- 行业报告:各类咨询机构和行业协会发布的报告。
- 企业内部资料:财务报表、销售记录、生产记录等。
- 使用注意事项:
- 了解数据的定义、口径、计算方法是否与研究需要一致。
- 注意数据的时效性,确认数据的搜集时间和覆盖时间段。
- 注意数据的准确性,评估原始搜集者的专业性和权威性。
- 弄清数据的来源和出处,确保可追溯、可验证。
二、调查方法
1. 概率抽样调查(随机抽样)
核心原则:总体中每个单位被抽中的概率已知且不为零。
(1)简单随机抽样(纯随机抽样)
- 定义:从含有N NN个单位的总体中,不带任何主观因素地随机抽取n nn个单位作为样本,每个单位被抽中的概率相等。
- 方法:
- 抽签法:将所有单位编号做成签,混合后逐一抽取。
- 随机数表法:利用随机数表确定被抽中的单位编号。
- 计算机随机数发生器:利用软件生成随机数确定样本。
- 适用场景:总体单位数较少且单位间差异不大时。
- 优点:简单直观,理论上最符合随机原则。
- 缺点:当总体很大时,编号和抽选工作量大;当总体方差较大时,代表性可能不足。
(2)分层抽样(类型抽样)
- 定义:先将总体按照某一特征(标志)划分为若干层(类),然后在每一层内独立地进行简单随机抽样,最后将各层样本合在一起组成总样本。
- 分层原则:层内差异小,层间差异大。
- 具体方式:
- 等比例分层抽样:各层样本量按各层在总体中的比例分配。
- 不等比例分层抽样(最优分配):根据各层方差大小分配样本量,方差大的层多抽。
- 公式(等比例):第i ii层的样本量n i = n × N i N n_i = n \times \frac{N_i}{N}ni=n×NNi
- 优点:保证样本结构与总体结构一致,提高估计精度,便于对各层进行独立分析。
- 缺点:需要事先了解总体的分层信息。
(3)整群抽样(集团抽样)
定义:将总体划分为若干群(组),以群为抽样单位,随机抽取若干群,对被抽中的群进行全面调查(普查)。
与分层抽样的区别:
分层抽样 整群抽样 划分目的 层内同质 群内异质 调查方式 层内抽样 群内全查 抽样单位 个体 群 优点:节省人力物力,调查组织实施方便,不需要完整的个体名单。
缺点:同一群内个体往往具有相似性,导致抽样误差通常较大。
(4)系统抽样(等距抽样)
- 定义:将总体N NN个单位按某一顺序排列,先随机确定一个起始点,然后按照固定的间隔(k = N / n k = N/nk=N/n)依次抽取样本单位。
- 步骤:
- 将总体N NN个单位按一定顺序排列;
- 计算抽样间隔k = N / n k = N / nk=N/n;
- 在1 ∼ k 1 \sim k1∼k之间随机抽取一个起始编号r rr;
- 依次抽取编号为r , r + k , r + 2 k , … , r + ( n − 1 ) k r, r+k, r+2k, \ldots, r+(n-1)kr,r+k,r+2k,…,r+(n−1)k的单位。
- 优点:操作简便,样本在总体中分布均匀。
- 缺点:当总体存在周期性变化且抽样间隔与周期吻合时,会产生严重偏差。
(5)多阶段抽样(多级抽样)
- 定义:将抽样过程分为两个或多个阶段进行。例如,先抽省(一阶段),再抽市(二阶段),再抽户(三阶段),最后对被抽中的户进行调查。
- 优点:适用于大规模调查,灵活方便,降低搜集成本。
- 缺点:每一阶段都会产生抽样误差,总误差是各阶段误差的叠加。
2. 非概率抽样调查
特点:不依据随机原则,样本的选取带有主观性或便利性。
(1)方便抽样(偶遇抽样)
- 定义:调查者根据方便性原则,选取最容易接触到的单位作为样本。
- 例子:街头拦访、商场门口问卷调查。
- 优点:省时省力,成本低。
- 缺点:样本代表性差,结果偏差可能很大。
(2)判断抽样(目的抽样)
- 定义:调查者根据自己的专业知识和经验,主观判断选取"有代表性"的单位。
- 适用场景:探索性研究、总体单位数极少的情况。
- 优点:可充分利用已有信息。
- 缺点:受主观判断影响,缺乏客观性。
(3)配额抽样
- 定义:先按照一定标准(如性别、年龄、职业等)对总体分类,规定各类别的样本配额,然后在每个类别内由调查员按方便原则选取样本。
- 与分层抽样的区别:配额抽样在各层内是非随机选取的。
(4)滚雪球抽样
- 定义:先找到少数被调查者,然后通过他们推荐找到更多符合条件的被调查者,逐步扩大样本量。
- 适用场景:难以直接识别总体成员的情况(如罕见疾病患者、特殊职业群体)。
3. 问卷设计要点
- 问题措辞:清晰、简明、无歧义,避免引导性提问。
- 问题类型:封闭式问题(选择题)与开放式问题(填空题/简答题)相结合。
- 问题排列:先易后难、先一般后特殊、先封闭后开放。
- 问卷结构:标题 → 说明信 → 填表说明 → 正文(问题与答案)→ 结束语。
- 预调查(试调查):正式调查前进行小范围测试,发现并修正问题。
4. 调查的组织方式
| 方式 | 说明 | 优点 | 缺点 |
|---|---|---|---|
| 面访调查 | 调查员与被调查者面对面交流 | 回收率高、可追问 | 成本高、可能有调查员偏差 |
| 电话调查 | 通过电话进行访问 | 速度快、成本较低 | 无法展示图片、难以进行复杂问卷 |
| 邮寄调查 | 将问卷邮寄给被调查者 | 覆盖面广、匿名性好 | 回收率低、无法追问 |
| 网络调查 | 通过网络平台发放问卷 | 成本极低、速度快、样本量大 | 样本偏差、无法控制填写质量 |
三、实验方法
1. 实验的基本概念
- 实验:在控制其他条件不变的情况下,有意识地改变某一因素(自变量),观察其对研究对象(因变量)的影响。
- 实验组与对照组:
- 实验组(处理组):接受实验处理(自变量变化)的组。
- 对照组(控制组):不接受实验处理的组,用于比较。
- 变量:
- 自变量(实验因素/处理因素):研究者主动操纵的变量。
- 因变量(响应变量):受自变量影响而变化的结果变量。
- 控制变量(额外变量):可能影响结果但不是研究者关心的变量,需要加以控制。
2. 实验设计的基本原则
(1)对照原则
- 设置对照组,为实验结果的比较提供基准。
- 空白对照:对照组不施加任何处理。
- 标准对照:对照组采用已有的标准处理方式。
(2)随机化原则
- 实验对象的分组和实验顺序的安排均应随机进行。
- 目的是消除系统性偏差,使各组在实验前条件基本一致。
(3)重复原则
- 每种处理条件下应有足够的实验次数(重复数),以降低随机误差的影响。
- 重复次数越多,结果越可靠。
3. 常见实验设计类型
(1)完全随机设计
- 将实验对象随机分配到各个处理组中。
- 最简单的实验设计。
- 适用:实验对象间差异较小的情况。
(2)随机区组设计(配对设计)
- 先按某一特征(如年龄、性别、体质等)将实验对象分成若干区组(block),然后在每个区组内随机分配不同的处理。
- 目的:将已知的变异来源(区组间差异)从误差中分离出来,提高实验精度。
- 配对设计是随机区组设计的特例(区组大小为2)。
(3)因子设计(析因设计)
- 同时研究两个或多个因素的效应及其交互作用。
- 例如:2 × 3 2 \times 32×3因子设计表示因素A有2个水平,因素B有3个水平,共2 × 3 = 6 2 \times 3 = 62×3=6个处理组合。
4. 实验中的偏差控制
| 偏差类型 | 说明 | 控制方法 |
|---|---|---|
| 选择偏差 | 实验组与对照组在实验前就存在系统性差异 | 随机分组 |
| 霍桑效应 | 被试因知道自己被观察而改变行为 | 使用安慰剂、单盲实验 |
| 安慰剂效应 | 被试因心理预期而产生非真实的改善 | 安慰剂对照、双盲实验 |
| 顺序效应 | 先后接受不同处理时,前面处理影响后面结果 | 随机化实验顺序、平衡设计 |
5. 盲法实验
- 单盲实验:被试不知道自己属于实验组还是对照组。
- 双盲实验:被试和实验执行者都不知道分组情况,消除主观偏差。
- 三盲实验:在双盲基础上,数据分析者也不知道分组信息。
四、数据的误差
1. 误差的基本分类
误差 ╱ ╲ 抽样误差 非抽样误差 ╱ ╲ 登记误差 代表性误差(系统误差)2. 抽样误差(Sampling Error)
- 定义:由于只抽取了总体中的一部分单位作为样本,用样本统计量估计总体参数时所产生的误差。
- 本质原因:样本只是总体的一部分,样本结构不可能与总体完全一致。
- 特点:
- 是随机性误差,不是错误。
- 不可避免,但可以控制和度量。
- 可以通过增大样本量来减小。
- 影响因素:
- 样本量n nn:n nn越大,抽样误差越小。
- 总体方差σ 2 \sigma^2σ2:总体差异越大,抽样误差越大。
- 抽样方法:分层抽样通常比简单随机抽样的抽样误差小。
- 抽样组织方式:重复抽样的误差通常大于不重复抽样。
3. 非抽样误差(Non-sampling Error)
(1)登记误差(调查误差/数据收集误差)
- 定义:在数据搜集、记录、整理过程中产生的误差。
- 来源:
- 被调查者误差:记忆错误、理解错误、故意虚报或瞒报。
- 调查员误差:记录错误、遗漏、诱导性提问。
- 编码和录入误差:数据整理过程中的人为错误。
- 特点:普查和抽样调查中都可能存在。
(2)系统误差(代表性误差/偏差)
- 定义:由于抽样方法或调查方式存在系统性缺陷,导致样本不能很好地代表总体。
- 来源:
- 抽样框不完整或过时(抽样框误差)。
- 无回答(无响应)偏差。
- 自选偏差(如网络调查中愿意参与的人不具有代表性)。
- 非概率抽样导致的偏差。
- 特点:具有方向性(总是偏高或偏低),增大样本量不能减小系统误差。
4. 误差的控制策略
| 误差类型 | 控制方法 |
|---|---|
| 抽样误差 | 增大样本量;选择更优的抽样方法(如分层抽样);优化抽样设计 |
| 登记误差 | 加强调查员培训;完善问卷设计;严格数据审核和复核 |
| 系统误差 | 完善抽样框;采用概率抽样;提高问卷回收率;控制无回答偏差 |
| 数据处理误差 | 双重录入校验;逻辑检查;计算机辅助数据审核 |
5. 抽样误差与非抽样误差的关系
- 在实际调查中,总误差 = 抽样误差 + 非抽样误差。
- 不能只关注抽样误差而忽略非抽样误差——当非抽样误差很大时,即使样本量很大,调查结果也可能严重偏离真值。
- 过度增大样本量可能反而增加非抽样误差(如调查员更难管理、数据质量下降等)。
五、思考与练习(核心考点总结)
关键概念辨析
| 对比项 | 概念A | 概念B |
|---|---|---|
| 数据来源 | 原始数据(第一手) | 二手数据(第二手) |
| 抽样方法 | 概率抽样 | 非概率抽样 |
| 分层抽样 vs 整群抽样 | 层内抽样,层间同质要求相反 | 群内全查,群内异质 |
| 抽样误差 vs 系统误差 | 随机的,可度量,可减小 | 有方向性的,不可通过增大样本量消除 |
| 单盲 vs 双盲 | 被试不知分组 | 被试和执行者均不知分组 |
常见判断要点
- “增大样本量可以消除所有误差”—错误。只能减小抽样误差,不能消除非抽样误差。
- “非概率抽样一定不可用”—不完全正确。在探索性研究、总体难以界定等特殊情况下有其价值。
- “分层抽样要求层间差异小”—错误。要求层内差异小、层间差异大。
- “普查没有抽样误差”—正确。普查调查全部个体,不存在抽样误差,但可能存在登记误差。
- “系统抽样不存在任何风险”—错误。当总体存在周期性规律时可能产生严重偏差。
典型计算相关
- 等距抽样间隔:k = N / n k = N / nk=N/n
- 等比例分层抽样各层样本量:n i = n ⋅ N i N n_i = n \cdot \dfrac{N_i}{N}ni=n⋅NNi