ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习的概率与统计要点
章节 1: 概率基本原理回顾
样本空间与事件回顾
条件概率与独立性
贝叶斯定理讲解
随机变量概述
期望值与方差
概率原理在 Python 中的应用
第 1 章测验
章节 2: 常用概率分布
伯努利分布和二项分布
泊松分布
均匀分布
正态(高斯)分布
指数分布
数据建模中的性质与应用
在 SciPy 中使用分布
动手实践:模拟与绘制分布
第 2 章测验
章节 3: 数据集的描述性统计
集中趋势的度量:均值、中位数、众数
离散度量:方差、标准差、极差
理解偏度和峰度
百分位数和四分位数
相关性分析
区分相关性与因果关系
数据总结的可视化
使用 Pandas 计算描述性统计量
实践:总结数据集
第 3 章测验
章节 4: 推断统计:抽样与估计
总体和样本
抽样方法概述
中心极限定理
理解点估计
置信区间说明
计算均值的置信区间
动手实践:抽样模拟与区间估计
第 4 章测验
章节 5: 模型评估的假设检验
制定零假设与备择假设
理解第一类和第二类错误
P值说明
T检验简介
卡方检验介绍
方差分析 (ANOVA) 概述
使用 Python 进行假设检验
实践:将T检验应用于样本数据
第 5 章测验
章节 6: 回归分析简介
简单线性回归模型
最小二乘估计法
解读回归系数
模型评估指标 (R平方, 均方误差)
线性回归的假设
多元线性回归概述
使用Python构建回归模型
动手实践:拟合与评估线性模型
第 6 章测验

区分相关性与因果关系

在学会使用相关系数衡量变量间的线性关联后,人们很容易将强相关性解读为某个变量导致另一个变量变化的证据。然而,这是数据分析中最常见和最重要的误解之一。本节阐明了相关性与因果关系的根本区别。

相关性仅仅表明两个变量倾向于一同变化。正相关意味着一个变量增加时,另一个变量也倾向于增加。负相关意味着一个变量增加时,另一个变量倾向于减少。它是一种统计关联度量。

另一方面,因果关系则意味着一种强得多的关系:一个变量的变化直接产生或引发另一个变量的变化。存在将原因与结果关联起来的机制。

最重要的一点是:相关性不代表因果关系。 仅仅因为两个变量相关,并不自动意味着一个导致另一个。存在几个原因说明为什么会这样:

1. 混淆变量(潜在变量)

通常,两个变量(例如X和Y)之间的相关性,是因为它们都受到第三个未被观察到的变量(Z)的影响。这个第三个变量Z被称为混淆变量或潜在变量。它在X和Y之间建立了一种表面上的关联,即使没有直接的因果联系。

一个典型例子是冰淇淋销量(X)与溺水事件数量(Y)之间观察到的正相关性。吃冰淇淋会导致溺水吗?还是目睹溺水事件会让人想吃冰淇淋?这两种情况都不太可能。这里的混淆变量是温度(Z)。

  • 气温升高(Z)会促使更多人购买冰淇淋(X)。
  • 气温升高(Z)也导致更多人去游泳,这不幸增加了溺水事件(Y)的几率。

温度引起冰淇淋销量和溺水率的变化,从而在两者之间建立关联,而没有直接的因果联系。

一个混淆变量(温度)同时影响冰淇淋销量和溺水事件,从而在它们之间产生虚假关联。

另一个例子是,在火灾现场消防员数量与火灾造成的损失程度之间可能存在相关性。断定派出更多消防员导致更大损失是荒谬的。混淆变量是火灾的大小或强度。更大的火灾需要更多消防员,并且造成更大损失。

2. 方向性问题(反向因果)

即使存在因果联系,仅凭相关性也无法告知我们方向。如果X和Y相关,可能是X导致Y,但也可能是Y导致X。

例如,研究人员可能发现报告的幸福感与一个人拥有的朋友数量之间存在相关性。拥有更多朋友会让你更快乐,还是更快乐的人通常更善于交友?相关系数无法区分这些可能性。

3. 巧合(虚假相关)

有时,相关性纯粹是数据中的偶然出现,特别是在数据集较小或检查大量变量时。这些常被称为虚假相关。没有潜在机制或混淆变量,只是随机的统计噪音创建了一个看起来有意义的模式。像Tyler Vigen的“虚假相关”这样的网站通过绘制恰好高度相关的完全不相关的时间序列(例如,人均奶酪消费量与被床单缠住致死人数)来幽默地说明这一点。尽管很有趣,但它突出了过度解读仅凭相关性的危险。

对数据分析和机器学习 (machine learning)的影响

了解这种区别在数据分析和机器学习中是绝对根本的。

  • 解读: 当你发现相关性时,除非有进一步证据,否则应将其报告为关联,而非因果联系。对那些从相关性直接跳到因果关系的标题或说法保持怀疑。
  • 模型构建: 在机器学习中,预测模型通常依赖于相关性。模型可能会学习到特征X与目标Y相关,并使用X来预测Y。如果相关性保持稳定,这种方法在预测方面可以很好地奏效。然而,如果相关性是虚假的,或者是由变化的混淆因素引起的,模型的性能可能会意外下降。了解潜在的因果关系(或缺乏因果关系)有助于构建更可靠的模型。
  • 决策制定: 基于相关性意味着因果关系的假设做出决策,可能导致无效甚至有害的干预措施。试图通过禁止销售冰淇淋来减少溺水事件将毫无意义,因为它没有解决实际原因(人们在不安全条件下游泳,可能受温度影响)。

建立因果关系

建立因果关系比发现相关性要困难得多。它通常需要:

  1. 对照实验: 黄金标准。研究人员操纵假定的因果变量(自变量),同时保持其他因素不变,并观察对结果变量(因变量)的影响。随机分配到处理组和对照组有助于消除混淆变量。
  2. 采用高级方法的观察研究: 当实验不可行时(例如,研究吸烟对健康的影响),研究人员对观察数据使用复杂的统计技术(如回归调整、倾向得分匹配、工具变量、因果推断框架)来尝试控制混淆变量并推断因果效应。这需要严谨的研究设计和领域知识。
  3. 合理的机制: 对X如何导致Y的理论理解为相关性的因果解释提供了支持。

结论

相关性是描述性统计中一个有价值的工具,用于识别变量之间潜在的关系。它告诉我们哪些变量一同变化。然而,它没有告诉我们为什么。务必抵制将相关性自动解释为因果关系的冲动。更深入地分析,考虑潜在的混淆变量,思考因果关系的方向,并承认巧合的可能性。从观察数据中的关联到了解产生这些关联的底层过程,批判性思维是必不可少的。

  • Causal Inference in Statistics: A Primer, Judea Pearl, Madelyn Glymour, Nicholas P. Jewell, 2016 (Wiley) DOI: 10.1002/9781119186842 - 清晰介绍因果推断的理论和方法,对于超越简单相关性至关重要。
  • An Introduction to Statistical Learning: With Applications in Python, Gareth James, Daniela Witten, Trevor Hastie, Rob Tibshirani, Jonathan Taylor, 2023 (Springer) DOI: 10.1007/978-3-031-38505-1 - 提供了统计学习的易懂概述,常讨论基于相关性的预测与因果推断之间的区别。
  • Mostly Harmless Econometrics: An Empiricist's Companion, Joshua D. Angrist, Jörn-Steffen Pischke, 2009 (Princeton University Press) DOI: 10.1515/9781400829828 - 提供计量经济学方法的实用指南,用于从观测数据中估计因果效应,对于经验性地建立因果关系很有价值。
  • Causal Inference and Machine Learning: A Crash Course, Guido W. Imbens, 2020 American Economic Review: Papers & Proceedings, Vol. 110 (American Economic Association) DOI: 10.1257/aer.p20201026 - 权威概述了因果推断方法如何与机器学习方法结合。

© 2026 ApX Machine Learning