5k字5 分钟

# 概述 典型相关分析 (CCA) 是一种多元统计方法，用于研究两组多维变量之间的线性关系。其核心思想是，在每组变量中找到一对线性组合，使得它们之间的相关性最大化，这对线性组合被称为典型相关变量对 (canonical variate pair)。通过寻找多对这样的变量，可以系统地揭示两组变量间的内在关联结构。 CCA 通常分为总体 CCA (Population Canonical Correlation) 和样本 CCA (Sample Canonical Correlation) 两种类型。 # 总体 CCA (Population Canonical Correlation) # 模
6.9k字6 分钟

# 正交因子模型 (Orthogonal Factor Model) 因子分析是一种降维技术，旨在通过识别一组潜在的、不可观测的“因子”来解释观测变量之间的协方差关系。正交因子模型是最基本的因子分析模型之一。 # 模型定义与假设 模型公式：将 ppp 个观测变量 XXX 表示为 mmm 个公因子 FFF 和 ppp 个特殊因子 ε\varepsilonε 的线性组合。 X(p×1)−μ(p×1)=L(p×m)F(m×1)+ε(p×1)X_{(p\times 1)}-\mu_{(p\times 1)}=L_{(p\times m)}F_{(m\times 1)}+\var
2.2k字2 分钟

# 概述 主成分分析（PCA）是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的新变量，这些新变量被称为主成分。其核心思想是，在尽可能多地保留原始信息（即方差）的同时，将高维数据投影到低维空间中。 # 定义 给定一个 ppp 维随机向量 XXX，Yi=eiTXY_i=e_i^TXYi​=eiT​X 定义了第 iii 个主成分。其中，eie_iei​ 是协方差矩阵 Σ\SigmaΣ 的第 iii 个特征向量，对应特征值 λi\lambda_iλi​，且特征值按从大到小的顺序排列：λ1≥λ2≥⋯≥λp\lambda_1 \geq \lambd
3.6k字3 分钟

# 双总体均值推断 # 双总体成对样本的均值检验 当样本数据成对出现时（例如，对同一组个体在不同处理前后的测量），可以转换为单样本问题来处理。 差值向量定义：令 Dj=X1j−X2jD_j = X_{1j} - X_{2j}Dj​=X1j​−X2j​，其中 X1jX_{1j}X1j​ 和 X2jX_{2j}X2j​ 为第 jjj 个成对样本的观测值。 检验统计量：T2=(Dˉ−δ0)T(Sdn)−1(Dˉ−δ0)T^2 = (\bar D - \delta_0)^T \left(\frac{S_d}{n}\right)^{-1} (\bar
3.3k字3 分钟

# 预备知识 # Wishart 分布 如果 Zi∼iidNp(0,Σ)Z_i \sim^{iid} N_p(0, \Sigma)Zi​∼iidNp​(0,Σ)，那么 ∑i=1mZiZiT∼Wp(m,Σ)\sum_{i=1}^m Z_i Z_i^T \sim W_p(m, \Sigma)∑i=1m​Zi​ZiT​∼Wp​(m,Σ)。这可以看作是多元正态分布中卡方分布的推广。 Wishart 分布有两个重要性质： 可加性：如果 A1∼Wp(m1,Σ)A_1 \sim W_p(m_1, \Sigma)A1​∼Wp​(m1​,Σ) 和 A2∼Wp(m2,Σ)A_2 \
2.4k字2 分钟

# 定义与性质 多元正态分布是单变量正态分布向多维空间的推广。一个 ppp 维随机向量 XXX 服从均值为 μ\muμ、协方差矩阵为 Σ\SigmaΣ 的多元正态分布，记作 X∼Np(μ,Σ)X \sim N_p(\mu, \Sigma)X∼Np​(μ,Σ)，其概率密度函数为： f(x)=1(2π)p/2∣Σ∣1/2e−12(x−μ)TΣ−1(x−μ)f(x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} f(x)
3.2k字3 分钟

# 核心概念与运算 向量基本运算： 向量的内积、夹角、模长、以及向量 xxx 在向量 yyy 上的投影 xTyyTyy\frac{x^Ty}{y^Ty}yyTyxTy​y。 统计量的矩阵描述与性质： 样本均值 (Xˉ\bar XXˉ)：Xˉ=1nXT1n\bar X=\frac{1}{n}X^T1_nXˉ=n1​XT1n​ 样本方差 (SSS)：(n−1)S=(X−Xˉ)(X−Xˉ)T=XT(I−1n1n1nT)X(n-1)S=(X-\bar X)(X-\bar X)^T = X^T(I-\frac{1}{n}1_n1_
2.1k字2 分钟

# 多元数据的矩阵表示 多元统计分析主要处理多变量数据。为了方便表示和计算，我们将数据组织成矩阵形式： 行：代表一个个体的样本（或观测值）。 列：代表一个变量。 矩阵的行数是样本量 nnn，列数是变量数 ppp。 # 多元统计量 # 样本统计量 样本均值向量 xˉ\bar xxˉ：一个列向量，其第 iii 个元素是第 iii 个变量的样本均值 xˉi\bar x_ixˉi​。xˉi=1n∑k=1nxki\bar x_i = \frac{1}{n} \sum_{k=1}^n x_{ki} xˉi​=n1​k=1∑n​xki​
7.7k字7 分钟

# 概率模型与概率空间 # 样本空间与事件域 样本空间（Ω\OmegaΩ） 是所有可能结果的集合。 事件域（FFF），也称 σ\sigmaσ 域 或 σ\sigmaσ 代数，是样本空间某些子集构成的集合，满足以下条件： 包含样本空间 Ω\OmegaΩ。 对取补集运算封闭。 对可列并集运算封闭（根据 De Morgan 定律，也对可列交集运算封闭）。 可测空间 由样本空间 Ω\OmegaΩ 和事件域 FFF 构成。事件域中的每一个事件都是可以分配概率的。 # 概率测度与概率公理 概率测度（PPP） 是定义在事件域 FFF 上的函数，满足以下 概率公理： 非负性：P(A)≥0P(A)